> (二)手动部署k8s之-系统初始化和全局变量 原教程来自 [github/opsnull](https://github.com/opsnull/follow-me-install-kubernetes-cluster), 现在此基础上记录自己搭建遇到的问题 #### 集群机器 master - slave-31 192.168.1.31 - slave-32 192.168.1.32 - slave-33 192.168.1.33 slave - slave-34 192.168.1.34 - slave-35 192.168.1.35 - slave-36 192.168.1.36 注意 - 需要在所有机器上执行本文档的初始化命令 - 需要使用 root 账号执行这些命令 - 如果没有特殊指明，本文档的所有操作均在 slave-31 节点上执行，然后远程分发文件和执行命令 #### 主机名 设置永久主机名,然后重新登录 ``` hostnamectl set-hostname slave-31 # 将 slave-31 替换为当前主机名 ``` 使用主机名通信,修改/etc/hosts ``` [root@ _5_ ~]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain 192.168.1.31 slave-31 192.168.1.32 slave-32 192.168.1.33 slave-33 ``` 推送/etc/hosts到slave-32, slave-33 ``` scp /etc/hosts root@192.168.1.32:/etc/hosts scp /etc/hosts root@192.168.1.33:/etc/hosts ``` #### 添加docker账户 在每台机器上添加docker账户 ``` useradd -m docker ``` #### 无密码 ssh 登录其它节点 如果没有特殊指明，本文档的所有操作均在 slave-31 节点上执行，然后远程分发文件和执行命令，所以需要添加该节点到其它节点的 ssh 信任关系。 设置 slave-31 的 root 账户可以无密码登录所有节点 ``` ssh-keygen -t rsa ssh-copy-id root@slave-31 ssh-copy-id root@slave-32 ssh-copy-id root@slave-33 ``` #### 更新PATH环境变量 在每台机器上将可执行文件目录添加到PATH环境变量中 ``` echo 'PATH=/opt/k8s/bin:$PATH' >>/root/.bashrc source /root/.bashrc ``` #### 安装依赖包 CentOS: ``` yum install -y epel-release yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget ``` - ipvs 依赖 ipset； - ntp 保证各机器系统时间同步； #### 关闭防火墙 在每台机器上关闭防火墙,清理防火墙规则,设置默认转发策略 ``` systemctl stop firewalld systemctl disable firewalld iptables -F && iptables -X && iptables -F -t nat && iptables -X -t nat iptables -P FORWARD ACCEPT ``` #### 关闭swap交换分区 如果开启了 swap 分区，kubelet 会启动失败(可以通过将参数 --fail-swap-on 设置为 false 来忽略 swap on)，故需要在每 ``` swapoff -a sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab ``` #### 关闭SELinux 关闭 SELinux，否则后续 K8S 挂载目录时可能报错 Permission denied： ``` setenforce 0 sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config ``` #### 关闭dnsmasq(可选) linux 系统开启了 dnsmasq 后(如 GUI 环境)，将系统 DNS Server 设置为 127.0.0.1，这会导致 docker 容器无法解析域名，需要关闭它： ``` systemctl stop dnsmasq systemctl disable dnsmasq ``` #### 加载内核模块 ``` modprobe ip_vs_rr modprobe br_netfilter ``` #### 优化内核参数 ``` cd /etc/sysctl.d/ cat > kubernetes.conf <<EOF net.bridge.bridge-nf-call-iptables=1 net.bridge.bridge-nf-call-ip6tables=1 net.ipv4.ip_forward=1 net.ipv4.tcp_tw_recycle=0 vm.swappiness=0 # 禁止使用 swap 空间，只有当系统 OOM 时才允许使用它 vm.overcommit_memory=1 # 不检查物理内存是否够用 vm.panic_on_oom=0 # 开启 OOM fs.inotify.max_user_instances=8192 fs.inotify.max_user_watches=1048576 fs.file-max=52706963 fs.nr_open=52706963 net.ipv6.conf.all.disable_ipv6=1 net.netfilter.nf_conntrack_max=2310720 EOF cp kubernetes.conf /etc/sysctl.d/kubernetes.conf sysctl -p /etc/sysctl.d/kubernetes.conf ``` 必须关闭 tcp_tw_recycle，否则和 NAT 冲突，会导致服务不通 关闭 IPV6，防止触发 docker BUG #### 设置系统时区 ``` # 调整系统 TimeZone timedatectl set-timezone Asia/Shanghai # 将当前的 UTC 时间写入硬件时钟 timedatectl set-local-rtc 0 # 重启依赖于系统时间的服务 systemctl restart rsyslog systemctl restart crond ``` #### 关闭无关的服务 ``` systemctl stop postfix && systemctl disable postfix ``` #### 设置 rsyslogd 和 systemd journald systemd 的 journald 是 Centos 7 缺省的日志记录工具，它记录了所有系统、内核、Service Unit 的日志。 相比 systemd，journald 记录的日志有如下优势： 1. 可以记录到内存或文件系统；(默认记录到内存，对应的位置为 /run/log/jounal)； 2. 可以限制占用的磁盘空间、保证磁盘剩余空间； 3. 可以限制日志文件大小、保存的时间； journald 默认将日志转发给 rsyslog，这会导致日志写了多份，/var/log/messages 中包含了太多无关日志，不方便后续查看，同时也影响系统性能。 ``` mkdir /var/log/journal # 持久化保存日志的目录 mkdir /etc/systemd/journald.conf.d cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF [Journal] # 持久化保存到磁盘 Storage=persistent # 压缩历史日志 Compress=yes SyncIntervalSec=5m RateLimitInterval=30s RateLimitBurst=1000 # 最大占用空间 10G SystemMaxUse=10G # 单日志文件最大 200M SystemMaxFileSize=200M # 日志保存时间 2 周 MaxRetentionSec=2week # 不将日志转发到 syslog ForwardToSyslog=no EOF systemctl restart systemd-journald ``` #### 创建相关目录 创建目录 ``` mkdir -p /opt/k8s/{bin,work} /etc/{kubernetes,etcd}/cert ``` #### 升级内核 CentOS 7.x 系统自带的 3.10.x 内核存在一些 Bugs，导致运行的 Docker、Kubernetes 不稳定，例如： 1. 高版本的 docker(1.13 以后) 启用了 3.10 kernel 实验支持的 kernel memory account 功能(无法关闭)，当节点压力大如频繁启动和停止容器时会导致 cgroup memory leak； 2. 网络设备引用计数泄漏，会导致类似于报错："kernel:unregister_netdevice: waiting for eth0 to become free. Usage count = 1"; 解决方案如下： 1. 升级内核到 4.4.X 以上； 2. 或者，手动编译内核，disable CONFIG_MEMCG_KMEM 特性； 3. 或者，安装修复了该问题的 Docker 18.09.1 及以上的版本。但由于 kubelet 也会设置 kmem（它 vendor 了 runc），所以需要重新编译 kubelet 并指定 GOFLAGS="-tags=nokmem"； ``` git clone --branch v1.14.1 --single-branch --depth 1 https://github.com/kubernetes/kubernetes cd kubernetes KUBE_GIT_VERSION=v1.14.1 ./build/run.sh make kubelet GOFLAGS="-tags=nokmem" ``` 这里采用升级内核的解决办法： ``` rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm # 安装完成后检查 /boot/grub2/grub.cfg 中对应内核 menuentry 中是否包含 initrd16 配置，如果没有，再安装一次！ yum --enablerepo=elrepo-kernel install -y kernel-lt # 设置开机从新内核启动 grub2-set-default 0 ``` 安装内核源文件（可选，在升级完内核并重启机器后执行）: ``` # yum erase kernel-headers yum --enablerepo=elrepo-kernel install kernel-lt-devel-$(uname -r) kernel-lt-headers-$(uname -r) ``` #### 关闭 NUMA ``` cp /etc/default/grub{,.bak} vim /etc/default/grub # 在 GRUB_CMDLINE_LINUX 一行添加 `numa=off` 参数，如下所示： diff /etc/default/grub.bak /etc/default/grub 6c6 < GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=centos/root rhgb quiet" --- > GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=centos/root rhgb quiet numa=off" ``` 重新生成 grub2 配置文件 ``` cp /boot/grub2/grub.cfg{,.bak} grub2-mkconfig -o /boot/grub2/grub.cfg ``` #### 分发集群配置参数脚本 后续使用的环境变量都定义在文件 environment.sh 中，请根据自己的机器、网络情况修改。然后，把它拷贝到所有节点的 /opt/k8s/bin 目录 ``` source environment.sh for node_ip in ${NODE_IPS[@]} do echo ">>> ${node_ip}" scp environment.sh root@${node_ip}:/opt/k8s/bin/ ssh root@${node_ip} "chmod +x /opt/k8s/bin/*" done ``` 最后修改：2019 年 08 月 05 日 05 : 03 PM © 允许规范转载