教你在virtualBox搭建一个本地kubernets集群问题

目录1. 虚拟机准备工作1.1 下载centos7的镜像1.2 关闭sawp内存空间1.3 关闭 SeLinux1.4 配置桥接模式1.5 安装增强功能1.6 XSHELL连接SSH2. 安装docker2.1 卸载旧的docker版本2.2 配置阿里的镜像仓库2.3 安装最新版本的 Docker Engine 和 containerd2.5 避免和kubelet的冲突3. 安装kubernetes3.2 配置kubernetes的yum源3.3 启动 kubelet3.4 设置主机名3.5 规划集群网络3.6 初始化一台机器的master节点3.7 让子节点加入3.71 加入子节点3.72 子节点正确使用kubelet3.8 配置flannel

1. 虚拟机准备工作

1.1 下载centos7的镜像

注意centos8不支持kubeadm，血泪教训。也不要下mini会无法使用界面。http://mirrors.aliyun.com/centos/7/isos/x86_64/

安装不要使用最小化安装，不然接下来安装增强功能不方便。systemctl stop firewalld && systemctl disable firewalld

1.2 关闭sawp内存空间

在安装K8S集群时，Linux的Swap内存交换机制是一定要关闭的，否则会因为内存交换而影响性能以及稳定性。这里，我们可以提前进行设置：

执行swapoff -a可以临时关闭，但系统重启后会恢复编辑/etc/fstab，注释掉包含swap那一行就可以永久关闭了，可以执行如下命令注释掉该行： sed -i / swap / s/^/#/ /etc/fstab

1.3 关闭 SeLinux

执行setenforce 0可以临时关闭永久关闭需要修改/etc/sysconfig/selinux的文件设置 sed -i /SELINUX=e|SELINUX=p|SELINUX=d/cSELINUX=disabled /etc/sysconfig/selinux

1.4 配置桥接模式

桥接模式相当于假设了一个虚拟网卡，把虚拟机加入宿主机所在的网卡区域，所以界面名称是宿主机的网卡名字。

可以在网络和internet设置

然后查看现在正在使用的网卡

通过关闭网卡发现，实际上是ens8在做网桥，和外界通讯。

其中centos的网卡配置文件目录：cd /etc/sysconfig/network-scripts/，我们需要改的是vi /etc/sysconfig/network-scripts/ifcfg-enp0s8，把下面的内容输入。（经测试无关）

BOOTPROTO=”static” IPADDR=192.168.0.50 GATEWAY=192.168.0.1 DNS1=192.168.0.1 DNS2=8.8.8.8 NETMASK=255.255.255.0

宿主机可以ping虚拟机，但是虚拟机无法ping宿主机。

1.5 安装增强功能

参考我上一篇博客： https://www.jb51.net/article/234291.htm

1.6 XSHELL连接SSH

为了防止需要x11，所以需要去vi /etc/sudoers增加一个修改Defaults env_keep=”DISPLAY XAUTHORITY”

2. 安装docker

2.1 卸载旧的docker版本

首先是参考官网的步骤https://docs.docker.com/engine/install/centos/#prerequisites

先卸载旧版本：sudo yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine

2.2 配置阿里的镜像仓库

sudo yum install -y yum-utils yum-config-manager –add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

2.3 安装最新版本的 Docker Engine 和 containerd

这一步可能会遇到问题和podman冲突，podman是redhat用来取代docker的打包工具，因此直接移除就好：

yum erase podman buildah sudo yum install docker-ce docker-ce-cli containerd.io

2.4 启动docker并且用helloWord测试，如果成功可以在结果看到提示你正确安装：

sudo systemctl start docker sudo docker run hello-world

设计开启启动，并且测试完移除容器

systemctl enable docker

2.5 避免和kubelet的冲突

docker info|grep cgroup检视，如果docker使用的Cgroup Driver为cgroupfs。则有可能跟kubelet冲突，需要改为一致的systemd

，先vi /etc/docker/daemon.json，在档案中新增如下程式码，重启docker即可systemctl restart docker{ “exec-opts”: [“native.cgroupdriver=systemd”] }

3. 安装kubernetes

我们利用kubernetes官方提供的kubeadm工具来安装kubernetes集群，官方文档可以参考：https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/

3.2 配置kubernetes的yum源

这里使用阿里云的镜像仓库，之前使用过腾讯的镜像仓库，报过404的错误，其实应该是镜像仓库源错误。

Errors during downloading metadata for repository kubernetes:

– Status code: 404 for https://mirrors.cloud.tencent.com/kubernetes/yum/repos/kubernetes-el7-x86_64/repodata/repomd.xml.asc (IP: 120.196.204.237)

– Status code: 404 for https://mirrors.cloud.tencent.com/kubernetes/yum/doc/yum-key.gpg (IP: 120.196.204.75)

错误：为仓库 kubernetes 获取 GPG 密钥失败 : Status code: 404 for https://mirrors.cloud.tencent.com/kubernetes/yum/doc/yum-key.gpg (IP: 120.196.204.75)

还有就是阿里云的仓库参考的博主的也是失败的，最新的找到了这个：

# 配置k8s阿里云源 cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/ enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF

安装组件（需要指定版本，我试过最新的版本或者1.18.4镜像仓库都下载失败）：

yum install kubectl-1.20.0 kubeadm-1.20.0 kubelet-1.20.0 -y

3.3 启动 kubelet

systemctl enable kubelet && systemctl start kubelet

3.4 设置主机名

然后复制若干份，给每个主机设置名字：

hostnamectl set-hostname k8s-master2

3.5 规划集群网络

注意这里hosts的名字要和上面的主机名一致，不然待会儿建设集群会报错Could not resolve host: mirrors.aliyun.com； 未知的错误

vi /etc/hosts 192.168.0.104 k8s-master1 192.168.0.105 k8s-master2 192.168.0.106 k8s-node1 192.168.0.107 k8s-node2

然后给每个节点设置静态IP，不然每次重启都不一样，再重启网络组件，注意我这里的内核版本是centos8.0，所以网络组件不是network，改动的加进去的静态IP部分都是根据我本机电脑的IP得来的。DNS要设置，不然可能会出现之后使用镜像下载失败的问题。

vi /etc/sysconfig/network-scripts/ifcfg-enp0s3 DNS1=8.8.8.8 DNS2=8.8.4.4 IPV6_PRIVACY=no OXY_METHOD=”none” BROWSER_ONLY=”no” ############改动部分开始############ #动态IP #BOOTPROTO=”dhcp” #静态IP BOOTPROTO=”static” IPADDR=192.168.0.104 NETMASK=255.255.255.0 GATEWAY=192.168.0.1 DNS1=192.168.0.1 ############改动部分结束############ DEFROUTE=”yes” IPV4_FAILURE_FATAL=”no” IPV6INIT=”yes” IPV6_AUTOCONF=”yes” IPV6_DEFROUTE=”yes” IPV6_FAILURE_FATAL=”no” IPV6_ADDR_GEN_MODE=”stable-privacy” NAME=”enp0s3″ UUID=”73ab5a69-9070-4c5a-a0b9-c5a6250af943″ DEVICE=”enp0s3″ ONBOOT=”yes” nmcli c reload nmcli c up enp0s3

此时集群的主机可以互相ping通，但是虚拟机ping主机无法ping通。

1.依次打开【控制面板】-【Windows Definder防火墙】-【高级设置】-【入站规则】-【按配置文件筛选】-【按公有配置文件筛选】

2.拉到最下面，找到并启用文件类型为“公用”的“文件和打印共享（回显请求 – ICMPv4-In）”规则，此时就可以ping通了。

3.6 初始化一台机器的master节点

验收标准： kubectl get node -n kube-system可以看到输出的结果

安装方式： kubeadm init –apiserver-advertise-address=192.168.0.104 –image-repository registry.aliyuncs.com/google_containers –kubernetes-version v1.20.0 –service-cidr=10.1.0.0/16 –pod-network-cidr=10.244.0.0/16

可以在后面跟上：–ignoer-preflight-errors=all

安装之前的验证:

kubeadm init –dry-run，可以不需要实际部署但是走一遍init的流程，可以看看有没有错误并且看到官方推荐的版本，也可以看到安装之后下一步要做什么，看到会给我们创建CA证书和通过yaml创建etcd等资源，/etc/kubernetes下面可以看到正常的资源。通过kubeadm config images list –kubernetes-version 1.18.4 –image-repository=registry.cn-hangzhou.aliyuncs.com/google_containers验证资源能不能正常拉下来，注意备注kubernets版本是为了避免从墙外拉。国内镜像地址参考选项–pod-network-cidr=10.244.0.0/16，指定了pod的子网划分地址。因为后面要使用flannel网络插件，所以这里要指定flannel规定的cidr地址。选项–image-repository=“registry.cn-hangzhou.aliyuncs.com/google_containers”，指定了容器镜像的仓库地址。选项–apiserver-advertise-address=192.168.0.12，表示api-server绑定的网卡地址，这里就是当前k8s-master这个节点的IP地址.

或者将配置文件保存下来kubeadm config print init-defaults > kubeadm.conf，方便修改和查看。然后主要也是改images-repository，验证的话kubeadm config images pull –config kubeadm.conf

安装错版本了需要撤销init才能重新部署，此时通过kubeadm reset完成，重置过程不会重置或清除 iptables 规则或 IPVS 表，可以看重置后的提示，不过我们刚刚初始化直接reset就行。

配置kubeconfig:

To start using your cluster, you need to run the following as a regular user: mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config Alternatively, if you are the root user, you can run: export KUBECONFIG=/etc/kubernetes/admin.conf

3.7 让子节点加入

3.71 加入子节点

只需要在子节点跑下面的命令就行啦，这个是上面init提示的：

kubeadm join k8smaster.com:6443 –token pdas2m.fkgn8q7mz5u96jm6 –discovery-token-ca-cert-hash sha256:6fd9b1bf2d593d2d4f550cd9f1f596865f117fef462db42860228311c2712b8b

如果没有记录可以通过kubeadm token list查看，如果没有输出说明上个token已经过期了，直接生成新的kubeadm token create –print-join-command，默认有效期24小时,若想久一些可以结合–ttl参数,设为0则用不过期

kubeadm join k8smaster.com:6443 –token pdas2m.fkgn8q7mz5u96jm6 –discovery-token-ca-cert-hash sha256:6fd9b1bf2d593d2d4f550cd9f1f596865f117fef462db42860228311c2712b8b

如果有输出，比如下面，此时发现只有token没有CA：

还需要解密获得证书：openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed s/^.* //

那么结果是6fd9b1bf2d593d2d4f550cd9f1f596865f117fef462db42860228311c2712b8b，也就是-discovery-token-ca-cert-hash sha256:的值。

如果报错：

error execution phase preflight: couldn’t validate the identity of the

API Server: could not find a JWS signature in the cluster-info

ConfigMap for token ID “ecqb8f”

是因为令牌过期了，重新生成一个即可

3.72 子节点正确使用kubelet

无法正常使用kubelet get nodes，报错如下：

The connection to the server localhost:8080 was refused – did you

specify the right host or port?

先使用root用户， 发现还是不行。

mkdir $HOME/.kube/ cp -i /etc/kubernets/kubelet.conf $HOME/.kube/config chown 1000:1000 $HOME/.kube/config

3.8 配置flannel

# 下载flannel.yaml https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml kubectl apply -f kube-flannel.yml

镜像:quay.io/coreos/flannel:v0.11.0-amd64可能拉取很慢，可以提前下载已导出的镜像包在节点上执行docker load完成镜像导入(.docker)或者docker import（.tar）

flannel起来后，cosedns也会起来