kubeadm搭建多master节点的K8S高可用集群

时间:2021-7-3 作者:qvyue

部署一套完整的企业级K8s集群

一、准备环境

服务器要求:

• 建议最小硬件配置:4核CPU、4G内存、50G硬盘

• 服务器最好可以访问外网,会有从网上拉取镜像需求,如果服务器不能上网,需要提前下载对应镜像并导入节点

软件环境:

软件 版本

操作系统 CentOS7.8_x64

Docker 19+

Kubernetes 1.20

服务器整体规划:

角色 IP 其他单装组件

k8s-master1 192.168.172.40 docker,etcd,nginx,keepalived

k8s-master2 192.168.172.41 docker,etcd,nginx,keepalived

k8s-master3 192.168.172.42 docker,etcd,nginx,keepalived

k8s-node1 192.168.172.43 docker

负载均衡器对外IP 192.168.172.199 (VIP)  

架构图:

kubeadm搭建多master节点的K8S高可用集群

操作系统初始化配置:

# 关闭防火墙

systemctl stop firewalld

systemctl disable firewalld

# 关闭selinux

sed -i ‘s/enforcing/disabled/’ /etc/selinux/config  # 永久

setenforce 0  # 临时

# 关闭swap

swapoff -a  # 临时

sed -ri ‘s/.*swap.*/#&/’ /etc/fstab    # 永久

# 根据规划设置主机名

hostnamectl set-hostname

# 在master添加hosts

cat >> /etc/hosts

192.168.172.40 k8s-master1

192.168.172.41 k8s-master2

192.168.172.42 k8s-master3

192.168.172.43 k8s-node1

EOF

# 将桥接的IPv4流量传递到iptables的链

cat > /etc/sysctl.d/k8s.conf

net.bridge.bridge-nf-call-ip6tables = 1

net.bridge.bridge-nf-call-iptables = 1

EOF

sysctl –system  # 生效

# 时间同步

yum install ntpdate -y

ntpdate time.windows.com

二、部署Nginx+Keepalived高可用负载均衡器

2.1安装软件包(主/备)

yum install epel-release -y

yum install nginx keepalived -y

2.2 Nginx配置文件(主/备一样)

user nginx;

worker_processes auto;

error_log /var/log/nginx/error.log;

pid /run/nginx.pid;

include /usr/share/nginx/modules/*.conf;

events {

    worker_connections 1024;

}

# 四层负载均衡,为两台Master apiserver组件提供负载均衡

stream {

    log_format  main  ‘$remote_addr $upstream_addr – [$time_local] $status $upstream_bytes_sent’;

    access_log  /var/log/nginx/k8s-access.log  main;

    upstream k8s-apiserver {

      server 192.168.172.40:6443;  # Master1 APISERVER IP:PORT

      server 192.168.172.41:6443;  # Master2 APISERVER IP:PORT

    }

    server {

      listen 16443; # 由于nginx与master节点复用,这个监听端口不能是6443,否则会冲突

      proxy_pass k8s-apiserver;

    }

}

http {

    log_format  main  ‘$remote_addr – $remote_user [$time_local] “$request” ‘

                      ‘$status $body_bytes_sent “$http_referer” ‘

                      ‘”$http_user_agent” “$http_x_forwarded_for”‘;

    access_log  /var/log/nginx/access.log  main;

    sendfile            on;

    tcp_nopush          on;

    tcp_nodelay        on;

    keepalive_timeout  65;

    types_hash_max_size 2048;

    include            /etc/nginx/mime.types;

    default_type        application/octet-stream;

    server {

        listen      80 default_server;

        server_name  _;

        location / {

        }

    }

}

2.3 keepalived配置文件(Nginx Master)

vi /etc/keepalived/keepalived.conf

global_defs {

  notification_email {

    acassen@firewall.loc

    failover@firewall.loc

    sysadmin@firewall.loc

  }

  notification_email_from Alexandre.Cassen@firewall.loc 

  smtp_server 127.0.0.1

  smtp_connect_timeout 30

  router_id NGINX_MASTER

}

vrrp_script check_nginx {

    script “/etc/keepalived/check_nginx.sh”

}

vrrp_instance VI_1 {

    state MASTER

    interface ens33  # 修改为实际网卡名

    virtual_router_id 51 # VRRP 路由 ID实例,每个实例是唯一的

    priority 100    # 优先级,备服务器设置 90

    advert_int 1    # 指定VRRP 心跳包通告间隔时间,默认1秒

    authentication {

        auth_type PASS     

        auth_pass 1111

    } 

    # 虚拟IP

    virtual_ipaddress {

        192.168.172.199/24

    }

    track_script {

        check_nginx

    }

}

准备上述配置文件中检查nginx运行状态的脚本:

cat > /etc/keepalived/check_nginx.sh 

#!/bin/bash

count=$(ss -antp |grep 16443 |egrep -cv “grep|$$”)

if [ “$count” -eq 0 ];then

   exit 1

else

   exit 0

fi

EOF

赋权限:

chmod +x /etc/keepalived/check_nginx.sh

准备上述配置文件中检查nginx运行状态的脚本:

cat > /etc/keepalived/check_nginx.sh 

cat > /etc/keepalived/check_nginx.sh

#!/bin/bash

count=$(ss -antp |grep 16443 |egrep -cv “grep|$$”)

if [ “$count” -eq 0 ];then

   exit 1

else

   exit 0

fi

EOF

chmod +x /etc/keepalived/check_nginx.sh

systemctl daemon-reload

systemctl start nginx ; systemctl enable nginx

systemctl status nginx

systemctl start keepalived ; systemctl enable keepalived

systemctl status keepalived

ip addr 查看一下vip地址

kubeadm搭建多master节点的K8S高可用集群

每台导入离线的docker 镜像
docker load -i k8s-images-v1.20.4.tar.gz

gzip -dc k8s-images-v1.20.4.tar.gz  |ssh root@主机名’cat | docker load’

第一台master创建kubeadm-config.yaml

apiVersion: kubeadm.k8s.io/v1beta2

kind: ClusterConfiguration

kubernetesVersion: v1.20.4

controlPlaneEndpoint: 192.168.172.199:16443

imageRepository: registry.aliyuncs.com/google_containers

apiServer:

certSANs:

– 192.168.172.140

– 192.168.172.141

– 192.168.172.142

– 192.168.172.143

– 192.168.172.199

networking:

  podSubnet: 10.244.0.0/16

  serviceSubnet: 10.10.0.0/16

apiVersion: kubeproxy.config.k8s.io/v1alpha1

kind: KubeProxyConfiguration

mode: ipvs

使用kubeadm初始化k8s集群

 kubeadm init –config kubeadm-config.yaml

注:–image-repository registry.aliyuncs.com/google_containers为保证拉取镜像不到国外站点拉取,手动指定仓库地址为registry.aliyuncs.com/google_containers。kubeadm默认从k8ss.grc.io拉取镜像。

出现 下面两段,有–control-plane到主节点敲,另外个是工作节点

kubeadm join 192.168.172.199:16443 –token 4thpb5.jbwmftjg9rmxkbw3

    –discovery-token-ca-cert-hash sha256:85cf38fda29840a592102e676f9b491895b22e458de404f0401f3da58fc44eeb

    –control-plane

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.172.199:16443 –token 4thpb5.jbwmftjg9rmxkbw3

    –discovery-token-ca-cert-hash sha256:85cf38fda29840a592102e676f9b491895b22e458de404f0401f3da58fc44eeb

配置kubectl的配置文件,保存一个证书,这样kubectl命令可以使用这个证书对k8s集群进行管理

mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

查看节点是否正常,这时候只有一台

kubectl get nodes

NAME      STATUS    ROLES                  AGE  VERSION

主机名     NotReady  control-plane,master  60s  v1.20.4

此时集群状态还是NotReady状态,因为网络组件没有启动。

#把第一台master节点的证书拷贝到其他两台上

cd /root && mkdir -p /etc/kubernetes/pki/etcd &&mkdir -p ~/.kube/

 scp /etc/kubernetes/pki/ca.crt 主机名:/etc/kubernetes/pki/

scp /etc/kubernetes/pki/ca.key 主机名:/etc/kubernetes/pki/

scp /etc/kubernetes/pki/sa.key 主机名:/etc/kubernetes/pki/

scp /etc/kubernetes/pki/sa.pub 主机名:/etc/kubernetes/pki/

scp /etc/kubernetes/pki/front-proxy-ca.crt 主机名:/etc/kubernetes/pki/

scp /etc/kubernetes/pki/front-proxy-ca.key 主机名:/etc/kubernetes/pki/

scp /etc/kubernetes/pki/etcd/ca.crt 主机名:/etc/kubernetes/pki/etcd/

scp /etc/kubernetes/pki/etcd/ca.key 主机名:/etc/kubernetes/pki/etcd/

证书拷贝后,master上执行如下命令,每个人不一样

kubeadm join 192.168.172.199:16443 –token 4thpb5.jbwmftjg9rmxkbw3

    –discovery-token-ca-cert-hash sha256:85cf38fda29840a592102e676f9b491895b22e458de404f0401f3da58fc44eeb

    –control-plane

node节点执行

kubeadm join 192.168.172.199:16443 –token 4thpb5.jbwmftjg9rmxkbw3

    –discovery-token-ca-cert-hash sha256:85cf38fda29840a592102e676f9b491895b22e458de404f0401f3da58fc44eeb

查看集群情况  kubectl get nodes

NAME      STATUS    ROLES                  AGE  VERSION

master1   NotReady  control-plane,master  19m     v1.20.4

master2   NotReady  control-plane,master  6m22s  v1.20.4

master3   NotReady  control-plane,master  2m29s  v1.20.4

node1       NotReady          78s    v1.20.4

上面状态都是notready状态,说明没有安装网络插件

Calico简介

Calico 是一种容器之间互通的网络方案。在虚拟化平台中,比如OpenStack、Docker 等都需要实现主机之间互连,但同时也需要对容器做隔离控制。而在多数的虚拟化平台实现中,通常都使用二层隔离技术来实现容器的网络,这些二层的技术有一些弊端,比如需要依赖VLAN、bridge 和隧道等技术,其中bridge 带来了复杂性,vlan 隔离和tunnel 隧道在拆包或加包头时,则消耗更多的资源并对物理环境也有要求。随着网络规模的增大,整体会变得越加复杂。

Calico把Host 当作Internet 中的路由器,使用BGP 同步路由,并使用iptables 来做安全访问策略。

设计思想:Calico 不使用隧道或NAT 来实现转发,而是巧妙的把所有二三层流量转换成三层流量,并通过host 上路由配置完成跨Host 转发

常见的网络插件对比分析

flannel:支持地址分配,不支持网络策略。

calico:支持地址分配,支持网络策略。

flannel:

支持多种后端:

VxLAN:

(1) vxlan 叠加网络模式

(2) Directrouting 

host-gw: Host Gateway 直接路由模式

UDP:一般不用这个模式

安装Calico网络组件

kubectl apply -f calico.yaml

注:在线下载配置文件地址是:https://docs.projectcalico.org/manifests/calico.yaml

拉取镜像需要一定时间,所以我们查看pod状态为running则安装成功。

kubectl get pod –all-namespaces

kubeadm搭建多master节点的K8S高可用集群

最后看一下集群状态
kubectl get nodes

NAME      STATUS  ROLES                  AGE  VERSION

master1   Ready    control-plane,master  22h  v1.20.4

master2  Ready    control-plane,master  22h  v1.20.4

master3   Ready    control-plane,master  22h  v1.20.4

node1      Ready                    22h  v1.20.4

测试在k8s创建pod是否可以正常访问网络 

kubectl run busybox –image busybox:1.28 –restart=Never –rm -it busybox — sh

If you don’t see a command prompt, try pressing enter.

/ # ping www.qq.com

PING www.qq.com (183.194.238.19): 56 data bytes

64 bytes from 183.194.238.19: seq=0 ttl=127 time=11.423 ms

64 bytes from 183.194.238.19: seq=1 ttl=127 time=11.267 ms

^C

ping www.qq.com 能正常访问即成功

声明:本文内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:qvyue@qq.com 进行举报,并提供相关证据,工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。