怎样进行Kubernetes二进制部署中的单节点部署

86次阅读
没有评论

共计 45534 个字符,预计需要花费 114 分钟才能阅读完成。

今天就跟大家聊聊有关怎样进行 Kubernetes 二进制部署中的单节点部署,可能很多人都不太了解,为了让大家更加了解,丸趣 TV 小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

Kubernetes 群集架构图:

各节点组件及含义:

1、Master 组件 kube-apiserver

Kubernetes API, 集群的统一入口,各组件协调者,以 RESTful API 提供接口服务,所有对象资源的增删改查和监听操作都交给 APIServer 处理后再提交给 Etcd 存储。

kube-controller-manager

处理集群中常规后台任务,一个 资源对应一个控制 器,而 ControllerManager 就是负责管理这些控制器的。

kube-scheduler

根据调度算法为新创建的 Pod 选择一个 Node 节点,可以任意部署,可以部署在同一个节点上,也可以部署在不同的节点上。

etcd

分布式键值存储系统。用于保存集群状态数据,比如 Pod、Service 等对象信息。

2、Node 组件 kubelet

kubelet 是 Master 在 Node 节点上的 Agent,管理本机运行容器的生命周期,比如创建容器、Pod 挂载数据卷、下 载 secret、获取容器和节点状态等工作。kubelet 将 每个 Pod 转换成一组容器。

kube-proxy

在 Node 节点上实现 Pod 网络代理,维护网络规则和四层负载均衡工作。

docker 或 rocket

容器引擎,运行容器。

  # 工作原理:

1、准备包含应用程序的 Deployment 的 yml 文件,然后通过 kubectl 客户端工具发送给 ApiServer。

2、ApiServer 接收到客户端的请求并将资源内容存储到数据库 (etcd) 中。

3、Controller 组件 (包括 scheduler、replication、endpoint) 监控资源变化并作出反应。

4、ReplicaSet 检查数据库变化,创建期望数量的 pod 实例。

5、Scheduler 再次检查数据库变化,发现尚未被分配到具体执行节点 (node) 的 Pod,然后根据一组相关规则将 pod 分配到可以运行它们的节点上,并更新数据库,记录 pod 分配情况。

6、Kubelete 监控数据库变化,管理后续 pod 的生命周期,发现被分配到它所在的节点上运行的那些 pod。如果找到新 pod,则会在该节点上运行这个新 pod。

附:kuberproxy 运行在集群各个主机上,管理网络通信,如服务发现、负载均衡。当有数据发送到主机时,将其路由到正确的 pod 或容器。对于从主机上发出的数据,它可以基于请求地址发现远程服务器,并将数据正确路由,在某些情况下会使用轮循调度算法 (Round-robin) 将请求发送到集群中的多个实例。

Kubernetes 核心概念 1、Pod

最小部署单元

一组容器的集合

一个 Pod 中的容器共享网络命名空间

Pod 是短暂的

2、Controllers

ReplicaSet:确保 预期的 Pod 副本数量

Deployment:无状态应用 部署

StatefulSet:有状态应用部署

DaemonSet:确保所有 Node 运行同一个 Pod

Job:一次性任务

Cronjob:定时任务
更高级层次对象,部署和管理 Pod

3、Service

防止 Pod 失联

定义一组 Pod 的访问策略

Label:标签,附加到某个资源上,用于关联对象、查询和筛选

Namespaces:命名空间,将对象逻辑上隔离

Annotations:注释

Kubernetes 集群部署 1. 官方提供的三种部署方式 minikube

Minikube 是一个工具,可以在本地快速运行一个单点的 Kubernetes,仅用于尝试 Kubernetes 或日常开发的用户使用。
部署地址: https://kubernetes.io/docs/setup/minikube/

kubeadm

Kubeadm 也是一个工具,提供 kubeadm init 和 kubeadm join, 用于快速部署 Kubernetes 集群。

部署地址:https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/

二进制包

推荐,从官方下载发行版的二进制包,手动部署每个组件,组成 Kubernetes 集群。

下载地址:https://github.com/kubernetes/kubernetes/releases
 

2. Kubernetes 架构图

3. 自签 SSL 证书组件使用的证书 etcdca.pem, server.pem, server-key.pemflannelca.pem,server.pem, server-key.pemkube- apiserverca.pem, server.pem, server-key.pemkubeletca.pem, ca-key.pemkube-proxyca.pem, kube-proxy.pem, kube-proxy-key.pemkubectlca.pem, admin.pem, admin-key.pem4. Etcd 数据库集群部署

二进制包下载地址
https://github.com/etcd-io/etcd/releases

k8s 单节点部署思路:第一部分

1、自签 ETCD 证书  
2、ETCD 部署  
3、Node 安装 docker 
4、Flannel 部署(先写入子网到 etcd)

第二部分(master)

1、自签 APIServer 证书  
2、部署 APIServer 组件(token,csv)
3、部署 controller-manager(指定 apiserver 证书)和 scheduler 组件  

第三部分(node)

1、生成 kubeconfig(bootstrap,kubeconfig 和 kube-proxy.kubeconfig)
2、部署 kubelet 组件
3、部署 kube-proxy 组件

第四部分(加入群集)

1、kubectl get csr kubectl certificate approve 允许颁发证书,加入群集
2、添加一个 node 节点
3、查看 kubectl get node 节点

k8s 部署规划:负载均衡

Nginx1:192.168.35.104/24

Nginx2:192.168.35.105/24

Master 节点

master1:192.168.35.100/24

master2:192.168.35.103/24

Node 节点

node1:192.168.35.101/24

node2:192.168.35.102/24

第一部分 1.1、自签 ETCD 证书 1.1.1、master 操作:

[root@localhost ~]# mkdir k8s
[root@localhost ~]# cd k8s/
[root@localhost k8s]# ls ## 从宿主机拖进来
etcd-cert.sh etcd.sh
[root@localhost k8s]# mkdir etcd-cert
[root@localhost k8s]# mv etcd-cert.sh etcd-cert

下面是 etcd.sh 脚本内容

vim etcd.sh
#!/bin/bash
# example: ./etcd.sh etcd01 192.168.1.10 etcd02=https://192.168.1.11:2380,etcd03=https://192.168.1.12:2380
ETCD_NAME=$1
ETCD_IP=$2
ETCD_CLUSTER=$3
WORK_DIR=/opt/etcd
cat  EOF  $WORK_DIR/cfg/etcd
#[Member]
ETCD_NAME= ${ETCD_NAME} 
ETCD_DATA_DIR= /var/lib/etcd/default.etcd 
ETCD_LISTEN_PEER_URLS= https://${ETCD_IP}:2380 
ETCD_LISTEN_CLIENT_URLS= https://${ETCD_IP}:2379 
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS= https://${ETCD_IP}:2380 
ETCD_ADVERTISE_CLIENT_URLS= https://${ETCD_IP}:2379 
ETCD_INITIAL_CLUSTER= etcd01=https://${ETCD_IP}:2380,${ETCD_CLUSTER} 
ETCD_INITIAL_CLUSTER_TOKEN= etcd-cluster 
ETCD_INITIAL_CLUSTER_STATE= new 
cat  EOF  /usr/lib/systemd/system/etcd.service
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
[Service]
Type=notify
EnvironmentFile=${WORK_DIR}/cfg/etcd
ExecStart=${WORK_DIR}/bin/etcd \
--name=\${ETCD_NAME} \
--data-dir=\${ETCD_DATA_DIR} \
--listen-peer-urls=\${ETCD_LISTEN_PEER_URLS} \
--listen-client-urls=\${ETCD_LISTEN_CLIENT_URLS},http://127.0.0.1:2379 \
--advertise-client-urls=\${ETCD_ADVERTISE_CLIENT_URLS} \
--initial-advertise-peer-urls=\${ETCD_INITIAL_ADVERTISE_PEER_URLS} \
--initial-cluster=\${ETCD_INITIAL_CLUSTER} \
--initial-cluster-token=\${ETCD_INITIAL_CLUSTER_TOKEN} \
--initial-cluster-state=new \
--cert-file=${WORK_DIR}/ssl/server.pem \
--key-file=${WORK_DIR}/ssl/server-key.pem \
--peer-cert-file=${WORK_DIR}/ssl/server.pem \
--peer-key-file=${WORK_DIR}/ssl/server-key.pem \
--trusted-ca-file=${WORK_DIR}/ssl/ca.pem \
--peer-trusted-ca-file=${WORK_DIR}/ssl/ca.pem
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
systemctl daemon-reload
systemctl enable etcd
systemctl restart etcd

下面是 etcd-cert.sh 脚本内容

vim etcd-cert.sh
cat   ca-config.json  EOF
  signing : {
  default : {
  expiry :  87600h 
 },
  profiles : {
  www : {
  expiry :  87600h ,
  usages : [
  signing ,
  key encipherment ,
  server auth ,
  client auth 
 ]
 }
 }
 }
cat   ca-csr.json  EOF
  CN :  etcd CA ,
  key : {
  algo :  rsa ,
  size : 2048
 },
  names : [
 {
  C :  CN ,
  L :  Beijing ,
  ST :  Beijing 
 }
 ]
cfssl gencert -initca ca-csr.json | cfssljson -bare ca -
#-----------------------
cat   server-csr.json  EOF
  CN :  etcd ,
  hosts : [
  10.206.240.188 ,
  10.206.240.189 ,
  10.206.240.111 
 ],
  key : {
  algo :  rsa ,
  size : 2048
 },
  names : [
 {
  C :  CN ,
  L :  BeiJing ,
  ST :  BeiJing 
 }
 ]
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=www server-csr.json | cfssljson -bare server

1.1.2、下载官方包  

[root@localhost k8s]# vim cfssl.sh
curl -L https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -o /usr/local/bin/cfssl
curl -L https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -o /usr/local/bin/cfssljson
curl -L https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -o /usr/local/bin/cfssl-certinfo
chmod +x /usr/local/bin/cfssl /usr/local/bin/cfssljson /usr/local/bin/cfssl-certinfo
[root@localhost k8s]# bash cfssl.sh // 下载 cfssl 官方包
 % Total % Received % Xferd Average Speed Time Time Time Current
 Dload Upload Total Spent Left Speed
100 9.8M 100 9.8M 0 0 77052 0 0:02:14 0:02:14 --:--:-- 94447
 % Total % Received % Xferd Average Speed Time Time Time Current
 Dload Upload Total Spent Left Speed
100 2224k 100 2224k 0 0 66701 0 0:00:34 0:00:34 --:--:-- 71949
 % Total % Received % Xferd Average Speed Time Time Time Current
 Dload Upload Total Spent Left Speed
100 6440k 100 6440k 0 0 74368 0 0:01:28 0:01:28 --:--:-- 93942
[root@localhost k8s]# ls /usr/local/bin/
cfssl cfssl-certinfo cfssljson
##cfssl  生成证书工具、cfssljson 通过传入 json 文件生成证书、cfssl-certinfo 查看证书信息

1.2、ETCD 部署    1.2.1、定义证书

[root@localhost k8s]# cd etcd-cert/
cat   ca-config.json  EOF
  signing : {
  default : {
  expiry :  87600h 
 },
  profiles : {
  www : {
  expiry :  87600h ,
  usages : [
  signing ,
  key encipherment ,
  server auth ,
  client auth  
 ] 
 } 
 } 
 }
EOF

1.2.2、实现证书签名

cat   ca-csr.json  EOF 
{ 
  CN :  etcd CA ,
  key : {
  algo :  rsa ,
  size : 2048
 },
  names : [
 {
  C :  CN ,
  L :  Beijing ,
  ST :  Beijing 
 }
 ]
EOF

1.2.3、生产证书,生成 ca-key.pem  ca.pem

cfssl gencert -initca ca-csr.json | cfssljson -bare ca -
2020/01/15 18:15:15 [INFO] generating a new CA key and certificate from CSR
2020/01/15 18:15:15 [INFO] generate received request
2020/01/15 18:15:15 [INFO] received CSR
2020/01/15 18:15:15 [INFO] generating key: rsa-2048
2020/01/15 18:15:15 [INFO] encoded CSR
2020/01/15 18:15:15 [INFO] signed certificate with serial number 661808851940283859099066838380794010566731982441

1.2.4、指定 etcd 三个节点之间的通信验证

cat   server-csr.json  EOF
  CN :  etcd ,
  hosts : [
  192.168.35.100 ,
  192.168.35.101 ,
  192.168.35.102 
 ],
  key : {
  algo :  rsa ,
  size : 2048
 },
  names : [
 {
  C :  CN ,
  L :  BeiJing ,
  ST :  BeiJing 
 }
 ]
EOF

1.2.5、生成 ETCD 证书 server-key.pem   server.pem

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=www server-csr.json | cfssljson -bare server
www server-csr.json | cfssljson -bare server
2020/01/15 18:24:09 [INFO] generate received request
2020/01/15 18:24:09 [INFO] received CSR
2020/01/15 18:24:09 [INFO] generating key: rsa-2048
2020/01/15 18:24:09 [INFO] encoded CSR
2020/01/15 18:24:09 [INFO] signed certificate with serial number 613252568370198035643630635602034323043189506463
2020/01/15 18:24:09 [WARNING] This certificate lacks a  hosts  field. This makes it unsuitable for
websites. For more information see the Baseline Requirements for the Issuance and Management
of Publicly-Trusted Certificates, v.1.1.6, from the CA/Browser Forum (https://cabforum.org);
specifically, section 10.2.3 (Information Requirements).

1.2.6、复制软件包到 centos7 中

[root@localhost etcd-cert]# cd /root/k8s/
[root@localhost k8s]# ls ## 直接拉取到目录下
cfssl.sh etcd.sh flannel-v0.10.0-linux-amd64.tar.gz
etcd-cert etcd-v3.3.10-linux-amd64.tar.gz kubernetes-server-linux-amd64.tar.gz

1.2.7、解压

[root@localhost k8s]# tar xf etcd-v3.3.10-linux-amd64.tar.gz
[root@localhost k8s]# ls etcd-v3.3.10-linux-amd64
Documentation etcd etcdctl README-etcdctl.md README.md READMEv2-etcdctl.md
[root@localhost k8s]# mkdir /opt/etcd/{cfg,bin,ssl} -p ## 配置文件,命令文件,证书
[root@localhost k8s]# mv etcd-v3.3.10-linux-amd64/etcd etcd-v3.3.10-linux-amd64/etcdctl /opt/etcd/bin/

1.2.8、证书拷贝

## 证书拷贝
[root@localhost k8s]# cp etcd-cert/*.pem /opt/etcd/ssl/
## 进入卡住状态等待其他节点加入
[root@localhost k8s]# bash etcd.sh etcd01 192.168.35.100 etcd02=https://192.168.35.101:2380,etcd03=https://192.168.35.102:2380

1.2.9、此时打开另外一个会话,会发现 etcd 进程已经开启

[root@localhost etcd-cert]# ps -ef | grep etcd
root 81594 1 0 12:25 ? 00:00:18 /opt/etcd/bin/etcd --name=etcd01 --data-dir=/var/lib/etcd/default.etcd --listen-peer-urls=https://192.168.35.100:2380 --listen-client-urls=https://192.168.35.100:2379,http://127.0.0.1:2379 --advertise-client-urls=https://192.168.35.100:2379 --initial-advertise-peer-urls=https://192.168.35.100:2380 --initial-cluster=etcd01=https://192.168.35.100:2380,etcd02=https://192.168.35.101:2380,etcd03=https://192.168.35.102:2380 --initial-cluster-token=etcd-cluster --initial-cluster-state=new --cert-file=/opt/etcd/ssl/server.pem --key-file=/opt/etcd/ssl/server-key.pem --peer-cert-file=/opt/etcd/ssl/server.pem --peer-key-file=/opt/etcd/ssl/server-key.pem --trusted-ca-file=/opt/etcd/ssl/ca.pem --peer-trusted-ca-file=/opt/etcd/ssl/ca.pem
root 82044 79438 0 13:12 pts/0 00:00:00 grep --color=auto etcd

1.2.10、在 master1、node1、node2 上都关闭防火墙

systemctl stop firewalld.service 
setenforce 0

1.2.11、拷贝证书去其他节点

[root@localhost k8s]# scp -r /opt/etcd/ root@192.168.35.101:/opt/
[root@localhost k8s]# scp -r /opt/etcd/ root@192.168.35.102:/opt

1.2.12、启动脚本拷贝其他节点

[root@localhost k8s]# scp /usr/lib/systemd/system/etcd.service root@192.168.35.101:/usr/lib/systemd/system/
[root@localhost k8s]# scp /usr/lib/systemd/system/etcd.service root@192.168.35.102:/usr/lib/systemd/system/

1.2.13、在 node01 节点修改

[root@localhost ~]# vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME= etcd02 
ETCD_DATA_DIR= /var/lib/etcd/default.etcd 
ETCD_LISTEN_PEER_URLS= https://192.168.35.101:2380 
ETCD_LISTEN_CLIENT_URLS= https://192.168.35.101:2379 
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS= https://192.168.35.101:2380 
ETCD_ADVERTISE_CLIENT_URLS= https://192.168.35.101:2379 
ETCD_INITIAL_CLUSTER= etcd01=https://192.168.35.128:2380,etcd02=https://192.168.35.195:2380,etcd03=https://192.168.35.138:2380 
ETCD_INITIAL_CLUSTER_TOKEN= etcd-cluster 
ETCD_INITIAL_CLUSTER_STATE= new

1.2.14、在 node02 节点修改

[root@localhost ~]# vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME= etcd03 
ETCD_DATA_DIR= /var/lib/etcd/default.etcd 
ETCD_LISTEN_PEER_URLS= https://192.168.35.102:2380 
ETCD_LISTEN_CLIENT_URLS= https://192.168.35.102:2379 
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS= https://192.168.35.102:2380 
ETCD_ADVERTISE_CLIENT_URLS= https://192.168.35.102:2379 
ETCD_INITIAL_CLUSTER= etcd01=https://192.168.35.128:2380,etcd02=https://192.168.35.195:2380,etcd03=https://192.168.35.138:2380 
ETCD_INITIAL_CLUSTER_TOKEN= etcd-cluster 
ETCD_INITIAL_CLUSTER_STATE= new

1.2.15、先在 master 上开启服务

[root@localhost system]# cd /root/k8s/
[root@localhost k8s]# bash etcd.sh etcd01 192.168.35.100 etcd02=https://192.168.35.101:2380,etcd03=https://192.168.35.102:2380

1.2.16、在 node1 和 node2 上开启服务

[root@localhost ~]# systemctl start etcd
[root@localhost ~]# systemctl status etcd

1.2.17、再去 master 查看,会发现同步成功

[root@localhost k8s]# bash etcd.sh etcd01 192.168.35.100 etcd02=https://192.168.35.101:2380,etcd03=https://192.168.35.102:2380

1.2.18、检查群集状态

[root@localhost k8s]# cd etcd-cert/
[root@localhost etcd-cert]# /opt/etcd/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints= https://192.168.35.100:2379,https://192.168.35.101:2379,https://192.168.35.102:2379  cluster-health
member 12a96220ac829a49 is healthy: got healthy result from https://192.168.35.195:2379
member 76797989afd0ecba is healthy: got healthy result from https://192.168.35.128:2379
member ff469df2baaba1da is healthy: got healthy result from https://192.168.35.138:2379
cluster is healthy

1.3、Node 安装 docker  部署 19 版 docker1.3.1、安装依赖包

yum install -y yum-utils device-mapper-persistent-data lvm2

1.3.2、设置阿里云镜像源

yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

1.3.3、安装 Docker-CE

yum install -y docker-ce

1.3.4、关闭防火墙

systemctl stop firewalld.service 
setenforce 0

1.3.5、开启服务并设为开机自启

systemctl start docker.service 
systemctl enable docker.service

1.3.6、镜像加速

tee /etc/docker/daemon.json  - EOF 
  registry-mirrors : [https://cz1numin.mirror.aliyuncs.com]
## 重载并重启服务
systemctl daemon-reload
systemctl restart docker

1.3.7、网络优化

vim /etc/sysctl.conf
net.ipv4.ip_forward=1
## 重载配置、重启网卡、重启服务
sysctl -p
service network restart
systemctl restart docker

1.4、Flannel 部署 1.4.1、写入分配的子网段到 ETCD 中,供 flannel 使用

[root@localhost etcd-cert]# /opt/etcd/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints= https://192.168.35.100:2379,https://192.168.35.101:2379,https://192.168.35.102:2379  set /coreos.com/network/config  {  Network :  172.17.0.0/16 ,  Backend : { Type :  vxlan}} 
{  Network :  172.17.0.0/16 ,  Backend : { Type :  vxlan}}

1.4.2、查看写入的信息

[root@localhost etcd-cert]# /opt/etcd/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints= https://192.168.35.100:2379,https://192.168.35.101:2379,https://192.168.35.102:2379  get /coreos.com/network/config
{  Network :  172.17.0.0/16 ,  Backend : { Type :  vxlan}}

1.4.3、拷贝到所有 node 节点(只需要部署在 node 节点即可)

[root@localhost k8s]# scp flannel-v0.10.0-linux-amd64.tar.gz root@192.168.35.101:/root
root@192.168.35.101 s password: 
flannel-v0.10.0-linux-amd64.tar.gz 100% 9479KB 66.6MB/s 00:00 
[root@localhost k8s]# scp flannel-v0.10.0-linux-amd64.tar.gz root@192.168.35.102:/root
root@192.168.35.102 s password: 
flannel-v0.10.0-linux-amd64.tar.gz 100% 9479KB 75.7MB/s 00:00

1.4.4、所有 node 节点操作解压

[root@localhost ~]# tar zxvf flannel-v0.10.0-linux-amd64.tar.gz 
flanneld
mk-docker-opts.sh
README.md

1.4.5、node1 操作(1)k8s 工作目录

[root@localhost ~]# ls /opt/
containerd etcd rh
[root@localhost ~]# mkdir /opt/kubernetes/{cfg,bin,ssl} -p
[root@localhost ~]# ls /opt/
containerd etcd kubernetes rh
[root@localhost ~]# mv mk-docker-opts.sh flanneld /opt/kubernetes/bin/
[root@localhost ~]# ls /opt/kubernetes/bin/
flanneld mk-docker-opts.sh
[root@localhost ~]# vim flannel.sh
#!/bin/bash
 
ETCD_ENDPOINTS=${1:- http://127.0.0.1:2379}
 
cat  EOF  /opt/kubernetes/cfg/flanneld
 
FLANNEL_OPTIONS= --etcd-endpoints=${ETCD_ENDPOINTS} \
-etcd-cafile=/opt/etcd/ssl/ca.pem \
-etcd-certfile=/opt/etcd/ssl/server.pem \
-etcd-keyfile=/opt/etcd/ssl/server-key.pem 
 
 
cat  EOF  /usr/lib/systemd/system/flanneld.service
[Unit]
Description=Flanneld overlay address etcd agent
After=network-online.target network.target
Before=docker.service
 
[Service]
Type=notify
EnvironmentFile=/opt/kubernetes/cfg/flanneld
ExecStart=/opt/kubernetes/bin/flanneld --ip-masq \$FLANNEL_OPTIONS
ExecStartPost=/opt/kubernetes/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/subnet.env
Restart=on-failure
 
[Install]
WantedBy=multi-user.target
 
 
systemctl daemon-reload
systemctl enable flanneld
systemctl restart flanneld

(2)开启 flannel 网络功能

[root@localhost ~]# bash flannel.sh https://192.168.35.100:2379,https://192.168.35.101:2379,https://192.168.35.102:2379
Created symlink from /etc/systemd/system/multi-user.target.wants/flanneld.service to /usr/lib/systemd/system/flanneld.service.

(3)配置 docker 连接 flannel

[root@localhost ~]# vim /usr/lib/systemd/system/docker.service
[Service]
Type=notify
# the default is not to use systemd for cgroups because the delegate issues still
# exists and systemd currently does not support the cgroup feature set required
# for containers run by docker
EnvironmentFile=/run/flannel/subnet.env
ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS -H fd:// --containerd=/run/containerd/containerd.sock
ExecReload=/bin/kill -s HUP $MAINPID
TimeoutSec=0
RestartSec=2
Restart=always

(4)说明:bip 指定启动时的子网

[root@localhost ~]# cat /run/flannel/subnet.env
DOCKER_OPT_BIP= --bip=172.17.23.1/24 
DOCKER_OPT_IPMASQ= --ip-masq=false 
DOCKER_OPT_MTU= --mtu=1450 
DOCKER_NETWORK_OPTIONS=  --bip=172.17.23.1/24 --ip-masq=false --mtu=1450

(5)重启 docker 服务

[root@localhost ~]# systemctl daemon-reload
[root@localhost ~]# systemctl restart docker

(6)查看 flannel 网络

[root@localhost ~]# ifconfig
docker0: flags=4099 UP,BROADCAST,MULTICAST  mtu 1500
 inet 172.17.23.1 netmask 255.255.255.0 broadcast 172.17.23.255
 ether 02:42:7d:9a:31:89 txqueuelen 0 (Ethernet)
 RX packets 0 bytes 0 (0.0 B)
 RX errors 0 dropped 0 overruns 0 frame 0
 TX packets 0 bytes 0 (0.0 B)
 TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
ens33: flags=4163 UP,BROADCAST,RUNNING,MULTICAST  mtu 1500
 inet 192.168.35.101 netmask 255.255.255.0 broadcast 192.168.35.255
 inet6 fe80::d4e2:ef9e:6820:145a prefixlen 64 scopeid 0x20 link 
 inet6 fe80::2a3:b621:ca01:463e prefixlen 64 scopeid 0x20 link 
 ether 00:0c:29:01:82:fd txqueuelen 1000 (Ethernet)
 RX packets 1148980 bytes 1135571843 (1.0 GiB)
 RX errors 0 dropped 0 overruns 0 frame 0
 TX packets 594986 bytes 64240523 (61.2 MiB)
 TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
flannel.1: flags=4163 UP,BROADCAST,RUNNING,MULTICAST  mtu 1450
 inet 172.17.23.0 netmask 255.255.255.255 broadcast 0.0.0.0
 inet6 fe80::58e3:97ff:fe97:28f2 prefixlen 64 scopeid 0x20 link 
 ether 5a:e3:97:97:28:f2 txqueuelen 0 (Ethernet)
 RX packets 0 bytes 0 (0.0 B)
 RX errors 0 dropped 0 overruns 0 frame 0
 TX packets 0 bytes 0 (0.0 B)
 TX errors 0 dropped 141 overruns 0 carrier 0 collisions 0

(7)创建容器

[root@localhost ~]# docker run -it centos:7 /bin/bash
Unable to find image  centos:7  locally
7: Pulling from library/centos
ab5ef0e58194: Pull complete 
Digest: sha256:4a701376d03f6b39b8c2a8f4a8e499441b0d567f9ab9d58e4991de4472fb813c
Status: Downloaded newer image for centos:7
[root@809ba7f7fdbe /]# yum install net-tools -y # 安装工具后才能使用 ifconfig 命令
[root@809ba7f7fdbe /]# ifconfig 
eth0: flags=4163 UP,BROADCAST,RUNNING,MULTICAST  mtu 1450
 inet 172.17.23.2 netmask 255.255.255.0 broadcast 172.17.23.255
 ether 02:42:ac:11:17:02 txqueuelen 0 (Ethernet)
 RX packets 17384 bytes 13962588 (13.3 MiB)
 RX errors 0 dropped 0 overruns 0 frame 0
 TX packets 5915 bytes 323222 (315.6 KiB)
 TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
lo: flags=73 UP,LOOPBACK,RUNNING  mtu 65536
 inet 127.0.0.1 netmask 255.0.0.0
 loop txqueuelen 1 (Local Loopback)
 RX packets 0 bytes 0 (0.0 B)
 RX errors 0 dropped 0 overruns 0 frame 0
 TX packets 0 bytes 0 (0.0 B)
 TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

1.4.6、node2 操作(和上述 node1 操作一样)

注释:这里过程就省略了,只看下重要的结果

(1)bip 指定启动时的子网

[root@localhost ~]# vim /usr/lib/systemd/system/docker.service
[root@localhost ~]# cat /run/flannel/subnet.env
DOCKER_OPT_BIP= --bip=172.17.56.1/24 
DOCKER_OPT_IPMASQ= --ip-masq=false 
DOCKER_OPT_MTU= --mtu=1450 
DOCKER_NETWORK_OPTIONS=  --bip=172.17.56.1/24 --ip-masq=false --mtu=1450

(2)查看 flannel 网络

[root@localhost ~]# ifconfig 
docker0: flags=4099 UP,BROADCAST,MULTICAST  mtu 1500
 inet 172.17.56.1 netmask 255.255.255.0 broadcast 172.17.56.255
 ether 02:42:4b:66:50:5b txqueuelen 0 (Ethernet)
 RX packets 0 bytes 0 (0.0 B)
 RX errors 0 dropped 0 overruns 0 frame 0
 TX packets 0 bytes 0 (0.0 B)
 TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
flannel.1: flags=4163 UP,BROADCAST,RUNNING,MULTICAST  mtu 1450
 inet 172.17.56.0 netmask 255.255.255.255 broadcast 0.0.0.0
 inet6 fe80::50f6:daff:fe4e:af02 prefixlen 64 scopeid 0x20 link 
 ether 52:f6:da:4e:af:02 txqueuelen 0 (Ethernet)
 RX packets 0 bytes 0 (0.0 B)
 RX errors 0 dropped 0 overruns 0 frame 0
 TX packets 0 bytes 0 (0.0 B)
 TX errors 0 dropped 106 overruns 0 carrier 0 collisions 0

(3)创建容器

[root@localhost ~]# docker run -it centos:7 /bin/bash
Unable to find image  centos:7  locally
7: Pulling from library/centos
ab5ef0e58194: Pull complete 
Digest: sha256:4a701376d03f6b39b8c2a8f4a8e499441b0d567f9ab9d58e4991de4472fb813c
Status: Downloaded newer image for centos:7
[root@5d34e9d6766e /]# yum install net-tools -y
[root@5d34e9d6766e /]# ifconfig 
eth0: flags=4163 UP,BROADCAST,RUNNING,MULTICAST  mtu 1450
 inet 172.17.56.2 netmask 255.255.255.0 broadcast 172.17.56.255
 ether 02:42:ac:11:38:02 txqueuelen 0 (Ethernet)
 RX packets 17199 bytes 13954199 (13.3 MiB)
 RX errors 0 dropped 0 overruns 0 frame 0
 TX packets 6723 bytes 367133 (358.5 KiB)
 TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
lo: flags=73 UP,LOOPBACK,RUNNING  mtu 65536
 inet 127.0.0.1 netmask 255.0.0.0
 loop txqueuelen 1 (Local Loopback)
 RX packets 0 bytes 0 (0.0 B)
 RX errors 0 dropped 0 overruns 0 frame 0
 TX packets 0 bytes 0 (0.0 B)
 TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

1.4.7、测试 ping 通对方 docker0 网卡 证明 flannel 起到路由作用

[root@localhost ~]# ping 172.17.56.1
PING 172.17.56.1 (172.17.56.1) 56(84) bytes of data.
64 bytes from 172.17.56.1: icmp_seq=1 ttl=64 time=0.307 ms
64 bytes from 172.17.56.1: icmp_seq=2 ttl=64 time=0.385 ms
64 bytes from 172.17.56.1: icmp_seq=3 ttl=64 time=0.302 ms

1.4.8、再次测试 ping 通两个 node 中的 centos:7 容器

[root@809ba7f7fdbe /]# ping 172.17.56.2
PING 172.17.56.2 (172.17.56.2) 56(84) bytes of data.
64 bytes from 172.17.56.2: icmp_seq=1 ttl=62 time=0.487 ms
64 bytes from 172.17.56.2: icmp_seq=2 ttl=62 time=0.273 ms
64 bytes from 172.17.56.2: icmp_seq=3 ttl=62 time=0.234 ms

第二部分(master)2.1、自签 APIServer 证书 2.1.1、在 master 上操作,api-server 生成证书

[root@localhost k8s]# ls
etcd-cert etcd-v3.3.10-linux-amd64.tar.gz master.zip
etcd.sh flannel-v0.10.0-linux-amd64.tar.gz
etcd-v3.3.10-linux-amd64 kubernetes-server-linux-amd64.tar.gz
[root@localhost k8s]# unzip master.zip
Archive: master.zip
 inflating: apiserver.sh 
 inflating: controller-manager.sh 
 inflating: scheduler.sh 
[root@localhost k8s]# mkdir /opt/kubernetes/{cfg,bin,ssl} -p
[root@localhost k8s]# mkdir k8s-cert #apiserver 自签证书目录
[root@localhost k8s]# cd k8s-cert/
[root@localhost k8s-cert]# ls
k8s-cert.sh
//k8s-cert.sh 脚本
cat   ca-config.json  EOF
  signing : {
  default : {
  expiry :  87600h 
 },
  profiles : {
  kubernetes : {
  expiry :  87600h ,
  usages : [
  signing ,
  key encipherment ,
  server auth ,
  client auth 
 ]
 }
 }
 }
cat   ca-csr.json  EOF
  CN :  kubernetes ,
  key : {
  algo :  rsa ,
  size : 2048
 },
  names : [
 {
  C :  CN ,
  L :  Beijing ,
  ST :  Beijing ,
  O :  k8s ,
  OU :  System 
 }
 ]
cfssl gencert -initca ca-csr.json | cfssljson -bare ca -
#-----------------------
cat   server-csr.json  EOF
  CN :  kubernetes ,
  hosts : [
  10.0.0.1 ,
  127.0.0.1 ,
  192.168.35.100 , //master1
  192.168.35.103 , //master2
  192.168.35.200 , //vip
  192.168.35.104 , //nginx1(master)  192.168.35.105 , //nginx2(backup)  kubernetes ,
  kubernetes.default ,
  kubernetes.default.svc ,
  kubernetes.default.svc.cluster ,
  kubernetes.default.svc.cluster.local 
 ],
  key : {
  algo :  rsa ,
  size : 2048
 },
  names : [
 {
  C :  CN ,
  L :  BeiJing ,
  ST :  BeiJing ,
  O :  k8s ,
  OU :  System 
 }
 ]
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes server-csr.json | cfssljson -bare server
#-----------------------
cat   admin-csr.json  EOF
  CN :  admin ,
  hosts : [],
  key : {
  algo :  rsa ,
  size : 2048
 },
  names : [
 {
  C :  CN ,
  L :  BeiJing ,
  ST :  BeiJing ,
  O :  system:masters ,
  OU :  System 
 }
 ]
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes admin-csr.json | cfssljson -bare admin
#-----------------------
cat   kube-proxy-csr.json  EOF
  CN :  system:kube-proxy ,
  hosts : [],
  key : {
  algo :  rsa ,
  size : 2048
 },
  names : [
 {
  C :  CN ,
  L :  BeiJing ,
  ST :  BeiJing ,
  O :  k8s ,
  OU :  System 
 }
 ]
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy

2.1.2、生成 k8s 证书

[root@localhost k8s-cert]# bash k8s-cert.sh
2020/02/05 15:04:48 [INFO] generating a new CA key and certificate from CSR
2020/02/05 15:04:48 [INFO] generate received request
2020/02/05 15:04:48 [INFO] received CSR
2020/02/05 15:04:48 [INFO] generating key: rsa-2048
2020/02/05 15:04:49 [INFO] encoded CSR
2020/02/05 15:04:49 [INFO] signed certificate with serial number 213037901624270895781178406733487458634913677457
2020/02/05 15:04:49 [INFO] generate received request
2020/02/05 15:04:49 [INFO] received CSR
2020/02/05 15:04:49 [INFO] generating key: rsa-2048
2020/02/05 15:04:49 [INFO] encoded CSR
2020/02/05 15:04:49 [INFO] signed certificate with serial number 459900166635201812257861637517291405808825101980
2020/02/05 15:04:49 [WARNING] This certificate lacks a  hosts  field. This makes it unsuitable for
websites. For more information see the Baseline Requirements for the Issuance and Management
of Publicly-Trusted Certificates, v.1.1.6, from the CA/Browser Forum (https://cabforum.org);
specifically, section 10.2.3 (Information Requirements).
2020/02/05 15:04:49 [INFO] generate received request
2020/02/05 15:04:49 [INFO] received CSR
2020/02/05 15:04:49 [INFO] generating key: rsa-2048
2020/02/05 15:04:49 [INFO] encoded CSR
2020/02/05 15:04:49 [INFO] signed certificate with serial number 229556723754610484918666718008179982380721010192
2020/02/05 15:04:49 [WARNING] This certificate lacks a  hosts  field. This makes it unsuitable for
websites. For more information see the Baseline Requirements for the Issuance and Management
of Publicly-Trusted Certificates, v.1.1.6, from the CA/Browser Forum (https://cabforum.org);
specifically, section 10.2.3 (Information Requirements).
2020/02/05 15:04:49 [INFO] generate received request
2020/02/05 15:04:49 [INFO] received CSR
2020/02/05 15:04:49 [INFO] generating key: rsa-2048
2020/02/05 15:04:49 [INFO] encoded CSR
2020/02/05 15:04:49 [INFO] signed certificate with serial number 435030710152838930041815329750301323468065876772
2020/02/05 15:04:49 [WARNING] This certificate lacks a  hosts  field. This makes it unsuitable for
websites. For more information see the Baseline Requirements for the Issuance and Management
of Publicly-Trusted Certificates, v.1.1.6, from the CA/Browser Forum (https://cabforum.org);
specifically, section 10.2.3 (Information Requirements).
[root@localhost k8s-cert]# ls *pem
admin-key.pem ca-key.pem kube-proxy-key.pem server-key.pem
admin.pem ca.pem kube-proxy.pem server.pem
[root@localhost k8s-cert]# cp ca*pem server*pem /opt/kubernetes/ssl/

2.1.3、解压 kubernetes 压缩包

[root@localhost k8s-cert]# cd ..
[root@localhost k8s]# ls
apiserver.sh flannel-v0.10.0-linux-amd64.tar.gz
controller-manager.sh k8s-cert
etcd-cert kubernetes-server-linux-amd64.tar.gz
etcd.sh master.zip
etcd-v3.3.10-linux-amd64 scheduler.sh
etcd-v3.3.10-linux-amd64.tar.gz
[root@localhost k8s]# tar zxvf kubernetes-server-linux-amd64.tar.gz

2.1.4、复制关键命令文件

[root@localhost k8s]# cd /root/k8s/kubernetes/server/bin/
[root@localhost bin]# ls
apiextensions-apiserver kube-controller-manager.tar
cloud-controller-manager kubectl
cloud-controller-manager.docker_tag kubelet
cloud-controller-manager.tar kube-proxy
hyperkube kube-proxy.docker_tag
kubeadm kube-proxy.tar
kube-apiserver kube-scheduler
kube-apiserver.docker_tag kube-scheduler.docker_tag
kube-apiserver.tar kube-scheduler.tar
kube-controller-manager mounter
kube-controller-manager.docker_tag
[root@localhost bin]# cp kube-apiserver kubectl kube-controller-manager kube-scheduler /opt/kubernetes/bin/

2.2、部署 APIServer 组件(token,csv)2.2.1、随机生成序列号

[root@localhost k8s]# head -c 16 /dev/urandom | od -An -t x | tr -d    
b639a2717c79839fd7fab7bac97dca32 # 随机生成的序列号
[root@localhost k8s]# vim /opt/kubernetes/cfg/token.csv
b639a2717c79839fd7fab7bac97dca32,kubelet-bootstrap,10001, system:kubelet-bootstrap 
 ## 序列号   用户名  id  角色

2.2.2、二进制文件,token,证书都准备好,开启 apiserver

[root@localhost k8s]# bash apiserver.sh 192.168.35.100 https://192.168.35.100:2379,https://192.168.35.101:2379,https://192.168.35.102:2379
Created symlink from /etc/systemd/system/multi-user.target.wants/kube-apiserver.service to /usr/lib/systemd/system/kube-apiserver.service.

2.2.3、检查进程是否启动成功

[root@localhost k8s]# ps aux | grep kube
root 83786 92.7 14.4 358828 269812 ? Ssl 15:56 0:06 /opt/kubernetes/bin/kube-apiserver --logtostderr=true --v=4 --etcd-servers=https://192.168.35.100:2379,https://192.168.35.101:2379,https://192.168.35.102:2379 --bind-address=192.168.35.100 --secure-port=6443 --advertise-address=192.168.35.100 --allow-privileged=true --service-cluster-ip-range=10.0.0.0/24 --enable-admission-plugins=NamespaceLifecycle,LimitRanger,ServiceAccount,ResourceQuota,NodeRestriction --authorization-mode=RBAC,Node --kubelet-https=true --enable-bootstrap-token-auth --token-auth-file=/opt/kubernetes/cfg/token.csv --service-node-port-range=30000-50000 --tls-cert-file=/opt/kubernetes/ssl/server.pem --tls-private-key-file=/opt/kubernetes/ssl/server-key.pem --client-ca-file=/opt/kubernetes/ssl/ca.pem --service-account-key-file=/opt/kubernetes/ssl/ca-key.pem --etcd-cafile=/opt/etcd/ssl/ca.pem --etcd-certfile=/opt/etcd/ssl/server.pem --etcd-keyfile=/opt/etcd/ssl/server-key.pem
root 83794 0.0 0.0 112676 980 pts/0 S+ 15:56 0:00 grep --color=auto kube

2.2.4、查看配置文件

[root@localhost k8s]# cat /opt/kubernetes/cfg/kube-apiserver
KUBE_APISERVER_OPTS= --logtostderr=true \
--v=4 \
--etcd-servers=https://192.168.35.100:2379,https://192.168.35.101:2379,https://192.168.35.102:2379 \
--bind-address=192.168.35.100 \
--secure-port=6443 \
--advertise-address=192.168.35.100 \
--allow-privileged=true \
--service-cluster-ip-range=10.0.0.0/24 \
--enable-admission-plugins=NamespaceLifecycle,LimitRanger,ServiceAccount,ResourceQuota,NodeRestriction \
--authorization-mode=RBAC,Node \
--kubelet-https=true \
--enable-bootstrap-token-auth \
--token-auth-file=/opt/kubernetes/cfg/token.csv \
--service-node-port-range=30000-50000 \
--tls-cert-file=/opt/kubernetes/ssl/server.pem \
--tls-private-key-file=/opt/kubernetes/ssl/server-key.pem \
--client-ca-file=/opt/kubernetes/ssl/ca.pem \
--service-account-key-file=/opt/kubernetes/ssl/ca-key.pem \
--etcd-cafile=/opt/etcd/ssl/ca.pem \
--etcd-certfile=/opt/etcd/ssl/server.pem \
--etcd-keyfile=/opt/etcd/ssl/server-key.pem

2.2.5、监听的 https 端口

[root@localhost k8s]# netstat -ntap | grep 6443
tcp 0 0 192.168.35.100:6443 0.0.0.0:* LISTEN 83786/kube-apiserve 
tcp 0 0 192.168.35.100:44312 192.168.35.100:6443 ESTABLISHED 83786/kube-apiserve 
tcp 0 0 192.168.35.100:6443 192.168.35.100:44312 ESTABLISHED 83786/kube-apiserve 
[root@localhost k8s]# netstat -ntap | grep 8080
tcp 0 0 127.0.0.1:8080 0.0.0.0:* LISTEN 83786/kube-apiserve

2.3、部署 controller-manager(指定 apiserver 证书)和 scheduler 组件 2.3.1、启动 scheduler 服务

[root@localhost k8s]# ./scheduler.sh 127.0.0.1
Created symlink from /etc/systemd/system/multi-user.target.wants/kube-scheduler.service to /usr/lib/systemd/system/kube-scheduler.service.
[root@localhost k8s]# ps aux | grep ku
postfix 83202 0.0 0.2 91732 4008 ? S 15:10 0:00 pickup -l -t unix -u
root 83786 4.3 18.3 427420 342812 ? Ssl 15:56 0:12 /opt/kubernetes/bin/kube-apiserver --logtostderr=true --v=4 --etcd-servers=https://192.168.35.100:2379,https://192.168.35.101:2379,https://192.168.35.102:2379 --bind-address=192.168.35.100 --secure-port=6443 --advertise-address=192.168.35.100 --allow-privileged=true --service-cluster-ip-range=10.0.0.0/24 --enable-admission-plugins=NamespaceLifecycle,LimitRanger,ServiceAccount,ResourceQuota,NodeRestriction --authorization-mode=RBAC,Node --kbelet-https=true --enable-bootstrap-token-auth --token-auth-file=/opt/kubernetes/cfg/token.csv --service-node-port-range=30000-50000 --tls-cert-file=/opt/kubernetes/ssl/server.pem --tls-private-key-file=/opt/kubernetes/ssl/server-key.pem --client-ca-file=/opt/kubernetes/ssl/ca.pem --service-account-key-file=/opt/kubernetes/ssl/ca-key.pem --etcd-cafile=/opt/etcd/ssl/ca.pem --etcd-certfile=/opt/etcd/ssl/server.pem --etcd-keyfile=/opt/etcd/ssl/server-key.pem
root 83904 0.8 1.0 45360 20356 ? Ssl 16:01 0:00 /opt/kubernetes/bin/kube-scheduler --logtostderr=true --v=4 --master=127.0.0.1:8080 --leader-elect
root 83912 0.0 0.0 112676 984 pts/0 R+ 16:01 0:00 grep --color=auto ku

2.3.2、启动 controller-manager

[root@localhost k8s]# chmod +x controller-manager.sh
[root@localhost k8s]# ./controller-manager.sh 127.0.0.1
Created symlink from /etc/systemd/system/multi-user.target.wants/kube-controller-manager.service to /usr/lib/systemd/system/kube-controller-manager.service.

2.3.3、查看 master 节点状态

[root@localhost k8s]# /opt/kubernetes/bin/kubectl get cs
NAME STATUS MESSAGE ERROR
scheduler Healthy ok 
controller-manager Healthy ok 
etcd-2 Healthy {health : true} 
etcd-1 Healthy {health : true} 
etcd-0 Healthy {health : true}

第三部分(node) 3.1、生成 kubeconfig(bootstrap,kubeconfig 和 kube-proxy.kubeconfig)master 上操作 3.1.1、把 kubelet、kube-proxy 拷贝到 node 节点上去

[root@localhost k8s]# cd kubernetes/server/bin/
[root@localhost bin]# ls
apiextensions-apiserver kube-controller-manager.tar
cloud-controller-manager kubectl
cloud-controller-manager.docker_tag kubelet
cloud-controller-manager.tar kube-proxy
hyperkube kube-proxy.docker_tag
kubeadm kube-proxy.tar
kube-apiserver kube-scheduler
kube-apiserver.docker_tag kube-scheduler.docker_tag
kube-apiserver.tar kube-scheduler.tar
kube-controller-manager mounter
kube-controller-manager.docker_tag
[root@localhost bin]# scp kubelet kube-proxy root@192.168.35.101:/opt/kubernetes/bin/ 
root@192.168.35.101 s password: 
kubelet 100% 168MB 87.4MB/s 00:01 
kube-proxy 100% 48MB 90.9MB/s 00:00 
[root@localhost bin]# scp kubelet kube-proxy root@192.168.35.102:/opt/kubernetes/bin/ 
root@192.168.35.102 s password: 
kubelet 100% 168MB 93.4MB/s 00:01 
kube-proxy 100% 48MB 100.5MB/s 00:00

nod01 节点操作 3.1.2、复制 node.zip 到 /root 目录下再解压

[root@localhost ~]# ls
anaconda-ks.cfg initial-setup-ks.cfg  公共   图片   音乐
flannel.sh node.zip  模板   文档   桌面
flannel-v0.10.0-linux-amd64.tar.gz README.md  视频   下载
[root@localhost ~]# unzip node.zip 
Archive: node.zip
 inflating: proxy.sh 
 inflating: kubelet.sh

master 操作 3.1.3、创建工作目录

[root@localhost k8s]# mkdir kubeconfig
[root@localhost k8s]# cd kubeconfig/
[root@localhost kubeconfig]# ls
kubeconfig.sh 
kubeconfig.sh 脚本如下  : 
#  创建  TLS Bootstrapping Token
#BOOTSTRAP_TOKEN=$(head -c 16 /dev/urandom | od -An -t x | tr -d   )
BOOTSTRAP_TOKEN=0fb61c46f8991b718eb38d27b605b008
cat   token.csv  EOF
${BOOTSTRAP_TOKEN},kubelet-bootstrap,10001, system:kubelet-bootstrap 
#---------------------- # 此部分删掉
APISERVER=$1
SSL_DIR=$2
#  创建 kubelet bootstrapping kubeconfig 
export KUBE_APISERVER= https://$APISERVER:6443 
#  设置集群参数
kubectl config set-cluster kubernetes \
 --certificate-authority=$SSL_DIR/ca.pem \
 --embed-certs=true \
 --server=${KUBE_APISERVER} \
 --kubeconfig=bootstrap.kubeconfig
#  设置客户端认证参数
kubectl config set-credentials kubelet-bootstrap \
 --token=${BOOTSTRAP_TOKEN} \
 --kubeconfig=bootstrap.kubeconfig
#  设置上下文参数
kubectl config set-context default \
 --cluster=kubernetes \
 --user=kubelet-bootstrap \
 --kubeconfig=bootstrap.kubeconfig
#  设置默认上下文
kubectl config use-context default --kubeconfig=bootstrap.kubeconfig
#----------------------
#  创建 kube-proxy kubeconfig 文件
kubectl config set-cluster kubernetes \
 --certificate-authority=$SSL_DIR/ca.pem \
 --embed-certs=true \
 --server=${KUBE_APISERVER} \
 --kubeconfig=kube-proxy.kubeconfig
kubectl config set-credentials kube-proxy \
 --client-certificate=$SSL_DIR/kube-proxy.pem \
 --client-key=$SSL_DIR/kube-proxy-key.pem \
 --embed-certs=true \
 --kubeconfig=kube-proxy.kubeconfig
kubectl config set-context default \
 --cluster=kubernetes \
 --user=kube-proxy \
 --kubeconfig=kube-proxy.kubeconfig
kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig

3.1.2、获取 token 信息

[root@localhost kubeconfig]# cat /opt/kubernetes/cfg/token.csv
b639a2717c79839fd7fab7bac97dca32,kubelet-bootstrap,10001, system:kubelet-bootstr

3.1.3、配置文件修改为 tokenID

[root@localhost kubeconfig]# vim kubeconfig.sh
#  设置客户端认证参数
kubectl config set-credentials kubelet-bootstrap \
 --token=b639a2717c79839fd7fab7bac97dca32 \
 --kubeconfig=bootstrap.kubeconfig

3.1.4、设置环境变量(可以写入到 /etc/profile 中)

[root@localhost kubeconfig]# vim /etc/profile
// 在末行插入
export PATH=$PATH:/opt/kubernetes/bin/
[root@localhost kubeconfig]# source /etc/profile # 声明
[root@localhost kubeconfig]# kubectl get cs # 查看状态
NAME STATUS MESSAGE ERROR
scheduler Healthy ok 
controller-manager Healthy ok 
etcd-1 Healthy {health : true} 
etcd-2 Healthy {health : true} 
etcd-0 Healthy {health : true}

3.1.5、重命名并生成配置文件

[root@localhost kubeconfig]# mv kubeconfig.sh kubeconfig
[root@localhost kubeconfig]# ls
kubeconfig
[root@localhost kubeconfig]# vim kubeconfig 
[root@localhost kubeconfig]# bash kubeconfig 192.168.35.100 /root/k8s/k8s-cert/
Cluster  kubernetes  set.
User  kubelet-bootstrap  set.
Context  default  created.
Switched to context  default .
Cluster  kubernetes  set.
User  kube-proxy  set.
Context  default  created.
Switched to context  default .
[root@localhost kubeconfig]# ls
bootstrap.kubeconfig kubeconfig kube-proxy.kubeconfig

3.1.6、拷贝配置文件到 node 节点

[root@localhost kubeconfig]# scp bootstrap.kubeconfig kube-proxy.kubeconfig root@192.168.35.101:/opt/kubernetes/cfg/
root@192.168.35.101 s password: 
bootstrap.kubeconfig 100% 2168 2.7MB/s 00:00 
kube-proxy.kubeconfig 100% 6270 5.1MB/s 00:00 
[root@localhost kubeconfig]# scp bootstrap.kubeconfig kube-proxy.kubeconfig root@192.168.35.102:/opt/kubernetes/cfg/
root@192.168.35.102 s password: 
bootstrap.kubeconfig 100% 2168 1.8MB/s 00:00 
kube-proxy.kubeconfig 100% 6270 5.9MB/s 00:00

3.1.7、创建 bootstrap 角色赋予权限用于连接 apiserver 请求签名(关键)

[root@localhost kubeconfig]# kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap
clusterrolebinding.rbac.authorization.k8s.io/kubelet-bootstrap created

3.2、部署 kubelet 组件在 node01 节点上操作 3.2.1、执行脚本

[root@localhost ~]# bash kubelet.sh 192.168.35.101
Created symlink from /etc/systemd/system/multi-user.target.wants/kubelet.service to /usr/lib/systemd/system/kubelet.service.

3.2.2、检查 kubelet 服务启动

[root@localhost ~]# ps aux | grep kube
root 85079 0.0 0.8 300512 16424 ? Ssl 13:49 0:02 /opt/kubernetes/bin/flanneld --ip-masq --etcd-endpoints=https://192.168.35.100:2379,https://192.168.35.101:2379,https://192.168.35.102:2379 -etcd-cafile=/opt/etcd/ssl/ca.pem -etcd-certfile=/opt/etcd/ssl/server.pem -etcd-keyfile=/opt/etcd/ssl/server-key.pem
root 109665 0.6 2.3 370688 42948 ? Ssl 18:46 0:00 /opt/kubernetes/bin/kubelet --logtostderr=true --v=4 --hostname-override=192.168.35.101 --kubeconfig=/opt/kubernetes/cfg/kubelet.kubeconfig --bootstrap-kubeconfig=/opt/kubernetes/cfg/bootstrap.kubeconfig --config=/opt/kubernetes/cfg/kubelet.config --cert-dir=/opt/kubernetes/ssl --pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0
root 109762 0.0 0.0 112676 980 pts/0 S+ 18:47 0:00 grep --color=auto kube

 3.2.3、查看服务器的状况

[root@localhost ~]# systemctl status kubelet.service 
● kubelet.service - Kubernetes Kubelet
 Loaded: loaded (/usr/lib/systemd/system/kubelet.service; enabled; vendor preset: disabled)
 Active: active (running) since  三  2020-02-05 18:46:35 CST; 3min 1s ago
 Main PID: 109665 (kubelet)
 Memory: 61.6M
 CGroup: /system.slice/kubelet.service
 └─109665 /opt/kubernetes/bin/kubelet --logtostderr=true --v=4 --hostnam...
2 月  05 18:46:35 localhost.localdomain kubelet[109665]: I0205 18:46:35.374771 109...
2 月  05 18:46:35 localhost.localdomain kubelet[109665]: I0205 18:46:35.601115 109...
2 月  05 18:46:35 localhost.localdomain kubelet[109665]: I0205 18:46:35.619113 109...
2 月  05 18:46:35 localhost.localdomain kubelet[109665]: I0205 18:46:35.619153 109...
2 月  05 18:46:35 localhost.localdomain kubelet[109665]: I0205 18:46:35.619192 109...
2 月  05 18:46:35 localhost.localdomain kubelet[109665]: I0205 18:46:35.619229 109...
2 月  05 18:46:35 localhost.localdomain kubelet[109665]: I0205 18:46:35.619294 109...
2 月  05 18:46:35 localhost.localdomain kubelet[109665]: I0205 18:46:35.619302 109...
2 月  05 18:46:35 localhost.localdomain kubelet[109665]: I0205 18:46:35.620575 109...
2 月  05 18:46:35 localhost.localdomain kubelet[109665]: I0205 18:46:35.622388 109...
Hint: Some lines were ellipsized, use -l to show in full.

master 上操作 3.2.4、检查到 node1 节点的请求

[root@localhost kubeconfig]# kubectl get csr
NAME AGE REQUESTOR CONDITION
node-csr-HF551kae9hkzNGwirEbd2uAiStXnawpEI-y7nLP4sTU 5m9s kubelet-bootstrap Pending
Pending(等待集群给该节点颁发证书)

3.2.5、同意请求并颁发证书

[root@localhost kubeconfig]# kubectl certificate approve node-csr-HF551kae9hkzNGwirEbd2uAiStXnawpEI-y7nLP4sTU
certificatesigningrequest.certificates.k8s.io/node-csr-HF551kae9hkzNGwirEbd2uAiStXnawpEI-y7nLP4sTU approved

3.2.6、继续查看证书状态

[root@localhost kubeconfig]# kubectl get csr
NAME AGE REQUESTOR CONDITION
node-csr-HF551kae9hkzNGwirEbd2uAiStXnawpEI-y7nLP4sTU 9m18s kubelet-bootstrap Approved,Issued
Approved,Issued(已经被允许加入群集)

 3.2.7、查看群集节点,成功加入 node01 节点

[root@localhost kubeconfig]# kubectl get node
NAME STATUS ROLES AGE VERSION
192.168.35.101 Ready  none  2m18s v1.12.3

3.3、部署 kube-proxy 组件在 node1 节点操作 3.3.1、启动 proxy 服务

[root@localhost ~]# bash proxy.sh 192.168.35.101
Created symlink from /etc/systemd/system/multi-user.target.wants/kube-proxy.service to /usr/lib/systemd/system/kube-proxy.service.
[root@localhost ~]# systemctl status kube-proxy.service 
● kube-proxy.service - Kubernetes Proxy
 Loaded: loaded (/usr/lib/systemd/system/kube-proxy.service; enabled; vendor preset: disabled)
 Active: active (running) since  三  2020-02-05 18:59:58 CST; 33s ago
 Main PID: 111731 (kube-proxy)
 Memory: 8.9M
 CGroup: /system.slice/kube-proxy.service
 ‣ 111731 /opt/kubernetes/bin/kube-proxy --logtostderr=true --v=4 --host...
2 月  05 19:00:28 localhost.localdomain kube-proxy[111731]: I0205 19:00:28.692738 ...
2 月  05 19:00:28 localhost.localdomain kube-proxy[111731]: I0205 19:00:28.695213 ...
2 月  05 19:00:28 localhost.localdomain kube-proxy[111731]: I0205 19:00:28.713256 ...
2 月  05 19:00:28 localhost.localdomain kube-proxy[111731]: I0205 19:00:28.724431 ...
2 月  05 19:00:28 localhost.localdomain kube-proxy[111731]: I0205 19:00:28.727449 ...
2 月  05 19:00:28 localhost.localdomain kube-proxy[111731]: I0205 19:00:28.727463 ...
2 月  05 19:00:29 localhost.localdomain kube-proxy[111731]: I0205 19:00:29.754834 ...
2 月  05 19:00:29 localhost.localdomain kube-proxy[111731]: I0205 19:00:29.799929 ...
2 月  05 19:00:31 localhost.localdomain kube-proxy[111731]: I0205 19:00:31.754579 ...
2 月  05 19:00:31 localhost.localdomain kube-proxy[111731]: I0205 19:00:31.797581 ...
Hint: Some lines were ellipsized, use -l to show in full.

3.3.2、把现成的 /opt/kubernetes 目录复制到其他节点进行修改即可

[root@localhost ~]# scp -r /opt/kubernetes/ root@192.168.35.102:/opt/
The authenticity of host  192.168.35.102 (192.168.35.102)  can t be established.
ECDSA key fingerprint is SHA256:JsLSnAul/dncM/HPvpJWWB09dHLzpIfArHv1fWjQyA8.
ECDSA key fingerprint is MD5:d1:b7:d7:74:c6:4a:2a:7b:fc:33:8c:9c:3a:f2:6e:8a.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added  192.168.35.102  (ECDSA) to the list of known hosts.
root@192.168.35.102 s password: 
flanneld 100% 238 100.8KB/s 00:00 
bootstrap.kubeconfig 100% 2168 5.8MB/s 00:00 
kube-proxy.kubeconfig 100% 6270 11.5MB/s 00:00 
kubelet 100% 378 885.4KB/s 00:00 
kubelet.config 100% 268 812.9KB/s 00:00 
kubelet.kubeconfig 100% 2297 5.7MB/s 00:00 
kube-proxy 100% 190 546.5KB/s 00:00 
mk-docker-opts.sh 100% 2139 3.5MB/s 00:00 
scp: /opt//kubernetes/bin/flanneld: Text file busy
kubelet 100% 168MB 116.0MB/s 00:01 
kube-proxy 100% 48MB 122.2MB/s 00:00 
kubelet.crt 100% 2193 729.3KB/s 00:00 
kubelet.key 100% 1675 3.5MB/s 00:00 
kubelet-client-2020-02-05-18-55-07.pem 100% 1277 488.0KB/s 00:00 
kubelet-client-current.pem 100% 1277 423.3KB/s 00:00

3.3.3、把 kubelet,kube-proxy 的 service 文件拷贝到 node2 中

[root@localhost ~]# scp /usr/lib/systemd/system/{kubelet,kube-proxy}.service root@192.168.35.102:/usr/lib/systemd/system/
root@192.168.35.102 s password: 
kubelet.service 100% 264 113.9KB/s 00:00 
kube-proxy.service 100% 231 529.7KB/s 00:00

第四部分(加入群集)4.1、在 node02 上操作,进行修改 4.1.11、首先删除复制过来的证书,等会 node02 会自行申请证书

[root@localhost ~]# cd /opt/kubernetes/ssl/
[root@localhost ssl]# rm -rf *

4.1.2、修改配置文件 kubelet kubelet.config kube-proxy(三个配置文件)

[root@localhost ssl]# cd ../cfg/
[root@localhost cfg]# ls
bootstrap.kubeconfig kubelet kubelet.kubeconfig kube-proxy.kubeconfig
flanneld kubelet.config kube-proxy
[root@localhost cfg]# vim kubelet
KUBELET_OPTS= --logtostderr=true \
--v=4 \
--hostname-override=192.168.35.102 \
--kubeconfig=/opt/kubernetes/cfg/kubelet.kubeconfig \
--bootstrap-kubeconfig=/opt/kubernetes/cfg/bootstrap.kubeconfig \
--config=/opt/kubernetes/cfg/kubelet.config \
--cert-dir=/opt/kubernetes/ssl \
--pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0 
[root@localhost cfg]# vim kubelet.config 
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
address: 192.168.35.102
port: 10250
readOnlyPort: 10255
cgroupDriver: cgroupfs
clusterDNS:
- 10.0.0.2
clusterDomain: cluster.local.
failSwapOn: false
authentication:
 anonymous:
 enabled: true
[root@localhost cfg]# vim kube-proxy
KUBE_PROXY_OPTS= --logtostderr=true \
--v=4 \
--hostname-override=192.168.35.102 \
--cluster-cidr=10.0.0.0/24 \
--proxy-mode=ipvs \
--kubeconfig=/opt/kubernetes/cfg/kube-proxy.kubeconfig

4.1.3、启动服务

[root@localhost cfg]# systemctl start kubelet.service
[root@localhost cfg]# systemctl enable kubelet.service
Created symlink from /etc/systemd/system/multi-user.target.wants/kubelet.service to /usr/lib/systemd/system/kubelet.service.
[root@localhost cfg]# systemctl start kube-proxy.service 
[root@localhost cfg]# systemctl enable kube-proxy.service 
Created symlink from /etc/systemd/system/multi-user.target.wants/kube-proxy.service to /usr/lib/systemd/system/kube-proxy.service.

4.2、在 master 上操作 4.2.1、查看请求

[root@localhost kubeconfig]# kubectl get csr
NAME AGE REQUESTOR CONDITION
node-csr-HF551kae9hkzNGwirEbd2uAiStXnawpEI-y7nLP4sTU 32m kubelet-bootstrap Approved,Issued
node-csr-TszRzIg1T7JcfFKuwrCb82bqv7mcwvX1xZD8KMQJZCY 2m25s kubelet-bootstrap Pending

4.2.2、授权许可加入群集

[root@localhost kubeconfig]# kubectl certificate approve node-csr-TszRzIg1T7JcfFKuwrCb82bqv7mcwvX1xZD8KMQJZCY
certificatesigningrequest.certificates.k8s.io/node-csr-TszRzIg1T7JcfFKuwrCb82bqv7mcwvX1xZD8KMQJZCY approved

4.2.3、查看群集中的节点

[root@localhost kubeconfig]# kubectl get node
NAME STATUS ROLES AGE VERSION
192.168.35.101 Ready  none  24m v1.12.3
192.168.35.102 Ready  none  17m v1.12.3

看完上述内容,你们对怎样进行 Kubernetes 二进制部署中的单节点部署有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注丸趣 TV 行业资讯频道,感谢大家的支持。

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-25发表,共计45534字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)