还在手动部署 Kubernetes 集群吗，是时候使用 Kubespray 完成自动化部署了！

还在手动部署 Kubernetes 集群吗，是时候使用 Kubespray 完成自动化部署了！

设为「星标」，每天带你玩转 Linux ！

前言

部署 Kubernetes 除了手动方式外，还有诸如 Kubeadm、Kubespray、Breeze、Rancher、kargo 等多种自动化方式。工具没有好坏之分，能干事、效率高就行。这里，笔者仍使用 Kubespray 部署当前 K8s 最新版本（用着真的很贴身），可自动化部署 HA 集群、可灵活定制开发、高稳定性等。

本文将介绍如何在不用科学上网的背景下，快速自动化部署 K8s 集群。那么，开始吧！

初始化环境

环境说明

环境实在有限，只有一台机器，想玩 HA 集群也没环境啊。

环境为 Centos 7 系统，各节点配置 hosts 和 hostname，如：

$ cat etc/hosts$ 172.16.0.180 K8s

关闭防火墙等

$ sed -i 's/SELINUX=*/SELINUX=disabled/' etc/selinux/config$ systemctl disable firewalld && systemctl stop firewalld

Kubernetes 1.8 开始要求关闭系统的 Swap 交换分区，方法如下：

$ swapoff -a && echo "vm.swappiness=0" >> /etc/sysctl.conf && sysctl -p && free –h

Docker 从 1.13 版本开始调整了默认的防火墙规则，禁用了 iptables filter 表中 FOWARD 链，这样会引起 Kubernetes 集群中跨 Node 的 Pod 无法通信，在各个 Docker 节点执行下面的命令：

$ iptables -P FORWARD ACCEPT

配置 SSH Key 认证。确保本机也可以 SSH 连接，否则下面部署失败。

$ ssh-keygen -t rsa -N ""$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

更新系统内核为 4.4.x , CentOS 默认为 3.10.x 。

$ rpm --import https://elrepo.org/RPM-GPG-KEY-elrepo.org$ rpm -Uvh http://elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm$ yum --enablerepo=elrepo-kernel install -y kernel-lt kernel-lt-devel $ grub2-set-default 0

重启系统

$ reboot

增加内核配置

$ vim etc/sysctl.conf# dockernet.bridge.bridge-nf-call-iptables = 1net.bridge.bridge-nf-call-ip6tables = 1

使其内核配置生效

$ sysctl -p

安装 Kubespray

安装 Centos 的 EPEL 源

$ yum -y install epel-release

更新缓存

$ yum clean all && yum makecache

安装相关软件（Ansible 版本必须 >= 2.7）

$ yum install -y python-pip python34 python-netaddr python34-pip ansible git

下载源码，当前 Kubespray 项目的 Master 分支默认安装 K8s 1.13.1 版本。

$ git clone https://github.com/kubernetes-sigs/kubespray

安装 Kubespray 依赖，若无特殊说明，后续操作均在 ~/kubespray 目录下执行。

$ cd kubespray$ pip install -r requirements.txt

配置 Kubespray

$ cp -rfp inventory/sample inventory/mycluster

修改配置文件 hosts.ini。

$ vim inventory/mycluster/hosts.ini[all]k8s ansible_host=k8s ip=172.16.0.180[kube-master]k8s[etcd]k8s[kube-node]k8s[k8s-cluster:children]kube-masterkube-node[calico-rr]

修改配置文件 all.yaml

$ vim inventory/mycluster/group_vars/all/all.yml# 修改如下配置:loadbalancer_apiserver_localhost: true# 加载内核模块，否则 ceph, gfs 等无法挂载客户端kubelet_load_modules: true

默认镜像从 gcr.io/google-containers 下载，由于墙的原因不能下载。这里我将 K8s 1.13.1 版本所必须的镜像 Push 到了 DockerHub上，方便大家下载使用。

# 下载镜像(该步骤可不用执行)$ docker pull xiaoxu780/kube-proxy:v1.13.1$ docker pull xiaoxu780/kube-controller-manager:v1.13.1$ docker pull xiaoxu780/kube-scheduler:v1.13.1$ docker pull xiaoxu780/kube-apiserver:v1.13.1$ docker pull xiaoxu780/coredns:1.2.6$ docker pull xiaoxu780/cluster-proportional-autoscaler-amd64:1.3.0$ docker pull xiaoxu780/kubernetes-dashboard-amd64:v1.10.0$ docker pull xiaoxu780/etcd:3.2.24$ docker pull xiaoxu780/node:v3.1.3$ docker pull xiaoxu780/ctl:v3.1.3$ docker pull xiaoxu780/kube-controllers:v3.1.3$ docker pull xiaoxu780/cni:v3.1.3$ docker pull xiaoxu780/pause-amd64:3.1

修改镜像默认的 Repo 地址，使用 Calico 三层网络，同时可以指定安装的 K8s版本，参数为 kube_version。编辑文件：

$ vim inventory/mycluster/group_vars/k8s-cluster/k8s-cluster.ymlkube_image_repo: "gcr.io/google-containers" //修改为kube_image_repo: "xiaoxu780"

修改配置文件 main.yml，使用 Sed 命令批量替换。

$ sed -i 's/gcr\.io\/google_containers/xiaoxu780/g' roles/download/defaults/main.yml$ sed -i 's/quay\.io\/coreos/xiaoxu780/g' roles/download/defaults/main.yml$ sed -i 's/quay\.io\/calico/xiaoxu780/g' roles/download/defaults/main.yml

修改代码，使用 NodePort 方式访问 Dashboard。

$ vim ./roles/kubernetes-apps/ansible/templates/dashboard.yml.j2# ------------------- Dashboard Service ------------------- #………… targetPort: 8443 type: NodePort 添加这一行 selector:k8s-app: kubernetes-dashboard

注意：如果是单节点部署 K8s，Kubespray 默认会创建 2 个 coredns Pod，但 Deployment 中又用到了 podAntiAffinity，因此会导致其中一个 coredns pod pending，所以需要修改代码如下：

$ vim ./roles/kubernetes-apps/ansible/templates/coredns-deployment.yml.j2//注释掉以下几行代码 affinity: #podAntiAffinity: # requiredDuringSchedulingIgnoredDuringExecution: # - topologyKey: "kubernetes.io/hostname" # labelSelector: # matchLabels: # k8s-app: coredns{{ coredns_ordinal_suffix | default('') }}或者在spec一行添加代码：spec: replicas: 1 指定pod为1个副本

安装 K8s 集群

1.  K8s 高可用方案

Kubernetes 的高可用，要解决的核心其实是 kube-apiserver 组件和 etcd 的高可用，其它组件在多节点模式下，本身拥有天然容灾性。

2.  etcd 高可用

etcd 本身就支持集群模式，所以啥都不用考虑，只要保证节点数量足够，升级备份之类的事情，kubespray 本身就支持多节点 etcd 部署。由于 etcd 采用 Raft 一致性算法，集群规模最好不要超过 9 个，推荐 3，5，7，9 个数量。具体看集群规模。如果性能不够，宁可多分配资源，也最好不要超过 9 个。

3. api 高可用

api 的高可用，一般有 2 种思路。

各节点自己代理

使用这种方式，会在每个 Node 节点启动一个 Nginx 代理，然后由这个 Nginx 代理负载所有的 master 节点的 api。master 会访问自己节点下的 api（localhost）。这是 Kubespray 部署的默认方式。

外置负载均衡

利用外部的负载均衡实现，例如阿里云的 SLB 或自建的 HAproxy 等。

将 hyperkube 和 kubeadm 包下载到所有 K8s 节点的 tmp/releases 目录下，为了避免科学上网，此处我下载存放到了网盘上。如果你也需要可以直接在 https://pan.baidu.com/s/1m2rF1dRXIZh_15OevTDbnA 上下载。

4. 执行部署命令

$ ansible-playbook -i inventory/mycluster/hosts.ini cluster.yml -b -v -k

5. 运维经验

如果需要扩容 Work 节点，则修改 hosts.ini 文件，增加新增的机器信息。然后执行下面的命令：

$ ansible-playbook -i inventory/mycluster/hosts.ini scale.yml -b -v -k

将 hosts.ini 文件中的 master 和 etcd 的机器增加到多台，执行部署命令

$ ansible-playbook -i inventory/mycluster/hosts.ini cluster.yml -b -vvv

刪除节点，如果不指定节点就是刪除整个集群：

$ ansible-playbook -i inventory/mycluster/hosts.ini remove-node.yml -b -v

如果需要卸载，可以执行以下命令：

$ ansible-playbook -i inventory/mycluster/hosts.ini reset.yml -b –vvv

升级 K8s 集群，选择对应的 K8s 版本信息，执行升级命令。涉及文件为 upgrade-cluster.yml。

$ ansible-playbook upgrade-cluster.yml -b -i inventory/mycluster/hosts.ini -e kube_version=vX.XX.XX -vvv

登录 Dashboard

登陆 Dashboard 支持 kubeconfig 和 token 两种认证方式，kubeconfig 也依赖 token 字段，所以生成 token 这一步是必不可少的。此处，我们获取集群管理员（拥有所有命名空间的 admin 权限）的 token。

查看 kubernetes-dashboard 暴露的端口，如下所示，这里是31777端口。

$ kubectl get svc --all-namespaces | grep kubernetes-dashboardkube-system   kubernetes-dashboard   NodePort    10.233.34.183           443:31777/TCP            12h

获取 admin 的 token

$ kubectl -n kube-system describe $(kubectl -n kube-system get secret -n kube-system -o name | grep namespace) | grep tokenName: namespace-controller-token-kmtg7Type: kubernetes.io/service-account-tokentoken: eyJhbGciOiJSUzI1NiIsImtpZCI6IiJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJuYW1lc3BhY2UtY29udHJvbGxlci10b2tlbi1rbXRnNyIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50Lm5hbWUiOiJuYW1lc3BhY2UtY29udHJvbGxlciIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6ImQwYTI0N2JkLTEwY2EtMTFlOS1iYTFiLWEwMzY5ZjNmMDQwNCIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDprdWJlLXN5c3RlbTpuYW1lc3BhY2UtY29udHJvbGxlciJ9.v689nSk_SxDLWk5Mna0t9uITRE1Jy2mstZxeJfZmQmm2UsQ-vIm4ueUNtCoA-PNx49s9hic-Pn6PfqyWQQW_QQ1yLDjjp1wl4J3tdar8fBfuR7Zvm5aKw8kyRhfQzQQZgEKlgBEHaYyKicgVUwEupa3zevXdUTnLH8FudcOdWEwgCflCveHdkRwoy88pYPyL5wh2egEKpeDhzOEztULsi2g3tpdlyg_uQIaKJ1OBODJZz5PXVFMYyIk06SyciEOX0YxF3pH_uSlPqg4RxMaeTfPhlWTnFPlIjQ2juK4s0o2Tyg_sftLSXvd3QtOg3tBavRm3pzHISIPbtN7EZAyWZQ

在 dashboard 登录页面上使用上面输出中的那个非常长的字符串作为 token 登录，即可以拥有管理员权限操作整个 kubernetes 集群中的对象。当然您也可以将这串 token 加到 admin 用户的 kubeconfig 文件中，继续使用 kubeconfig 登录，两种认证方式任您选择。登录 dashboard：https://172.16.0.180:31777

注意：由于这里使用的 HTTPS，并未使用证书，因此使用 Google 等浏览器会终止访问。

验证 K8s 集群

查看集群状态

$ kubectl get nodesNAME STATUS ROLES AGE VERSIONk8s    Ready    master,node   36m   v1.13.1

查看集群 Pod 状态

$ kubectl get pods --all-namespacesNAMESPACE NAME READY STATUS RESTARTS AGEkube-system calico-kube-controllers-687b7cc79c-knj87 1/1 Running 0 35mkube-system calico-node-7rj8c 1/1 Running 0 35mkube-system coredns-5b47d4476c-8wdb7 1/1 Running 0 35mkube-system coredns-5b47d4476c-92wnq 1/1 Running 0 35mkube-system dns-autoscaler-5b547856bc-95cft 1/1 Running 0 35mkube-system kube-apiserver-k8s 1/1 Running 0 36mkube-system kube-controller-manager-k8s 1/1 Running 0 36mkube-system kube-proxy-cdlzp 1/1 Running 0 35mkube-system kube-scheduler-k8s 1/1 Running 0 36mkube-system kubernetes-dashboard-d7978b5cc-lvf6l 1/1 Running 0 35m

查看 IPVS

$ ipvsadm -L -nIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConnTCP 172.16.0.180:32714 rr -> 10.233.65.133:8443 Masq 1 0 0 TCP 172.17.0.1:32714 rr -> 10.233.65.133:8443 Masq 1 0 0 TCP 10.233.0.1:443 rr -> 172.16.0.180:6443 Masq 1 5 0 TCP 10.233.0.3:53 rr -> 10.233.65.131:53 Masq 1 0 0 -> 10.233.65.134:53 Masq 1 0 0 TCP 10.233.0.3:9153 rr -> 10.233.65.131:9153 Masq 1 0 0 -> 10.233.65.134:9153 Masq 1 0 0 TCP 10.233.45.198:443 rr -> 10.233.65.133:8443 Masq 1 0 0 TCP 10.233.65.128:32714 rr -> 10.233.65.133:8443 Masq 1 0 0 TCP 127.0.0.1:32714 rr -> 10.233.65.133:8443 Masq 1 0 0 UDP 10.233.0.3:53 rr -> 10.233.65.131:53 Masq 1 0 0 -> 10.233.65.134:53 Masq 1 0 0

创建一个 Nginx 应用的 Deplpyment

K8s中，针对无状态类服务推荐使用Deployment，有状态类服务则建议使用 Statefulset。RC 和 RS 已不支持目前K8s 的诸多新特性了。

$ vim nginx-deployment.yamlapiVersion: apps/v1kind: Deployment metadata: name: nginx-dmspec: replicas: 3 selector: matchLabels: name: nginx template: metadata: labels: name: nginx spec: containers: - name: nginx image: nginx:alpine imagePullPolicy: IfNotPresent ports: - containerPort: 80 name: http---apiVersion: v1 kind: Servicemetadata: name: nginx-svc spec: ports: - port: 80 name: http targetPort: 80 protocol: TCP selector:     name: nginx

$ kubectl apply -f nginx-deployment.yaml deployment.apps/nginx-dm createdservice/nginx-svc created$ kubectl get podsNAME READY STATUS RESTARTS AGEnginx-dm-799879696c-9cdgz 1/1 Running 0 30snginx-dm-799879696c-cwzn5 1/1 Running 0 30snginx-dm-799879696c-xwjd7 1/1 Running 0 30s $ kubectl get svc -o wideNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTORkubernetes ClusterIP 10.233.0.1 443/TCP 39m nginx-svc ClusterIP 10.233.42.172 80/TCP 65s name=nginx$ ipvsadm -L -n

测试 Nginx 服务是否正常

$ curl -I 10.233.42.172HTTP/1.1 200 OKServer: nginx/1.15.8Date: Sat, 05 Jan 2019 09:58:16 GMTContent-Type: text/htmlContent-Length: 612Last-Modified: Wed, 26 Dec 2018 23:21:49 GMTConnection: keep-aliveETag: "5c240d0d-264"Accept-Ranges: bytes

后续

K8s 从 1.11 版本起便废弃了 Heapster 监控组件，取而代之的是 metrics-server 和 custom metrics API，后面将陆续完善包括 Prometheus+Grafana监控，Kibana+Fluentd 日志管理，cephfs-provisioner 存储（可能需要重新build kube-controller-manager 装上 rbd 相关的包才能使用 Ceph RBD StorageClass），traefik ingress 等服务。

参考资料

https://github.com/kubernetes-sigs/kubespray/blob/master/docs/getting-started.md

来源：xuchao's blog原文：http://t.cn/ESymdzW题图：来自谷歌图片搜索 版权：本文版权归原作者所有投稿：欢迎投稿，投稿邮箱: editor@hi-linux.com

你可能还喜欢

假如服务器上没有 Docker 环境，你还能愉快的拉取容器镜像吗？

更多有趣的互联网新鲜事，关注「奇妙的互联网」视频号全了解！