微服务架构（九）：k8s
2018-04-20 16:07:57k8s介绍
什么是k8s
k8s是一个舵手，专门用来进行给docker掌管方向的，换句话说，就是用来控制docker运行容器的
和docker 是一样的功能。所以就有一个概念cluster
为什么要使用k8s
因为当docker容器异常的时候，docker无法将容器进行重启，如果容器数量比较大
swarm 优点
-
架构简单，部署运维成本低
docker swarm 集群模式由于原生态集成到docker-engine中，所以首先学习成本低，对于使用docker-engine 1.12版本及以上可以平滑过渡，service服务可以满足动态增减容器个数，同时具备自身的负载均衡，swarm管理者多台设定保证了机器在出错后有一个良好的容灾机制
-
启动速度快
swarm集群只会有两层交互，容器启动是毫秒级
swarm缺点
1 无法提供更精细的管理
swarm API兼容docker API，所以使得swarm无法提供集群的更加精细的管理
2 网络问题
在网络方面，默认docker容器是通过桥接与NAT和主机外网络通信，这样就出现2个问题，一个是因为是NAT，外部主机无法主动访问到容器内（除了端口映射），另外默认桥接IP是一样的，这样会出现不同主机的容器有相同的IP的情况。这样两容器更加不能通信。同时网络性能方面，有人测试经过桥接的网络性能只有主机网络性能的70%。当然以上问题可以通过其他工具解决，比如用 Flannel 或者 OVS网桥
3 容器可靠性
在容器可靠性方面，相较于Kubernetes的Replication Controllers可以监控并维持容器的生命，swarm在启动时刻可以控制容器启动，在启动后，如果容器或者容器主机崩溃，swarm没有机制来保证容器的运行。
kubernetes优点：
1 管理更趋于完善稳定
kubernetes 集群管理更趋于完善稳定，同时pod功能上比swarm的service更加强大
2 健康机制完善
Replication Controllers可以监控并维持容器的生命
3 轻松应对复杂的网络环境
kubernetes默认使用Flannel作为overlay网络。
Flannel是CoreOS 团队针对 Kubernetes 设计的一个覆盖网络（OverlayNetwork）工具，其目的在于帮助每一个使用 Kuberentes 的CoreOS 主机拥有一个完整的子网。
kubernetes劣势：
1 配置、搭建稍显复杂，学习成本高
由于配置复杂，学习成本相对较高，对应运维的成本相对高点
2 启动速度稍逊
kubernetes会有五层交互，启动是秒级，启动速度慢于swarm
官网地址
https://kubernetes.io/zh/docs/tutorials/kubernetes-basics/
k8s集群概念
swarm和k8s概念对比
node cluster 公司（提供工作场合）
manager master 老板（分配任务，负载均衡）
worker node 员工（负载干活）
k8s集群内部概念
swarm 内部和k8s内部对比
service pod 项目经理
stack Deployment 项目总监
k8s集群操作概念
kubeadm :k8s集群管理组件
kubectl: 操作k8s集群客户端
kubelet：运行每个节点容器
k8s集群搭建
注意
k8s有硬件要求，必须运行cpu为2核，内存为2G以上
前提条件
docker：k8s运行用来运行容器
kubeadm :k8s集群搭建
kubectl: 操作k8s集群客户端
kubelet：运行每个节点容器
步骤
1-8 (除了4) 在所有节点执行
1.关闭防火墙，配置免密登录，这点基本所有教程都有
systemctl stop firewalld #防止端口不开发，k8s集群无法启动
2.关闭selinux
setenforce 0
3.关闭swap
swapoff -a 临时关闭
free 可以通过这个命令查看swap是否关闭了
vim /etc/fstab 永久关闭 注释swap那一行(访问内存分区，k8s无法启动)
4.添加主机名与IP对应的关系，免密（这一步可以只在master执行），这一步我为后面传输网络做准备
vim /etc/hosts
192.168.235.145 k8s-master
192.168.235.146 k8s-node1
ssh-keygen
cat .ssh/id_rsa.pub >> .ssh/authorized_keys
chmod 600 .ssh/authorized_keys
# 可以在master生成，然后拷贝到node节点
scp -r .ssh root@192.168.44.5:/root
5.将桥接的IPV4流量传递到iptables 的链
vi /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
6.安装Docker及同步时间
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O/etc/yum.repos.d/docker-ce.repo
yum -y install docker-ce
systemctl start docker
systemctl enable docker
# 同步时间（这一步必须做，否则后面安装flannel可能会有证书错误）
yum install ntpdate -y
ntpdate cn.pool.ntp.org
7.添加阿里云YUM软件源
vi /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
8.安装kubeadm，kubelet和kubectl
yum makecache fast
yum install -y kubectl-1.18.0 kubeadm-1.18.0 kubelet-1.18.0 --nogpgcheck
9. 部署Kubernetes Master
初始化master（在master执行）
# 第一次初始化比较慢，需要拉取镜像
kubeadm init --apiserver-advertise-address=192.168.235.145 # 换成自己master的IP
--image-repository registry.aliyuncs.com/google_containers
--kubernetes-version v1.18.0
--service-cidr=10.1.0.0/16
--pod-network-cidr=10.244.0.0/16 # 使用flannel网络必须设置成这个cidr
接下来，将初始化结果中的命令复制出来执行：
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
验证状态，发现前两个是pending，get pods 发现是not ready
kubectl get pods --all-namespaces
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system coredns-9d85f5447-fhdmx 0/1 Pending 0 100d
kube-system coredns-9d85f5447-x5wfq 0/1 Pending 0 100d
kube-system etcd-local1 1/1 Running 0 100d
kube-system kube-apiserver-local1 1/1 Running 0 100d
kube-system kube-controller-manager-local1 1/1 Running 0 100d
kube-system kube-proxy-2trv9 1/1 Running 0 100d
kube-system kube-scheduler-local1 1/1 Running 0 100d
需要安装flannel
# 安装flannel（在master执行）
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
# 安装完flannel，将配置拷到node节点，否则添加节点之后状态不对
scp -r /etc/cni root@192.168.44.5:/etc
# 这一步也要拷贝，否则节点看着正常，但是pod由于网络原因无法创建
scp -r /run/flannel/ root@192.168.44.5:/run
再次初始化
# 执行第9步的命令
kubeadm init ...
参数
--kubernetes-version 指定Kubernetes版本
--apiserver-advertise-address 指定apiserver的监听地址
--pod-network-cidr 10.244.0.0/16 指定使用flanneld网络
--apiserver-bind-port api-server 6443的端口
--ignore-preflight-errors all 跳过之前已安装部分（出问题时，问题解决后加上继续运行）
查看集群状态，master正常
[root@local1 ~]# kubectl get cs
NAME STATUS MESSAGE ERROR
scheduler Healthy ok
controller-manager Healthy ok
etcd-0 Healthy {"health":"true"}
[root@local1 ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
local1 Ready master 2m16s v1.17.3
[root@local1 ~]# kubectl get pods --all-namespaces
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system coredns-9d85f5447-9s4mc 1/1 Running 0 16m
kube-system coredns-9d85f5447-gt2nf 1/1 Running 0 16m
kube-system etcd-local1 1/1 Running 0 16m
kube-system kube-apiserver-local1 1/1 Running 0 16m
kube-system kube-controller-manager-local1 1/1 Running 0 16m
kube-system kube-proxy-sdbl9 1/1 Running 0 15m
kube-system kube-proxy-v4vxg 1/1 Running 0 16m
kube-system kube-scheduler-local1 1/1 Running 0
**10、**node工作节点加载
node节点执行1-8，如果第五步不执行，会添加失败
在node节点执行上面初始化时生成的join命令
kubeadm join 192.168.235.145:6443 --token w5rify.gulw6l1yb63zsqsa
--discovery-token-ca-cert-hash
sha256:4e7f3a03392a7f9277d9f0ea2210f77d6e67ce0367e824ed891f6fefc7dae3c8
# 输出
This node has joined the cluster:
* Certificate signing request was sent to apiserver and a response was received.
* The Kubelet was informed of the new secure connection details.
Run 'kubectl get nodes' on the control-plane to see this node join the cluster.
在master查看
[root@local1 ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
local1 Ready master 4m58s v1.18.3
local2 Ready <none> 3m36s v1.18.3
在node节点查看
[root@local3 ~]# kubectl get nodes
Unable to connect to the server: x509: certificate signed by unknown authority (possibly because of "crypto/rsa: verification error" while trying to verify candidate authority certificate "kubernetes")
# 如果报错，需要将master的admin.conf拷贝过来
# master执行
scp /etc/kubernetes/admin.conf root@local3:/etc/kubernetes/
# 然后在node执行下面三步
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
再次在node查看
[root@local3 ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
local1 Ready master 6m36s v1.18.0
local2 Ready <none> 31s v1.18.0
local3 Ready <none> 5m43s v1.18.0
11、如果节点出错，可以移除节点
#重置节点
kubeadm reset
#删除节点，删除后 数据就从etcd中清除了(可运行kubectl的任一节点中执行)
kubectl delete node node-1
12、如果加入节点时，token过期，可以重新生成
查看token
kubeadm token list
默认生成的token有效期是一天，生成永不过期的token
[root@k8s-master ~]# kubeadm token create --ttl 0
W0501 09:14:13.887115 38074 validation.go:28] Cannot validate kube-proxy config - no validator is available
W0501 09:14:13.887344 38074 validation.go:28] Cannot validate kubelet config - no validator is available
创建token
[root@k8s-master ~]# openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
# token
4dc852fb46813f5b1840f06578ba01283c1a12748419ba8f25ce2788419ab1c2
在worker节点执行join
kubeadm join 192.168.0.104:6443 --token vahjcu.rhm7864v6l400188 --discovery-token-ca-cert-hash sha256:4dc852fb46813f5b1840f06578ba01283c1a12748419ba8f25ce2788419ab1c2
k8s运行
基础命令
获取节点
kubectl get node
获取相信节点
kubectl get node -o wide
运行nginx pod(这个时候只是容器在pod内部使用，还不能给外界进行访问)
kubectl run nginx --image=nginx --port=80
查看nginx pod信息(显示demo是否成功或者失败信息)
kubectl describe pod nginx-pod
暴露nginx pod(暴露给外界进行访问)
kubectl expose pod nginx-pod --port=80 --target-port=80 --type=NodePort
查看暴露nginx副本deployment service
kubectl get service -o wide
副本命令(伸缩命令)
创建副本集deployment
kubectl create 命令
创建nginx副本deployment
kubectl create deployment nginx-deployment --image=nginx
查看nginx副本deployment
kubectl create deployment -o wide
暴露nginx副本deployment
kubectl expose deployment nginx-deployment --port=80 --target-port=8000 --type=NodePort
查看暴露nginx副本deployment service
kubectl get service -o wide
动态扩容nginx副本deployment
kubectl scale --replicas=3 deployment/nginx
yaml文件命令
nginx副本集部署deployment
apiVersion: apps/v1 #k8s版本号
kind: Deployment #部署类型（资源类型）
metadata: #元数据(用于定义资源信息)
name: nginx-deployment-tony5 #资源名称
labels: #资源标签(版本号)
app: nginx
spec: #资源相关信息规范
replicas: 3 #副本数
selector: #选择哪一个版本
matchLabels:
app: nginx
template: #模板
metadata: #资源的元数据/属性
labels: #设置资源的标签
app: nginx
spec: #资源规范字段(规范容器配置)
containers: #指定容器
- name: nginx #容器名称
image: nginx #容器使用的镜像
ports: #端口号
- containerPort: 80 #容器对应的端口号
nginx暴露service
apiVersion: v1 # 指定api版本，此值必须在kubectl api-versions中
kind: Service # 指定创建资源的角色/类型
metadata: # 资源的元数据/属性
name: service-tony # 资源的名字，在同一个namespace中必须唯一
namespace: default # 部署在哪个namespace中
labels: # 设定资源的标签
app: demo
spec: # 资源规范字段
type: NodePort # ClusterIP 类型
ports:
- port: 8080 # service 端口
targetPort: 80 # 容器暴露的端口
protocol: TCP # 协议
name: http # 端口名称
selector: # 选择器(选择什么资源进行发布给外界进行访问：pod deployment 等等资源)
app: nginx
k8s部署项目
k8s集群搭建
mkdir -p HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf HOME/.kube/config
sudo chown (id -u):(id -g) $HOME/.kube/config
kubeadm join 192.168.44.3:6443 --token ctc73p.8x7jxvsnv8qvo8kz
--discovery-token-ca-cert-hash sha256:b1af5f09a5f4820b73d6640da44d9905e1683c326ede2b672964d08732ad7dd5
kubeadm init --kubernetes-version v1.18.0 --apiserver-advertise-address=123.57.164.54 --pod-network-cidr 10.244.0.0/16 --apiserver-bind-port api-server 6443 --ignore-preflight-errors all
kubeadm init --apiserver-advertise-address=192.168.44.3 --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.18.0 --service-cidr=10.1.0.0/16 --pod-network-cidr=10.244.0.0/16
kubeadm init --apiserver-advertise-address=123.57.164.54 --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.18.0 --service-cidr=10.1.0.0/16 --pod-network-cidr=10.244.0.0/16
kubeadm init --apiserver-advertise-address=123.57.164.54 --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.18.0 --service-cidr=10.1.0.0/16 --pod-network-cidr=10.244.0.0/16
