搭建 K8s 集群
1. 初始操作
1.1 关闭 swap , seLinux , 防火墙 (所有节点)
部署Kubernetes(k8s)时，为什么要关闭swap、selinux、firewalld？ - 知乎 (zhihu.com)
# 1. 关闭swap
sudo swapoff -a # 临时
sudo sed -ri 's/.*swap.*/#&/' /etc/fstab # 永久
# 2. 关闭selinux
sudo sed -i 's/enforcing/disabled/' /etc/selinux/config # 永久
sudo setenforce 0 # 临时
# 3. 关闭防火墙
sudo ufw disable
sudo ufw statusswap 分区一定要永久关闭，负责虚拟机重新启动后，swap 分区重新建立，Kubelet 服务无法启动
1.2 设置主机名 (所有节点)
# 修改主机名
hostnamectl set-hostname <name>1.3 在 master 中添加 host
sudo cat >> /etc/hosts << EOF
192.168.74.130 k8s_master
192.168.74.128 k8s_node1
192.168.74.131 k8s_node2
EOF1.4 运行 Iptables 检查桥接流量
# 1.加载overlay和br_netfilter两个内核模块
sudo modprobe overlay && sudo modprobe br_netfilter
# 2.持久化加载两个模块
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF
# 3.修改内核参数，确保二层的网桥在转发包时也会被iptables的FORWARD规则所过滤
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1
EOF
# 4.使配置生效
sudo sysctl --system2. 安装基础软件
2.1 安装 Docker
2.1 使用阿里云源
kubernetes镜像_kubernetes下载地址_kubernetes安装教程-阿里巴巴开源镜像站 (aliyun.com)
apt-get update && apt-get install -y apt-transport-https
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add -
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF
apt-get update
apt-get install -y kubelet kubeadm kubectl报错解决方法
W: https://mirrors.aliyun.com/kubernetes/apt/dists/kubernetes-xenial/InRelease: 密钥存储在过时的 trusted.gpg 密钥环中（/etc/apt/trusted.gpg），请参见 apt-key(8) 的 DEPRECATION 一节以了解详情。
修复 Ubuntu 中的 “Key is stored in legacy trusted.gpg keyring” 问题 | Linux 中国 - 知乎 (zhihu.com)
sudo cp /etc/apt/trusted.gpg /etc/apt/trusted.gpg.d
sudo apt-get update2.1 安装 kubeadm , kubelet , kubectl
#安装1.23.6版本
sudo apt-get install kubelet=1.23.6-00
sudo apt-get install kubeadm=1.23.6-00
sudo apt-get install kubectl=1.23.6-00
# 查看版本
kubectl version --client && kubeadm version && kubelet --version
# 开机启动
systemctl enable kubelet3. 初始化 master 节点
# 1. 生成默认配置信息
kubeadm config print init-defaults > kubeadm.conf
# 2. 修改配置
apiVersion: kubeadm.k8s.io/v1beta3
bootstrapTokens:
- groups:
- system:bootstrappers:kubeadm:default-node-token
token: abcdef.0123456789abcdef
ttl: 24h0m0s
usages:
- signing
- authentication
kind: InitConfiguration
localAPIEndpoint:
advertiseAddress: 192.168.74.130 # 修改为master地址
bindPort: 6443
nodeRegistration:
criSocket: /var/run/dockershim.sock
imagePullPolicy: IfNotPresent
name: node
taints: null
---
apiServer:
timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns: {}
etcd:
local:
dataDir: /var/lib/etcd
imageRepository: registry.aliyuncs.com/google_containers # 修改为阿里云地址
kind: ClusterConfiguration
kubernetesVersion: 1.23.0
networking:
dnsDomain: cluster.local
podSubnet: 10.244.0.0/16 #新增
serviceSubnet: 10.96.0.0/12
scheduler: {}
安装完成后执行提示中的三条命令
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config# 1.查看默认命名空间的资源
root@Sakura:/home/sakura# kubectl get po
No resources found in default namespace.
# 2.查看节点情况
root@Sakura:/home/sakura# kubectl get nodes
NAME STATUS ROLES AGE VERSION
node NotReady control-plane,master 19m v1.23.65. 配置网络 ( master节点 )
# 添加网络插件fannel
kubectl apply -f https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml6. 加入 node 节点到集群中
获取 master 节点中的 token
# 首先打印join命令
root@Sakura:/home/sakura# kubeadm token create --print-join-command
kubeadm join 192.168.74.130:6443 --token r9qk90.avettd8ifrt9gp82 --discovery-token-ca-cert-hash sha256:e7059ce051138338492a4a90d799db2aa45e41ab4e3f846042c32579a8fef161将命令复制到需要加入集群的 node 中
root@Sakura:/home/sakura# kubectl get nodes
NAME STATUS ROLES AGE VERSION
node Ready control-plane,master 39m v1.23.6
sakuranode1 Ready <none> 4m24s v1.23.6
sakuranode2 Ready <none> 5m16s v1.23.6
root@Sakura:~# kubectl get po -n kube-system
NAME READY STATUS RESTARTS AGE
coredns-6d8c4cb4d-hqjgl 1/1 Running 0 65m
coredns-6d8c4cb4d-whkxg 1/1 Running 0 65m
etcd-node 1/1 Running 0 65m
kube-apiserver-node 1/1 Running 0 65m
kube-controller-manager-node 1/1 Running 0 65m
kube-proxy-fcg5t 1/1 Running 0 31m
kube-proxy-hmrz4 1/1 Running 0 65m
kube-proxy-rw6kt 1/1 Running 0 31m
kube-scheduler-node 1/1 Running 0 65m可以看到所有 node 和 pod 都是 ready 了
7. 测试 kubernetes 集群
# 1.创建一个nginx服务
kubectl create deployment nginx --image=nginx
# 2.暴露端口
kubectl expose deployment nginx --port=80 --type=NodePort
# 3.查看 pod 以及服务信息
root@Sakura:~# kubectl get pod,svc
NAME READY STATUS RESTARTS AGE
pod/nginx-85b98978db-sbvj8 1/1 Running 0 2m13s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 70m
service/nginx NodePort 10.100.245.71 <none> 80:30147/TCP 24s# 测试能否在三个节点上展示页面
192.168.74.130:30147
192.168.74.128:30147
192.168.74.131:301478. 在其他 node 节点中使用 kubectl 命令
# 1.首先使用scp命令或者其他方式将/etc/kubernetes/admin.conf文件复制到弄的节点对应的目录
scp /etc/kubernetes/admin.conf root@192.168.74.128:/etc/kubernetes/
# 2.执行之前的三条命令
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
# 3.在node节点上使用kubectl get nodes
root@SakuraNode1:/etc/kubernetes# kubectl get nodes
NAME STATUS ROLES AGE VERSION
node Ready control-plane,master 127m v1.23.6
sakuranode1 Ready <none> 92m v1.23.6
sakuranode2 Ready <none> 93m v1.23.69. 基本命令
9.1 创建对象
$ kubectl create -f ./my-manifest.yaml # 创建资源
$ kubectl create -f ./my1.yaml -f ./my2.yaml # 使用多个文件创建资源
$ kubectl create -f ./dir # 使用目录下的所有清单文件来创建资源
$ kubectl create -f https://git.io/vPieo # 使用 url 来创建资源
$ kubectl run nginx --image=nginx # 启动一个 nginx 实例
$ kubectl explain pods,svc # 获取 pod 和 svc 的文档
# 从 stdin 输入中创建多个 YAML 对象
$ cat <<EOF | kubectl create -f -
apiVersion: v1
kind: Pod
metadata:
name: busybox-sleep
spec:
containers:
- name: busybox
image: busybox
args:
- sleep
- "1000000"
---
apiVersion: v1
kind: Pod
metadata:
name: busybox-sleep-less
spec:
containers:
- name: busybox
image: busybox
args:
- sleep
- "1000"
EOF
# 创建包含几个 key 的 Secret
$ cat <<EOF | kubectl create -f -
apiVersion: v1
kind: Secret
metadata:
name: mysecret
type: Opaque
data:
password: $(echo "s33msi4" | base64)
username: $(echo "jane" | base64)
EOF9.2 显示和查找资源
# Get commands with basic output
$ kubectl get services # 列出所有 namespace 中的所有 service
$ kubectl get pods --all-namespaces # 列出所有 namespace 中的所有 pod
$ kubectl get pods -o wide # 列出所有 pod 并显示详细信息
$ kubectl get deployment my-dep # 列出指定 deployment
$ kubectl get pods --include-uninitialized # 列出该 namespace 中的所有 pod 包括未初始化的
# 使用详细输出来描述命令
$ kubectl describe nodes my-node
$ kubectl describe pods my-pod
$ kubectl get services --sort-by=.metadata.name # List Services Sorted by Name
# 根据重启次数排序列出 pod
$ kubectl get pods --sort-by='.status.containerStatuses[0].restartCount'
# 获取所有具有 app=cassandra 的 pod 中的 version 标签
$ kubectl get pods --selector=app=cassandra rc -o \
jsonpath='{.items[*].metadata.labels.version}'
# 获取所有节点的 ExternalIP
$ kubectl get nodes -o jsonpath='{.items[*].status.addresses[?(@.type=="ExternalIP")].address}'
# 列出属于某个 PC 的 Pod 的名字
# “jq”命令用于转换复杂的 jsonpath，参考 https://stedolan.github.io/jq/
$ sel=${$(kubectl get rc my-rc --output=json | jq -j '.spec.selector | to_entries | .[] | "\(.key)=\(.value),"')%?}
$ echo $(kubectl get pods --selector=$sel --output=jsonpath={.items..metadata.name})
# 查看哪些节点已就绪
$ JSONPATH='{range .items[*]}{@.metadata.name}:{range @.status.conditions[*]}{@.type}={@.status};{end}{end}' \
&& kubectl get nodes -o jsonpath="$JSONPATH" | grep "Ready=True"
# 列出当前 Pod 中使用的 Secret
$ kubectl get pods -o json | jq '.items[].spec.containers[].env[]?.valueFrom.secretKeyRef.name' | grep -v null | sort | uniq9.3 更新资源
$ kubectl rolling-update frontend-v1 -f frontend-v2.json # 滚动更新 pod frontend-v1
$ kubectl rolling-update frontend-v1 frontend-v2 --image=image:v2 # 更新资源名称并更新镜像
$ kubectl rolling-update frontend --image=image:v2 # 更新 frontend pod 中的镜像
$ kubectl rolling-update frontend-v1 frontend-v2 --rollback # 退出已存在的进行中的滚动更新
$ cat pod.json | kubectl replace -f - # 基于 stdin 输入的 JSON 替换 pod
# 强制替换，删除后重新创建资源。会导致服务中断。
$ kubectl replace --force -f ./pod.json
# 为 nginx RC 创建服务，启用本地 80 端口连接到容器上的 8000 端口
$ kubectl expose rc nginx --port=80 --target-port=8000
# 更新单容器 pod 的镜像版本（tag）到 v4
$ kubectl get pod mypod -o yaml | sed 's/\(image: myimage\):.*$/\1:v4/' | kubectl replace -f -
$ kubectl label pods my-pod new-label=awesome # 添加标签
$ kubectl annotate pods my-pod icon-url=http://goo.gl/XXBTWq # 添加注解
$ kubectl autoscale deployment foo --min=2 --max=10 # 自动扩展 deployment “foo”9.4 编辑资源
$ kubectl edit svc/docker-registry # 编辑名为 docker-registry 的 service
$ KUBE_EDITOR="nano" kubectl edit svc/docker-registry # 使用其它编辑器9.5 删除资源
$ kubectl delete -f ./pod.json # 删除 pod.json 文件中定义的类型和名称的 pod
$ kubectl delete pod,service baz foo # 删除名为“baz”的 pod 和名为“foo”的 service
$ kubectl delete pods,services -l name=myLabel # 删除具有 name=myLabel 标签的 pod 和 serivce
$ kubectl delete pods,services -l name=myLabel --include-uninitialized # 删除具有 name=myLabel 标签的 pod 和 service，包括尚未初始化的
$ kubectl -n my-ns delete po,svc --all # 删除 my-ns namespace 下的所有 pod 和 serivce，包括尚未初始化的9.6 与运行的 Pod 交互
$ kubectl logs my-pod # dump 输出 pod 的日志（stdout）
$ kubectl logs my-pod -c my-container # dump 输出 pod 中容器的日志（stdout，pod 中有多个容器的情况下使用）
$ kubectl logs -f my-pod # 流式输出 pod 的日志（stdout）
$ kubectl logs -f my-pod -c my-container # 流式输出 pod 中容器的日志（stdout，pod 中有多个容器的情况下使用）
$ kubectl run -i --tty busybox --image=busybox -- sh # 交互式 shell 的方式运行 pod
$ kubectl attach my-pod -i # 连接到运行中的容器
$ kubectl port-forward my-pod 5000:6000 # 转发 pod 中的 6000 端口到本地的 5000 端口
$ kubectl exec my-pod -- ls / # 在已存在的容器中执行命令（只有一个容器的情况下）
$ kubectl exec my-pod -c my-container -- ls / # 在已存在的容器中执行命令（pod 中有多个容器的情况下）
$ kubectl top pod POD_NAME --containers # 显示指定 pod 和容器的指标度量9.7 节点和集群
$ kubectl cordon my-node # 标记 my-node 不可调度
$ kubectl drain my-node # 清空 my-node 以待维护
$ kubectl uncordon my-node # 标记 my-node 可调度
$ kubectl top node my-node # 显示 my-node 的指标度量
$ kubectl cluster-info # 显示 master 和服务的地址
$ kubectl cluster-info dump # 将当前集群状态输出到 stdout
$ kubectl cluster-info dump --output-directory=/path/to/cluster-state # 将当前集群状态输出到 /path/to/cluster-state
# 如果该键和影响的污点（taint）已存在，则使用指定的值替换
$ kubectl taint nodes foo dedicated=special-user:NoSchedule
评论区