目 录CONTENT

文章目录

k8s 集群搭建

Sakura
2023-11-16 / 0 评论 / 0 点赞 / 21 阅读 / 14749 字 / 正在检测是否收录...

搭建 K8s 集群

1. 初始操作

1.1 关闭 swap , seLinux , 防火墙 (所有节点)

部署Kubernetes(k8s)时,为什么要关闭swap、selinux、firewalld? - 知乎 (zhihu.com)

# 1. 关闭swap
sudo swapoff -a # 临时
sudo sed -ri 's/.*swap.*/#&/' /etc/fstab    # 永久

# 2. 关闭selinux
sudo sed -i 's/enforcing/disabled/' /etc/selinux/config  # 永久
sudo setenforce 0  # 临时

# 3. 关闭防火墙
sudo ufw disable
sudo ufw status

swap 分区一定要永久关闭,负责虚拟机重新启动后,swap 分区重新建立,Kubelet 服务无法启动

1.2 设置主机名 (所有节点)

# 修改主机名
hostnamectl set-hostname <name>

1.3 在 master 中添加 host

sudo cat >> /etc/hosts << EOF
192.168.74.130 k8s_master
192.168.74.128 k8s_node1
192.168.74.131 k8s_node2
EOF

1.4 运行 Iptables 检查桥接流量

# 1.加载overlay和br_netfilter两个内核模块
sudo modprobe overlay && sudo modprobe br_netfilter

# 2.持久化加载两个模块
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF

# 3.修改内核参数,确保二层的网桥在转发包时也会被iptables的FORWARD规则所过滤
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1
EOF

# 4.使配置生效
sudo sysctl --system

2. 安装基础软件

2.1 安装 Docker

2.1 使用阿里云源

kubernetes镜像_kubernetes下载地址_kubernetes安装教程-阿里巴巴开源镜像站 (aliyun.com)

apt-get update && apt-get install -y apt-transport-https
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add - 
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF
apt-get update
apt-get install -y kubelet kubeadm kubectl

报错解决方法

W: https://mirrors.aliyun.com/kubernetes/apt/dists/kubernetes-xenial/InRelease: 密钥存储在过时的 trusted.gpg 密钥环中(/etc/apt/trusted.gpg),请参见 apt-key(8) 的 DEPRECATION 一节以了解详情。

修复 Ubuntu 中的 “Key is stored in legacy trusted.gpg keyring” 问题 | Linux 中国 - 知乎 (zhihu.com)

sudo cp /etc/apt/trusted.gpg /etc/apt/trusted.gpg.d
sudo apt-get update

2.1 安装 kubeadm , kubelet , kubectl

#安装1.23.6版本
sudo apt-get install kubelet=1.23.6-00

sudo apt-get install kubeadm=1.23.6-00

sudo apt-get install kubectl=1.23.6-00

# 查看版本
kubectl version --client && kubeadm version && kubelet --version

# 开机启动
systemctl enable kubelet

3. 初始化 master 节点

# 1. 生成默认配置信息
kubeadm config print init-defaults > kubeadm.conf

# 2. 修改配置
apiVersion: kubeadm.k8s.io/v1beta3
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  token: abcdef.0123456789abcdef
  ttl: 24h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 192.168.74.130 # 修改为master地址
  bindPort: 6443
nodeRegistration:
  criSocket: /var/run/dockershim.sock
  imagePullPolicy: IfNotPresent
  name: node
  taints: null
---
apiServer:
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns: {}
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: registry.aliyuncs.com/google_containers # 修改为阿里云地址
kind: ClusterConfiguration
kubernetesVersion: 1.23.0
networking:
  dnsDomain: cluster.local
  podSubnet: 10.244.0.0/16 #新增
  serviceSubnet: 10.96.0.0/12
scheduler: {}

安装完成后执行提示中的三条命令

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
# 1.查看默认命名空间的资源
root@Sakura:/home/sakura# kubectl get po
No resources found in default namespace.

# 2.查看节点情况
root@Sakura:/home/sakura# kubectl get nodes 
NAME   STATUS     ROLES                  AGE   VERSION
node   NotReady   control-plane,master   19m   v1.23.6

5. 配置网络 ( master节点 )

# 添加网络插件fannel​
kubectl apply -f https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml

6. 加入 node 节点到集群中

  1. 获取 master 节点中的 token

# 首先打印join命令
root@Sakura:/home/sakura# kubeadm token create --print-join-command
kubeadm join 192.168.74.130:6443 --token r9qk90.avettd8ifrt9gp82 --discovery-token-ca-cert-hash sha256:e7059ce051138338492a4a90d799db2aa45e41ab4e3f846042c32579a8fef161

将命令复制到需要加入集群的 node 中

root@Sakura:/home/sakura# kubectl get nodes
NAME          STATUS   ROLES                  AGE     VERSION
node          Ready    control-plane,master   39m     v1.23.6
sakuranode1   Ready    <none>                 4m24s   v1.23.6
sakuranode2   Ready    <none>                 5m16s   v1.23.6

root@Sakura:~# kubectl get po -n kube-system
NAME                           READY   STATUS    RESTARTS   AGE
coredns-6d8c4cb4d-hqjgl        1/1     Running   0          65m
coredns-6d8c4cb4d-whkxg        1/1     Running   0          65m
etcd-node                      1/1     Running   0          65m
kube-apiserver-node            1/1     Running   0          65m
kube-controller-manager-node   1/1     Running   0          65m
kube-proxy-fcg5t               1/1     Running   0          31m
kube-proxy-hmrz4               1/1     Running   0          65m
kube-proxy-rw6kt               1/1     Running   0          31m
kube-scheduler-node            1/1     Running   0          65m

可以看到所有 node 和 pod 都是 ready 了

7. 测试 kubernetes 集群

# 1.创建一个nginx服务 
kubectl create deployment nginx --image=nginx

# 2.暴露端口
kubectl expose deployment nginx --port=80 --type=NodePort

# 3.查看 pod 以及服务信息
root@Sakura:~# kubectl get pod,svc
NAME                         READY   STATUS    RESTARTS   AGE
pod/nginx-85b98978db-sbvj8   1/1     Running   0          2m13s

NAME                 TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
service/kubernetes   ClusterIP   10.96.0.1       <none>        443/TCP        70m
service/nginx        NodePort    10.100.245.71   <none>        80:30147/TCP   24s
# 测试能否在三个节点上展示页面
192.168.74.130:30147
192.168.74.128:30147
192.168.74.131:30147

8. 在其他 node 节点中使用 kubectl 命令

# 1.首先使用scp命令或者其他方式将/etc/kubernetes/admin.conf文件复制到弄的节点对应的目录
scp /etc/kubernetes/admin.conf root@192.168.74.128:/etc/kubernetes/

# 2.执行之前的三条命令
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

# 3.在node节点上使用kubectl get nodes
root@SakuraNode1:/etc/kubernetes# kubectl get nodes
NAME          STATUS   ROLES                  AGE    VERSION
node          Ready    control-plane,master   127m   v1.23.6
sakuranode1   Ready    <none>                 92m    v1.23.6
sakuranode2   Ready    <none>                 93m    v1.23.6

9. 基本命令

9.1 创建对象

$ kubectl create -f ./my-manifest.yaml           # 创建资源
$ kubectl create -f ./my1.yaml -f ./my2.yaml     # 使用多个文件创建资源
$ kubectl create -f ./dir                        # 使用目录下的所有清单文件来创建资源
$ kubectl create -f https://git.io/vPieo         # 使用 url 来创建资源
$ kubectl run nginx --image=nginx                # 启动一个 nginx 实例
$ kubectl explain pods,svc                       # 获取 pod 和 svc 的文档

# 从 stdin 输入中创建多个 YAML 对象
$ cat <<EOF | kubectl create -f -
apiVersion: v1
kind: Pod
metadata:
  name: busybox-sleep
spec:
  containers:
  - name: busybox
    image: busybox
    args:
    - sleep
    - "1000000"
---
apiVersion: v1
kind: Pod
metadata:
  name: busybox-sleep-less
spec:
  containers:
  - name: busybox
    image: busybox
    args:
    - sleep
    - "1000"
EOF

# 创建包含几个 key 的 Secret
$ cat <<EOF | kubectl create -f -
apiVersion: v1
kind: Secret
metadata:
  name: mysecret
type: Opaque
data:
  password: $(echo "s33msi4" | base64)
  username: $(echo "jane" | base64)
EOF

9.2 显示和查找资源

# Get commands with basic output
$ kubectl get services                          # 列出所有 namespace 中的所有 service
$ kubectl get pods --all-namespaces             # 列出所有 namespace 中的所有 pod
$ kubectl get pods -o wide                      # 列出所有 pod 并显示详细信息
$ kubectl get deployment my-dep                 # 列出指定 deployment
$ kubectl get pods --include-uninitialized      # 列出该 namespace 中的所有 pod 包括未初始化的

# 使用详细输出来描述命令
$ kubectl describe nodes my-node
$ kubectl describe pods my-pod

$ kubectl get services --sort-by=.metadata.name # List Services Sorted by Name

# 根据重启次数排序列出 pod
$ kubectl get pods --sort-by='.status.containerStatuses[0].restartCount'

# 获取所有具有 app=cassandra 的 pod 中的 version 标签
$ kubectl get pods --selector=app=cassandra rc -o \
  jsonpath='{.items[*].metadata.labels.version}'

# 获取所有节点的 ExternalIP
$ kubectl get nodes -o jsonpath='{.items[*].status.addresses[?(@.type=="ExternalIP")].address}'

# 列出属于某个 PC 的 Pod 的名字
# “jq”命令用于转换复杂的 jsonpath,参考 https://stedolan.github.io/jq/
$ sel=${$(kubectl get rc my-rc --output=json | jq -j '.spec.selector | to_entries | .[] | "\(.key)=\(.value),"')%?}
$ echo $(kubectl get pods --selector=$sel --output=jsonpath={.items..metadata.name})

# 查看哪些节点已就绪
$ JSONPATH='{range .items[*]}{@.metadata.name}:{range @.status.conditions[*]}{@.type}={@.status};{end}{end}' \
 && kubectl get nodes -o jsonpath="$JSONPATH" | grep "Ready=True"

# 列出当前 Pod 中使用的 Secret
$ kubectl get pods -o json | jq '.items[].spec.containers[].env[]?.valueFrom.secretKeyRef.name' | grep -v null | sort | uniq

9.3 更新资源

$ kubectl rolling-update frontend-v1 -f frontend-v2.json           # 滚动更新 pod frontend-v1
$ kubectl rolling-update frontend-v1 frontend-v2 --image=image:v2  # 更新资源名称并更新镜像
$ kubectl rolling-update frontend --image=image:v2                 # 更新 frontend pod 中的镜像
$ kubectl rolling-update frontend-v1 frontend-v2 --rollback        # 退出已存在的进行中的滚动更新
$ cat pod.json | kubectl replace -f -                              # 基于 stdin 输入的 JSON 替换 pod

# 强制替换,删除后重新创建资源。会导致服务中断。
$ kubectl replace --force -f ./pod.json

# 为 nginx RC 创建服务,启用本地 80 端口连接到容器上的 8000 端口
$ kubectl expose rc nginx --port=80 --target-port=8000

# 更新单容器 pod 的镜像版本(tag)到 v4
$ kubectl get pod mypod -o yaml | sed 's/\(image: myimage\):.*$/\1:v4/' | kubectl replace -f -

$ kubectl label pods my-pod new-label=awesome                      # 添加标签
$ kubectl annotate pods my-pod icon-url=http://goo.gl/XXBTWq       # 添加注解
$ kubectl autoscale deployment foo --min=2 --max=10                # 自动扩展 deployment “foo”

9.4 编辑资源

$ kubectl edit svc/docker-registry                      # 编辑名为 docker-registry 的 service
$ KUBE_EDITOR="nano" kubectl edit svc/docker-registry   # 使用其它编辑器

9.5 删除资源

$ kubectl delete -f ./pod.json                                              # 删除 pod.json 文件中定义的类型和名称的 pod
$ kubectl delete pod,service baz foo                                        # 删除名为“baz”的 pod 和名为“foo”的 service
$ kubectl delete pods,services -l name=myLabel                              # 删除具有 name=myLabel 标签的 pod 和 serivce
$ kubectl delete pods,services -l name=myLabel --include-uninitialized      # 删除具有 name=myLabel 标签的 pod 和 service,包括尚未初始化的
$ kubectl -n my-ns delete po,svc --all                                      # 删除 my-ns namespace 下的所有 pod 和 serivce,包括尚未初始化的

9.6 与运行的 Pod 交互

$ kubectl logs my-pod                                 # dump 输出 pod 的日志(stdout)
$ kubectl logs my-pod -c my-container                 # dump 输出 pod 中容器的日志(stdout,pod 中有多个容器的情况下使用)
$ kubectl logs -f my-pod                              # 流式输出 pod 的日志(stdout)
$ kubectl logs -f my-pod -c my-container              # 流式输出 pod 中容器的日志(stdout,pod 中有多个容器的情况下使用)
$ kubectl run -i --tty busybox --image=busybox -- sh  # 交互式 shell 的方式运行 pod
$ kubectl attach my-pod -i                            # 连接到运行中的容器
$ kubectl port-forward my-pod 5000:6000               # 转发 pod 中的 6000 端口到本地的 5000 端口
$ kubectl exec my-pod -- ls /                         # 在已存在的容器中执行命令(只有一个容器的情况下)
$ kubectl exec my-pod -c my-container -- ls /         # 在已存在的容器中执行命令(pod 中有多个容器的情况下)
$ kubectl top pod POD_NAME --containers               # 显示指定 pod 和容器的指标度量

9.7 节点和集群

$ kubectl cordon my-node                                                # 标记 my-node 不可调度
$ kubectl drain my-node                                                 # 清空 my-node 以待维护
$ kubectl uncordon my-node                                              # 标记 my-node 可调度
$ kubectl top node my-node                                              # 显示 my-node 的指标度量
$ kubectl cluster-info                                                  # 显示 master 和服务的地址
$ kubectl cluster-info dump                                             # 将当前集群状态输出到 stdout                                    
$ kubectl cluster-info dump --output-directory=/path/to/cluster-state   # 将当前集群状态输出到 /path/to/cluster-state

# 如果该键和影响的污点(taint)已存在,则使用指定的值替换
$ kubectl taint nodes foo dedicated=special-user:NoSchedule

0

评论区