本章说明:
本章为 Kubernetes 高可用集群部署的前置核心步骤,所有节点必须严格按照顺序执行。主要内容包括:节点规划(IP、角色、配置要求)、VMware 克隆节点环境清理(可选但强烈推荐)、统一目录创建、主机名与 hosts 配置、系统基础升级、防火墙与 swap 关闭、内核模块加载、系统网络参数配置、时间同步配置等。Ubuntu 24.04 内核已是 6.8+,原生支持 eBPF、IPVS、overlay 等 Kubernetes 核心特性,无需手动升级内核。本章所有操作均需在所有节点(master01、master02、master03、worker01、worker02)上执行,完成本章后集群的基础环境将准备就绪。
部署节点: 所有节点(master01、master02、master03、worker01、worker02)
1.1 节点规划
作用说明: 明确集群中所有节点的角色、IP 地址、系统版本和配置要求,确保后续操作有统一的参照标准。
部署节点: 规划阶段,无需执行命令
1.1.1 节点角色与 IP 分配
| 节点 | 角色 | IP | 系统 | 配置要求 |
|---|---|---|---|---|
| master01 | Master / etcd | 192.168.3.60 | Ubuntu 24.04 | 4C8G+ |
| master02 | Master / etcd | 192.168.3.61 | Ubuntu 24.04 | 4C8G+ |
| master03 | Master / etcd | 192.168.3.62 | Ubuntu 24.04 | 4C8G+ |
| worker01 | Worker | 192.168.3.70 | Ubuntu 24.04 | 4C8G+ |
| worker02 | Worker | 192.168.3.71 | Ubuntu 24.04 | 4C8G+ |
| VIP | 集群统一入口 | 192.168.3.59 | - | Keepalived 管理 |
1.1.2 集群网段规划
| 网段类型 | CIDR(无类别域间路由) | 说明 |
|---|---|---|
| Pod 网段 | 10.244.0.0/16 | Calico 网络插件默认配置 |
| Service 网段 | 10.96.0.0/16 | kube-apiserver 参数 |
CIDR 说明: CIDR(无类别域间路由)是一种 IP 地址分配和路由方法,格式为
IP地址/掩码位数。/16表示前 16 位是网络号,后 16 位是主机号,可提供 65,536 个 IP 地址。
1.1.3 端口规划
| 端口 | 组件 | 说明 |
|---|---|---|
| 6443 | kube-apiserver | API Server 端口 |
| 6444 | HAProxy | 负载均衡监听端口 |
| 2379-2380 | etcd | etcd 客户端/对等端口 |
| 10250 | kubelet | kubelet API 端口 |
| 10256 | kube-proxy | kube-proxy 健康检查 |
| 30000-32767 | NodePort | Service NodePort 范围 |
1.1.4 目录规划
| 目录 | 用途 | 建议大小 |
|---|---|---|
| /var/lib/etcd | etcd 数据目录 | 50GB+ |
| /var/lib/kubelet | kubelet 数据目录 | 100GB+ |
| /var/log | 系统日志 | 50GB+ |
| /data/backup | 备份目录 | 100GB+ |
| /data/nfs | NFS 共享目录 | 根据需求 |
1.2 VMware 克隆节点环境清理(可选但强烈推荐)
作用说明: 如果使用 VMware 克隆方式批量创建节点,源虚拟机中可能残留 MAC 地址、主机名、machine-id 等唯一标识信息。克隆后的节点如果不进行清理,会导致这些标识冲突,影响集群正常通信。本脚本将自动清理这些残留信息。
部署节点: 被克隆的每个节点(克隆后首次启动时执行)
1.2.1 创建清理脚本
# 步骤1:创建脚本存放目录
sudo mkdir -p /opt/k8s/script/ && cd /opt/k8s/script/
# 步骤2:写入清理脚本(Ubuntu 24.04 适配版)
sudo tee k8s_clean_init.sh <<'EOF'
#!/bin/bash
# ==============================================
# 作用:VMware 克隆虚拟机后,清理残留 + 初始化环境
# 适用:Ubuntu 24.04 / K8s 1.28 高可用集群前置准备
# ==============================================
echo -e "\033[32m==================== 开始清理克隆虚拟机环境 ====================\033[0m"
# 1. 清理 udev 网络规则(解决克隆后网卡名/MAC冲突)
echo "清理网络规则文件..."
sudo rm -rf /etc/udev/rules.d/70-* 2>/dev/null || true
# 2. 清空历史网卡配置
echo "清空旧网络配置缓存..."
sudo systemctl stop NetworkManager 2>/dev/null || true
sudo systemctl disable NetworkManager 2>/dev/null || true
# 3. 清理 netplan 配置备份
sudo rm -rf /etc/netplan/*.bak 2>/dev/null || true
# 4. 清空主机内的 hostname、hosts
echo "清空旧主机名与 hosts..."
sudo truncate -s 0 /etc/hostname
sudo truncate -s 0 /etc/hosts
# 5. 清空机器ID(防止克隆机ID相同导致证书异常)
echo "重置 machine-id..."
sudo rm -rf /etc/machine-id
sudo systemd-machine-id-setup
# 6. 清理日志和临时文件
echo "清理系统日志与临时文件..."
sudo rm -rf /var/log/*.log /tmp/* /var/tmp/* 2>/dev/null || true
history -c && history -w
# 7. 关闭防火墙、swap
echo "关闭防火墙 / Swap..."
sudo systemctl stop ufw 2>/dev/null || true
sudo systemctl disable ufw 2>/dev/null || true
sudo swapoff -a
sudo sed -i '/swap/s/^/#/' /etc/fstab
# 8. 加载内核模块
echo "加载 K8s 必需内核模块..."
sudo modprobe overlay 2>/dev/null || true
sudo modprobe br_netfilter 2>/dev/null || true
sudo modprobe ip_vs ip_vs_rr ip_vs_wrr ip_vs_sh nf_conntrack 2>/dev/null || true
# 9. 配置内核参数
cat | sudo tee /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1
net.ipv4.tcp_tw_reuse = 1
vm.swappiness = 0
EOF
sudo sysctl --system > /dev/null 2>&1
echo -e "\033[32m==================== 环境清理完成!====================\033[0m"
echo -e "\033[33m下一步你需要做:\033[0m"
echo "1. 设置当前机器主机名:sudo hostnamectl set-hostname 你的主机名"
echo "2. 配置静态IP地址(编辑 /etc/netplan/00-installer-config.yaml)"
echo "3. 执行 sudo netplan apply 应用网络配置"
echo -e "\033[32m然后就可以直接开始部署 K8s 高可用集群!\033[0m"
EOF
# 步骤3:赋予脚本执行权限
sudo chmod +x k8s_clean_init.sh
# 步骤4:执行清理脚本
./k8s_clean_init.sh
1.2.2 验证清理结果
# 检查 machine-id 是否已重置(应是一个新的唯一标识)
cat /etc/machine-id
# 检查 SELinux(Ubuntu 默认无 SELinux,但验证命令保留)
getenforce || echo "SELinux not installed"
# 检查防火墙状态(应显示 inactive)
sudo systemctl status ufw | grep Active
预期输出:
Active: inactive (dead)
1.3 配置静态 IP(Ubuntu 24.04 使用 netplan)
作用说明: Ubuntu 24.04 使用 netplan 作为网络配置管理工具。需要为每个节点配置静态 IP 地址,确保节点间网络互通。
部署节点: 所有节点(每个节点配置自己的 IP)
# 步骤1:查看网卡名称
ip addr
预期输出:
1: lo: <LOOPBACK,UP,LOWER_UP> ...
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> ... # 网卡名称,根据实际环境可能为 ens33、ens160 等
# 步骤2:编辑 netplan 配置文件
# 注意:将 eth0 替换为实际网卡名称,将 IP 地址替换为节点实际 IP
sudo vi /etc/netplan/00-installer-config.yaml
配置文件示例(master01):
network:
version: 2
renderer: networkd
ethernets:
eth0:
dhcp4: no
addresses:
- 192.168.3.60/24
routes:
- to: default
via: 192.168.3.1
nameservers:
addresses: [114.114.114.114, 223.5.5.5]
# 步骤3:验证配置文件语法
sudo netplan try
预期输出:
Do you want to keep these settings? (yes/no) yes
# 步骤4:应用网络配置
sudo netplan apply
# 步骤5:验证 IP 配置是否正确
ip addr show eth0 | grep inet
预期输出:
inet 192.168.3.60/24 brd 192.168.3.255 scope global eth0
1.4 统一目录(所有节点执行)
作用说明: 为所有组件创建固定工作目录,方便后续管理、备份和排查问题。统一目录结构是生产环境的最佳实践。
部署节点: 所有节点
# 步骤1:创建统一工作目录
# 目录说明:
# - containerd:存放 containerd 配置
# - kubernetes:存放 K8s 组件配置
# - helm:存放 Helm 二进制和 charts
# - coredns:存放 CoreDNS 配置
# - metrics-server:存放 Metrics Server 配置
# - dashboard:存放 Dashboard 配置
# - ingress-nginx:存放 Ingress-Nginx 配置
# - monitoring:存放监控告警配置
# - krm:存放 KRM 多集群管理配置
# - script:存放运维脚本
# - storage:存放存储类配置
# - backup:存放备份文件
sudo mkdir -p /opt/k8s/{containerd,kubernetes,helm,coredns,metrics-server,dashboard,ingress-nginx,monitoring,krm,script,storage,backup}
# 步骤2:创建系统组件数据目录
# /var/lib/kubelet:kubelet 数据存储目录
# /var/log/kubelet:kubelet 日志目录
sudo mkdir -p /var/lib/kubelet /var/log/kubelet
# 步骤3:设置目录权限(当前用户拥有完整权限)
sudo chown -R $USER:$USER /opt/k8s
sudo chmod 755 /var/lib/kubelet
验证:
# 查看目录是否创建成功
ls -ld /opt/k8s/*
预期输出:
drwxr-xr-x 2 root root 4096 May 13 10:00 /opt/k8s/backup
drwxr-xr-x 2 root root 4096 May 13 10:00 /opt/k8s/containerd
drwxr-xr-x 2 root root 4096 May 13 10:00 /opt/k8s/coredns
...
目录说明表:
| 目录 | 用途 | 所属组件 |
|---|---|---|
| /opt/k8s/containerd/ | containerd 配置和镜像 | containerd |
| /opt/k8s/kubernetes/ | K8s 组件配置 | kubeadm/kubelet/kubectl |
| /opt/k8s/script/ | 运维脚本(备份、清理) | 运维工具 |
| /opt/k8s/monitoring/ | 监控告警配置 | Prometheus/Grafana |
| /opt/k8s/krm/ | KRM 多集群管理 | KRM |
| /var/lib/kubelet/ | kubelet 数据存储 | kubelet |
1.5 主机名+hosts(所有节点执行)
作用说明: 设置每个节点的主机名,并配置所有节点的 hosts 解析。这样集群内可以通过主机名互相访问,无需记忆 IP 地址。
部署节点: 每个节点执行自己的主机名设置
1.5.1 各节点主机名配置
# master01 节点执行
sudo hostnamectl set-hostname master01
# master02 节点执行(单独执行)
# sudo hostnamectl set-hostname master02
# master03 节点执行(单独执行)
# sudo hostnamectl set-hostname master03
# worker01 节点执行(单独执行)
# sudo hostnamectl set-hostname worker01
# worker02 节点执行(单独执行)
# sudo hostnamectl set-hostname worker02
1.5.2 各节点 hosts 配置
所有节点执行完全相同的内容:
# 追加 hosts 配置到 /etc/hosts 文件
cat | sudo tee -a /etc/hosts <<EOF
192.168.3.60 master01
192.168.3.61 master02
192.168.3.62 master03
192.168.3.70 worker01
192.168.3.71 worker02
192.168.3.59 k8s-vip
EOF
验证:
# 查看当前节点主机名
hostname
# 测试节点间解析
ping -c 2 master01
ping -c 2 master02
ping -c 2 master03
ping -c 2 worker01
ping -c 2 worker02
ping -c 2 k8s-vip
预期输出:
PING master01 (192.168.3.60) 56(84) bytes of data.
64 bytes from master01 (192.168.3.60): icmp_seq=1 ttl=64 time=0.5ms
1.6 系统基础升级(所有节点执行)
作用说明: 更新系统软件包到最新版本,安装后续部署所需的基础依赖工具和编译工具。
部署节点: 所有节点
# 步骤1:更新软件包列表并升级所有软件包
sudo apt update
sudo apt upgrade -y
# 步骤2:安装 EPEL 仓库(Ubuntu 使用 extras)
sudo apt install -y software-properties-common
# 步骤3:安装基础依赖工具
# wget/curl:文件下载工具
# vim:文本编辑器
# net-tools/telnet:网络工具
# apt-transport-https/ca-certificates/gnupg/lsb-release:APT 仓库工具
# chrony:时间同步工具
# rsync/openssl/dnsutils:备份和证书工具
sudo apt install -y wget curl vim net-tools telnet \
apt-transport-https ca-certificates gnupg lsb-release \
chrony rsync openssl dnsutils
# 步骤4:安装编译工具(部分场景需要)
sudo apt install -y build-essential gcc g++ make cmake autoconf automake libtool
# 步骤5:重启节点使更新生效
sudo reboot
验证:
# 重启后验证系统版本
cat /etc/os-release | grep VERSION_ID
# 验证基础工具是否安装成功
wget --version
curl --version
vim --version
预期输出:
VERSION_ID="24.04"
GNU Wget 1.21.3
curl 8.5.0
VIM - Vi IMproved 9.0
1.7 关闭防火墙、swap(所有节点执行)
作用说明: Kubernetes 强制要求关闭防火墙和 swap。防火墙可能拦截节点间通信,swap 会导致 kubelet 资源统计不准确。
部署节点: 所有节点
# 步骤1:关闭 ufw 防火墙
sudo systemctl stop ufw
sudo systemctl disable ufw
# 步骤2:关闭 swap 交换分区
sudo swapoff -a
sudo sed -i '/swap/s/^/#/' /etc/fstab
# Ubuntu 默认无 SELinux,无需操作
验证:
# 验证防火墙状态(应为 inactive)
sudo ufw status
预期输出:
Status: inactive
# 验证 swap 状态(应全部为 0)
free -h | grep Swap
预期输出:
Swap: 0B 0B 0B
1.8 加载内核模块(所有节点执行)
作用说明: Kubernetes 网络和存储功能依赖特定的内核模块。Ubuntu 24.04 内核 6.8+ 原生支持所有必要模块,只需加载即可。
部署节点: 所有节点
# 步骤1:临时加载所需内核模块(立即生效)
sudo modprobe overlay # overlay 文件系统,用于容器镜像分层存储
sudo modprobe br_netfilter # 桥接网络过滤,支持 iptables 桥接转发
sudo modprobe ip_vs # IPVS 模块,支持 kube-proxy IPVS 模式
sudo modprobe ip_vs_rr # IPVS 轮询调度算法
sudo modprobe ip_vs_wrr # IPVS 加权轮询调度算法
sudo modprobe ip_vs_sh # IPVS 源哈希调度算法
sudo modprobe nf_conntrack # 网络连接跟踪
# 步骤2:配置开机自动加载模块
cat | sudo tee /etc/modules-load.d/k8s.conf <<EOF
overlay
br_netfilter
ip_vs
ip_vs_rr
ip_vs_wrr
ip_vs_sh
nf_conntrack
EOF
验证:
# 查看模块是否加载成功
lsmod | grep -E "overlay|br_netfilter|ip_vs|nf_conntrack"
预期输出:
overlay 147456 1
br_netfilter 32768 0
ip_vs 180224 6 ip_vs_rr,ip_vs_wrr,ip_vs_sh
nf_conntrack 212992 1 ip_vs
1.9 配置系统网络参数(所有节点执行)
作用说明: 开启 IP 转发和桥接网络过滤,是 Kubernetes 节点间通信和容器网络互通的核心配置。
部署节点: 所有节点
# 步骤1:写入系统网络参数配置文件
cat | sudo tee /etc/sysctl.d/k8s.conf <<EOF
# 允许桥接网络流量通过 iptables 过滤(K8s 网络策略必需)
net.bridge.bridge-nf-call-iptables = 1
# 允许桥接网络 IPv6 流量通过 ip6tables 过滤
net.bridge.bridge-nf-call-ip6tables = 1
# 开启 IP 转发(容器跨节点通信必需)
net.ipv4.ip_forward = 1
# TCP 优化
net.ipv4.tcp_tw_reuse = 1
# 减少 swap 使用倾向
vm.swappiness = 0
# 增加文件句柄限制
fs.file-max = 2097152
# 增加网络连接跟踪表大小
net.netfilter.nf_conntrack_max = 1048576
EOF
# 步骤2:重新加载 sysctl 配置,使参数立即生效
sudo sysctl --system
验证:
# 查看桥接网络是否允许 iptables 过滤流量(输出必须为 1)
sysctl net.bridge.bridge-nf-call-iptables
# 查看 IP 转发是否开启(输出必须为 1)
sysctl net.ipv4.ip_forward
预期输出:
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
1.10 时间同步配置(所有节点执行)
作用说明: 确保所有节点时间一致,避免因时间不同步导致证书验证失败、日志混乱等问题。
部署节点: 所有节点
# 步骤1:安装 chrony 时间同步工具
sudo apt install -y chrony
# 步骤2:配置时间服务器(使用国内 NTP 服务器)
sudo tee /etc/chrony/chrony.conf <<EOF
server ntp.aliyun.com iburst
server ntp.tencent.com iburst
driftfile /var/lib/chrony/drift
makestep 1.0 3
rtcsync
logdir /var/log/chrony
EOF
# 步骤3:启动 chrony 并设置开机自启
sudo systemctl enable --now chrony
# 步骤4:查看时间同步源
chronyc sources -v
# 步骤5:查看时间同步状态
chronyc tracking
预期输出(chronyc sources):
MS Name/IP address Stratum Poll Reach LastRx Last sample
===============================================================================
^* ntp.aliyun.com 2 6 377 45 +0.123ms
验证:
# 查看当前系统时间
date
预期输出:
Wed May 13 14:30:00 CST 2026
1.11 日常运维操作
作用说明: 本节列出系统环境层面日常运维中常用的命令。
部署节点: 各节点
1.11.1 查看系统信息
# 查看内核版本
uname -r
# 查看操作系统版本
cat /etc/os-release
# 查看 CPU 信息
lscpu
# 查看内存信息
free -h
1.11.2 网络排查
# 查看 IP 地址
ip addr
# 查看路由表
ip route
# 测试网络连通性
ping -c 3 master01
# 查看端口监听状态
sudo netstat -tlnp
# 查看 DNS 解析
nslookup baidu.com
1.11.3 时间同步维护
# 强制同步时间
sudo chronyc -a makestep
# 查看时间同步源
chronyc sources -v
# 查看时间同步状态
chronyc tracking
1.12 常见问题排查
作用说明: 本节列出环境准备过程中可能遇到的常见问题及解决方案。
1.12.1 内核模块加载失败
问题现象:
modprobe: ERROR: could not insert 'br_netfilter': Operation not permitted
解决方案:
# 检查是否使用 root 权限
sudo su -
# 检查内核版本
uname -r
# 检查模块是否存在
find /lib/modules/$(uname -r) -name "br_netfilter*"
1.12.2 netplan 配置无效
问题现象:
netplan apply 报错
解决方案:
# 检查 YAML 格式是否正确
sudo netplan try
# 查看 netplan 配置状态
sudo netplan status
# 查看详细错误信息
sudo netplan apply --debug
1.12.3 hosts 文件修改后不生效
问题现象:
ping master01 仍然解析到旧 IP
解决方案:
# 检查 /etc/hosts 文件内容
cat /etc/hosts | grep master01
# 清除 DNS 缓存(如有)
sudo systemctl restart systemd-resolved
# 检查 nsswitch.conf 配置
cat /etc/nsswitch.conf | grep hosts
1.12.4 时间同步失败
问题现象:
chrony sources 显示未同步
解决方案:
# 重启 chrony 服务
sudo systemctl restart chrony
# 强制同步
sudo chronyc -a makestep
# 检查网络连通性
ping ntp.aliyun.com
# 更换时间服务器
sudo vi /etc/chrony/chrony.conf
# 将服务器替换为 pool.ntp.org
1.13 本章小结
本章验证清单:
| 检查项 | 验证命令 | 预期结果 |
|---|---|---|
| 内核版本 | uname -r | 6.8.x |
| 防火墙状态 | sudo ufw status | inactive |
| swap 状态 | free -h \| grep Swap | 0B |
| 时间同步 | chronyc sources | 显示时间源 |
| 主机名解析 | ping -c 2 master01 | 成功 |
| 内核模块 | lsmod \| grep br_netfilter | 显示模块 |
| IP 转发 | sysctl net.ipv4.ip_forward | 1 |
环境准备完成标志:
| 项目 | 状态 | 说明 |
|---|---|---|
| 节点 IP | ✅ 已配置 | 所有节点静态 IP |
| 主机名 | ✅ 已配置 | master01/02/03、worker01/02 |
| hosts 解析 | ✅ 已配置 | 节点间可通过主机名通信 |
| 防火墙 | ✅ 已关闭 | ufw inactive |
| swap | ✅ 已关闭 | 0B |
| 内核模块 | ✅ 已加载 | overlay、br_netfilter、ip_vs |
| 网络参数 | ✅ 已配置 | IP 转发已开启 |
| 时间同步 | ✅ 已配置 | chrony 正常运行 |
下一章预告:
环境准备完成后,下一章将安装容器运行时 containerd,为 Kubernetes 集群提供容器运行环境。
920



被折叠的 条评论
为什么被折叠?



