1. 从UMA到NUMA:为什么你的多核服务器跑不快?
如果你用过早期的多核服务器,可能会发现一个奇怪的现象:明明给程序分配了更多的CPU核心,但性能提升却微乎其微,甚至有时候还会下降。这背后,其实隐藏着一个关键的设计理念之争:内存该怎么访问?
在很久以前,多核服务器普遍采用一种叫做SMP(对称多处理器)的架构。你可以把它想象成一个大家庭,所有CPU兄弟都住在一个大房子里,共享同一个大客厅(内存)。谁想拿东西,都得穿过同一个门厅。当兄弟少的时候(比如2-4个),大家和和气气,相安无事。但当兄弟越来越多,几十号人挤在门口等着进客厅拿东西时,场面就混乱了。这个“门厅”就是内存总线,它成了整个系统的瓶颈。CPU越多,大家排队等待访问内存的时间就越长,很多CPU就只好“摸鱼”,性能自然上不去。这种所有CPU访问内存速度都一样的架构,也叫UMA(一致内存访问)。
为了解决这个扩展性难题,工程师们想出了新办法:NUMA(非一致内存访问)。这个设计思路很巧妙,它不再搞“大锅饭”,而是把大家庭分成几个小家庭(节点)。每个小家庭有自己的房子(CPU模块)和自家的小仓库(本地内存)。小家庭内部成员(CPU)访问自家仓库,速度飞快。但如果需要去隔壁家借点东西(访问远端内存),那就得走一段路,速度自然就慢了。
我第一次在真实的生产环境接触到NUMA架构时,就被它的硬件设计震撼到了。那是一台搭载了四颗英特尔至强处理器的服务器,用lscpu命令一看,系统清晰地报告了4个NUMA节点。每个节点有自己的一批CPU核心和一大块物理内存。当我运行一个内存密集型应用,并且没有做任何绑核操作时,用numastat监控发现,大量的内存访问都跨节点了,应用延迟明显增加。这让我深刻体会到,在NUMA世界里,“数据离计算越近,速度就越快” 这条法则有多么重要。
所以,现代的多路服务器(比如双路、四路甚至八路CPU服务器)几乎都是NUMA架构。它解决了扩展性问题,能支持上百个CPU核心,但也把内存访问的复杂性抛给了软件和系统管理员。如果你不了解NUMA,只是简单地把程序扔上去跑,很可能就会掉进“跨节点访问”的性能大坑里,让昂贵的硬件发挥不出应有的实力。
2. 洞察你的系统:NUMA拓扑探测全攻略
在动手调优之前,我们得先当个“侦探”,把服务器的NUMA老底摸清楚。Linux提供了一套非常强大的工具,让我们能看清CPU、内存和节点之间的亲疏关系。
最直接了当的命令就是 numactl --hardware。我习惯在接手任何一台新服务器时,首先跑一下这个命令。它的输出信息量很大,我们来拆解一下:
$ numactl --hardware
available: 2 nodes (0-1) # 系统有2个NUMA节点,编号0和1
node 0 cpus: 0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 # 节点0包含的CPU核心
node 0 size: 64337 MB # 节点0的本地内存大小,约64GB
node 0 free: 1263 MB # 节点0的剩余内存,注意,只有约1.2GB空闲!
node 1 cpus: 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 # 节点1包含的CPU核心
node 1 size: 64509 MB # 节点1的本地内存大小,约64GB
node 1 free: 30530 MB # 节点1的剩余内存,约30GB空闲,非常充裕
node distances: # 节点间的“距离”,代表访问延迟的相对成本
node 0 1
0: 10 21
1: 21 10
看到这里,问题已经初现端倪。节点0的内存几乎快用满了(只剩1.2G),而节点1还非常空闲(30G)。如果此时一个程序在节点0的CPU(比如CPU 0)上运行,并申请2GB内存,按照默认策略,它会在本地节点0分配。但节点0根本拿不出这么多,系统可能不会智能地去节点1分配,而是可能直接触发Swap(使用磁盘交换分区),性能就会遭遇断崖式下跌。这就是著名的 “Swap Insanity” 现象,也是NUMA环境下最常见的一个坑。
另一个我常用的全能侦探是 lscpu。它能给出更全局的CPU架构视野:
$ lscpu
Architecture: x86_64
CPU(s): 32 # 逻辑CPU总数为32
Thread(s) per core: 1 # 每个核心1个线程(未开启超线程)
Core(s) per socket: 16 # 每个物理CPU有16个核心
Socket(s): 2 # 有2个物理CPU(插座)
NUMA node(s): 2 # 对应2个NUMA节点
NUMA node0 CPU(s): 0,2,4,...,30 # 节点0的CPU列表(偶数核心)
NUMA node1 CPU(s): 1,3,5,...,31 # 节点1的CPU列表(奇数核心)
这里清晰地展示了物理拓扑:2个CPU插槽(Socket),每个插槽是一个NUMA节点,每个节点有16个物理核心。CPU编号的奇偶性分布是常见模式,有助于我们理解核心的物理归属。
除了这些,numastat 是监控NUMA运行时状态的神器。它不像上面两个是静态拓扑,而是动态显示内存分配的成功与失败。
$ numastat
node0 node1
numa_hit 1296554257 918018444
numa_miss 8541758 40297198
numa_foreign 40288595 8550361
interleave_hit 45651 45918
local_node 1231897031 835344122
other_node 64657226 82674322
这些指标是关键:
- numa_hit:成功在本地节点分配内存的次数,越高越好。
- numa_miss:本想本地分配,但失败后跨节点分配的次数。这个值和另一个节点的
numa_foreign相对应。 - numa_foreign:其他节点的进程来我这里分配内存的次数。
- local_node:本节点进程在本地分配的内存大小。
- other_node:本节点进程去其他节点分配的内存大小。
一个核心调优原则:我们要极力让 numa_hit 和 local_node 尽可能高,同时让 numa_miss 和 other_node 尽可能低。如果发现 numa_miss 和 numa_foreign 持续很高,那就是强烈的信号,告诉你需要介入进行绑核或调整内存策略了。
3. numactl实战:从查看、绑核到策略调整
摸清了家底,接下来就该numactl这个“管家”登场了。它不仅能看,更能干,核心功能就是控制进程在哪里运行(CPU亲和性)以及从哪里分配内存。
3.1 核心命令详解
首先,我们看看如何启动一个程序并施加控制。numactl的命令格式很直观:
numactl [选项] <要运行的程序>
最常用的几个选项包括:
--cpubind=<节点>或-C <CPU列表>:将进程绑定到特定节点的CPU上,或具体的CPU核心列表上。--membind=<节点>或-m <节点>:强制进程只从指定的节点分配内存。--interleave=<节点>或-i <节点>:使用交错(轮询)分配策略在所有指定节点上分配内存。--preferred=<节点>:优先从指定节点分配,如果失败再尝试其他节点。--physcpubind=<CPU列表>:直接绑定到物理CPU核心(更底层)。
3.2 经典场景与实战命令
假设我们面对前面那台节点0内存紧张,节点1内存宽裕的服务器。现在有两个任务:
- 一个轻量的Java服务,需要1GB内存。
- 一个重度的Python数据分析任务,需要8GB内存。
最理想的调度方案是:
- 让Java服务跑在节点0的CPU上,并使用节点0所剩不多的内存。
- 让Python任务跑在节点1的CPU上,尽情使用节点1富裕的内存。
对应的numactl命令如下:
# 启动Java服务,绑定到节点0的CPU,并从节点0分配内存
numactl --cpubind=0 --membind=0 java -Xmx1g -jar myapp.jar
# 启动Python任务,绑定到节点1的CPU,并从节点1分配内存
numactl --cpubind=1 --membind=1 python data_analysis.py
这样,两个进程各取所需,互不干扰,完美避免了跨节点访问和Swap风险。
3.3 处理已运行进程:taskset与numactl联用
很多时候,进程已经跑起来了,我们才发现需要优化。这时可以用taskset命令来调整其CPU亲和性。taskset是更基础的CPU绑定工具,它不关心NUMA节点,只认CPU编号。
首先,用ps或top找到进程的PID(比如12345)。然后,查看它当前跑在哪些CPU上:
taskset -pc 12345
假设输出是 pid 12345‘s current affinity list: 0-31,表示它可以在所有32个CPU上飘移。现在我们想把它绑定到节点1的核心上(即奇数核心1,3,…,31):
taskset -pc 1,3,5,7,9,11,13,15,17,19,21,23,25,27,29,31 12345
但taskset只解决了CPU绑定的问题,内存分配策略可能还是默认的。对于已经运行的进程,要改变其内存分配策略比较困难,通常建议重启并用numactl重新启动。对于像数据库、JVM这种长生命周期进程,一定要在启动时就规划好NUMA策略。
3.4 特殊策略:交错分配(interleave)的妙用
有些应用,特别是像Memcached、Redis这类内存缓存,或者像MongoDB早期版本,它们自身没有NUMA感知,但会申请一大块连续内存。如果默认策略运行,它们的内存可能会全部落在启动时所在的节点,导致该节点内存爆满而其他节点空闲,同样引发Swap。
对于这类应用,--interleave=all 策略是一剂良药。它让内存分配在所有NUMA节点上“轮询”进行,相当于把内存负载均匀打散到各个节点。
# MongoDB官方推荐的使用方式
numactl --interleave=all mongod --config /etc/mongod.conf
# 同样适用于其他内存密集型且无NUMA感知的应用
numactl --interleave=all ./my_big_memory_app
实测下来,对于不适合绑定的单一、大口内存应用,交错策略能非常有效地提升整体内存带宽利用率,避免单点内存溢出,性能提升非常显著。
4. 内核参数与高级调优:让系统更懂NUMA
除了用户空间的numactl,Linux内核也提供了一些影响NUMA行为的参数,深入理解它们能让我们进行更精细的调控。
4.1 zone_reclaim_mode:内存不足时,回收还是远征?
这个参数控制当一个NUMA节点内存不足时的行为。它有三个可选值(0,1,3,5等,常见是0和1):
vm.zone_reclaim_mode = 0:默认值或设为0。当本地节点内存不足时,系统会倾向于从其他空闲节点分配内存(“远征”)。这可以避免本地节点频繁回收缓存,但会增加远程访问延迟。vm.zone_reclaim_mode = 1:设置为1。当本地节点内存不足时,系统会倾向于回收本地节点的页面缓存(Page Cache)来满足分配(“就地回收”)。这保持了内存的本地性,对性能敏感型应用有益,但可能会因为回收缓存而影响其他进程的I/O性能。
怎么选? 我的经验是:如果你的应用是计算密集型,对内存延迟极度敏感(比如高频交易、科学计算),并且你确信已经通过numactl做好了绑核,那么可以尝试设置为1,强制保持本地性。对于通用负载或数据库,保持默认的0通常是更安全的选择,因为它能减少因回收缓存带来的性能抖动。你可以通过以下命令动态修改并持久化:
# 动态修改
echo 0 > /proc/sys/vm/zone_reclaim_mode
# 或
sysctl -w vm.zone_reclaim_mode=0
# 持久化到配置文件
echo "vm.zone_reclaim_mode = 0" >> /etc/sysctl.conf
sysctl -p
4.2 自动NUMA平衡:内核的“自动驾驶”模式
现代Linux内核(例如RHEL/CentOS 7+, Ubuntu 16.04+)包含了一个叫做自动NUMA平衡的功能。它内核线程会周期性地检查进程的内存访问模式,如果发现某个进程大量访问另一个节点的内存,它可能会尝试将进程迁移到那个节点,或者将内存页面迁移到进程所在的节点。
你可以检查它是否启用:
cat /sys/kernel/debug/sched/numa_balancing
如果输出是1,则表示启用。
对于已经做了精细手工绑定的环境,自动NUMA平衡可能会带来不必要的开销和干扰(比如它尝试迁移的抖动)。此时可以考虑关闭它:
# 动态关闭
echo 0 > /sys/kernel/debug/sched/numa_balancing
# 或通过sysctl
sysctl -w kernel.numa_balancing=0
# 通过内核启动参数永久关闭(需谨慎,并了解影响)
# 在GRUB配置中添加 numa_balancing=disable
我的建议是,对于性能稳定、调优明确的生产环境,特别是HPC(高性能计算)或已经做了应用层绑定的场景,可以关闭自动平衡以减少开销。对于动态多变、负载难以预测的通用服务器,保持开启让内核去自动优化,可能是个更省心的选择。
4.3 与numad的配合:半自动化的NUMA管理
还有一个叫numad的用户空间守护进程,它可以看做是自动NUMA平衡的“增强版”或“前辈”。numad会监控系统的NUMA状态,并给出进程绑定的建议,甚至可以自动进行初始放置。它比纯粹的内核自动平衡更可预测和可配置。
安装和启用numad:
# 在RHEL/CentOS上
yum install numad
systemctl start numad
systemctl enable numad
numad适合那些你不愿做精细手工绑定,但又希望获得比完全默认行为更好性能的场景。它会尝试将进程和其内存保持在一起,并在节点间平衡负载。
5. 避坑指南:典型应用场景与故障排查
纸上得来终觉浅,绝知此事要躬行。最后这部分,我结合自己踩过的坑,分享几个典型场景和故障排查思路。
5.1 数据库(MySQL/PostgreSQL)的NUMA调优
数据库是NUMA调优的重灾区。以MySQL为例,它的innodb_buffer_pool通常配置得很大。如果NUMA策略不当,这个巨大的缓冲池可能全部分配在同一个节点。
推荐做法:
- 首选交错分配:对于没有做特殊NUMA优化的MySQL版本,使用
numactl --interleave=all启动是最简单有效的方法。numactl --interleave=all mysqld_safe ... - 精细绑定(进阶):如果服务器资源充足,可以考虑将数据库实例绑定到一组专用的CPU和内存节点上,避免与其他进程争抢。甚至可以为不同的数据库线程(如读写线程、日志线程)绑定到不同的核心。
- 关闭透明大页(THP):在NUMA系统上,透明大页经常与NUMA策略冲突,导致性能下降和延迟尖峰。数据库厂商通常都推荐关闭THP。
echo never > /sys/kernel/mm/transparent_hugepage/enabled echo never > /sys/kernel/mm/transparent_hugepage/defrag
5.2 Java应用(JVM)的注意事项
JVM本身对NUMA有一定感知,特别是G1垃圾收集器在-XX:+UseNUMA参数开启时,会尝试在分配内存时考虑NUMA局部性。但这并不意味着你可以高枕无忧。
关键点:
- JVM的启动位置:JVM进程本身在哪个节点启动,会影响其初始内存分配。因此,最好用
numactl来启动整个Java进程。 - 堆内存与NUMA:即使开了
-XX:+UseNUMA,JVM的堆也是一整块虚拟内存。底层物理页的分配是否符合NUMA策略,依赖于操作系统。结合numactl --membind使用更可靠。 - GC线程绑定:JVM的垃圾收集器是多线程的。你可以使用
-XX:ParallelGCThreads=N和-XX:ConcGCThreads=N来控制GC线程数,并考虑通过taskset或numactl将整个JVM绑定到一组核心上,以减少GC线程跨节点同步的开销。
5.3 性能骤降与Swap Insanity排查
当你发现服务器性能无缘无故变慢,top显示某个进程CPU等待(wa)很高,或者iostat显示磁盘IO繁忙,但内存似乎还没用完,就要警惕Swap Insanity。
排查步骤:
- 检查Swap使用:
free -h或swapon -s。 - 检查各节点内存余量:
numactl --hardware,看是否某个节点内存耗尽。 - 检查进程内存位置:使用
numastat -p <PID>查看特定进程的local_node和other_node分配情况。如果other_node比例异常高,说明它在远程分配。 - 检查NUMA统计:
numastat看全局的numa_miss和numa_foreign是否持续走高。 - 解决方案:根据排查结果,重启问题进程并施加正确的
numactl绑定策略,或者调整内核参数zone_reclaim_mode。
5.4 虚拟化环境(KVM)下的NUMA透传
在虚拟化环境中,NUMA调优同样重要,而且多了一层。对于性能要求极高的虚拟机(VM),你需要让Guest OS感知到真实的NUMA拓扑。
在KVM中,可以通过libvirt XML配置为VM定义虚拟NUMA拓扑,并做好vCPU与物理CPU的固定(pinning),以及内存的节点绑定。这能确保虚拟机内的进程调度和内存分配,最终映射到宿主机的物理NUMA策略上,避免跨节点访问带来的巨大性能损失。这部分配置稍复杂,但对于运行数据库或高性能计算任务的虚拟机至关重要。
走过这些坑之后,我最大的体会是:NUMA调优没有银弹,它是一项结合了硬件拓扑、应用特性和系统知识的细致工作。最好的开始,就是养成习惯,在新服务器上首先运行numactl --hardware和lscpu,画一张简单的拓扑图贴在显示器旁。然后,对于关键的生产服务,在启动脚本中深思熟虑地加入numactl命令。持续的监控numastat的输出,就像定期查看服务器的健康报表一样,能让你在性能问题萌芽之初就发现并解决它。当你的应用数据乖乖地待在计算核心的身边,整台服务器行云流水般地工作时,你会觉得这一切的折腾都是值得的。
602



被折叠的 条评论
为什么被折叠?



