内存是会用完的.用完之前,内核有三级防线:先丢缓存,再压缩/换出,最后才动刀 OOM.这篇在板上把防线逐级压穿 — 先看 kswapd 在压力下的工作痕迹,再一路吃满内存,把 OOM 判决书原文完整抓下来逐行解读.顺带两个"没编"的如实记录:无 swap,无 MGLRU.
这篇回答几件事:
- 内存紧张时内核按什么顺序回收什么
- kswapd 和 direct reclaim 两条回收路怎么分工
- OOM 打分怎么算,判决书怎么读
- swap 缺席对整个链条的影响
先立防线.内存水位三条线:min,low,high.空闲高于 high,岁月静好;跌破 low,唤醒本 node 的 kswapd,它在后台慢慢扫,目标补回 high;分配路径上 GFP_KERNEL 拿不到页时还有 direct reclaim — 在分配现场同步回收,等不起的直接 reclaim 也失败,才走 OOM.两路回收扫描的都是 LRU 链:文件页和匿名页各一对 active/inactive 链(这套双链结构在本内核还是经典版,MGLRU 没编,新式的多代分代结构只能下次在编了 LRU_GEN 的内核上演).文件干净页直接丢(盘上有原件),脏页先回写再丢;匿名页无 swap 可去 — 这是本板的死穴,稍后见血.
压力实验开场.oomeat 程序循环 malloc 加 memset,真吃真占.压力爬升期 /proc/vmstat 的变化:
kswapd pgscan: 0 -> 46221
kswapd 扫了四万六千页 — 它在后台拼命找可回收页,把能丢的缓存全丢了,缓存耗尽后匿名页无路可退(没有 swap,不能压缩 — zram 也没配),水位再也补不回来.这个过程系统其实已经"卡"过一阵:每个大分配都进 direct reclaim,同步回收扫不到东西又返回重试,用户态感受就是忽然一切变慢.最后 oomeat 的匿名内存推到 1.9GB,防线穿透,判决下达.dmesg 的原文值得整段读:
[ pid ] uid pid total-rss ...
[ 5735] 0 5735 5365 ... sshd-session
[ 5763] 0 5763 492105 ... oomeat <- 断层第一
oom-kill:constraint=CONSTRAINT_NONE,...,global_oom,task=oomeat,pid=5763
Out of memory: Killed process 5763 (oomeat) total-vm:1968420kB,
anon-rss:1930496kB, file-rss:224kB, pgtables:3820kB oom_score_adj:0
打分表里 oomeat 的 rss 是四十九万分,第二名 sshd 五千分,百倍断层,毫无悬念.OOM 打分的原则:占得越多越该死,加上一点修正(root 轻微减分,运行时间长的减分 — 给长命服务一点豁免,刚 fork 的不加分 — 防止刷分).选完人发 SIGKILL,给一点时间收尸(释放内存),不行补刀.判决行里每一项都有用:total-vm 和 anon-rss 的差说明虚拟占得多实占少,file-rss 那点缓存,pgtables 记着页表本身也吃了 3.8MB — 杀一个进程连它的页表带管理结构一起回收.处决后 MemAvailable 瞬间回到 1.9GB,系统满血,ssh 会话全程健在 — OOM 不是死机,是外科手术,这个实验本身就是证明.
两个未编项如实交代.无 swap:回收三选项"丢文件页,换出匿名页,压缩匿名页"里后两个全灭,压力一来直接从"丢缓存"跳到"杀人",中间的缓冲带不存在.桌上型设备常态如此,服务器加 swap 或 zram 不是为了"慢速内存",是为了这条缓冲带.无 MGLRU:多代 LRU 用分代代替精细的 active/inactive 换 promotion,扫描量大幅下降,Chrome 类"海量冷页"负载收益巨大,这几年的默认新装机内核基本都开 — 本板没编,经典双链照样工作,只是压力下 kswapd 的扫描量会更大(四万六千页就是它的劳动强度).
回收和前面几篇的闭环:7.7 篇说 page cache 是最体面的空闲内存去处,这里看到它的另一面 — 也是第一个被牺牲的;7.2 篇 GFP_KERNEL 的"不死心"语义,落实为分配路径上的 direct reclaim 循环;7.5 篇的 rmap,是回收匿名页前拆掉所有映射的执行机构.内存子系统至此收拢成一张网,每一篇都是一根线.
最后留几个容易忽略的细节:
- oom_score_adj 从 -1000 到 +1000,给关键守护进程写 -1000 等于免死金牌,给批处理任务写 +500 是"要死先死我",systemd 的 OOMScoreAdjust 就是这个的声明式用法.
- cgroup v2 的 memory.max 触发的是同一套回收,但 OOM 限定在 cgroup 内 — "组内处决"不伤组外,容器内存限制的最后防线.
- earlykill 模式(oom_score_adj 或 prctl(PR_SET_OOM...))让进程在 OOM 启动时提前收到通知,数据库用它抢在死前 flush.
- kswapd 每 node 一个,名字就叫 kswapd0,压力期 ps 看它的 CPU 时间疯涨,是最直观的"内存亚健康"指征.
- oom_dmesg 里的CONSTRAINT_NONE 表示全局 OOM;还有 CONSTRAINT_MEMCG(cgroup 上限)等类型,排查时先看 constraint 再找凶.
- 内存压缩(zswap/zram)换的是 CPU:压缩一页换一次 IO,算力富裕内存紧张的板子是标准配置,RK3399 这种场景其实很适合 zram,值得自己编一个玩.
- 触发 OOM 的进程不一定是被杀的进程 — 分配触发者只负责点火,谁死看打分,别看着日志喊冤.