Java基础、中级、高级、架构面试资料

51% 堆占用,Spring Boot 容器却遭遇半空堆 OOMKilled

JAVA herman 16浏览
公告:“业余草”微信公众号 AI 中转站提供免费体验,点击链接 https://unity2.ai/register?ref=3XTnndN2 进行访问,支持 Claude、ChatGPT、Gemini 等最新模型!关注业余草微信公众号,添加作者微信:xttblog2!
本博客日IP超过2000,PV 3000 左右,急需赞助商。
极客时间所有课程通过我的二维码购买后返现24元微信红包,请加博主新的微信号:xttblog2,之前的微信号好友位已满,备注:返现
受密码保护的文章请关注“业余草”公众号,回复关键字“0”获得密码
所有面试题(java、前端、数据库、springboot等)一网打尽,请关注文末小程序
视频教程免费领
【腾讯云】1核2G5M轻量应用服务器50元首年,高性价比,助您轻松上云

Java 最近发布有些频繁呀,今天晚上 Oracle 计划启动第四季度关键安全补丁发布,也就是说又要推进关键安全更新(CPU / CSPU)了。

这类更新一般都是小版本更新,但对于外企或有海外业务的公司来说,可能又要迎来一波 JDK 升级更新了。

最近 HN 上还有一个热门话题,那就是 Spring Boot 容器遭遇了半空堆(51% 堆占用)OOMKilled 问题,具体是因为 cgroup 内存边界与 JVM 默认策略碰撞产生的。这位海外大佬的实测数据很详细,结论很靠谱,热度也很高,所以接下来我们一起来一场深度复盘吧。

OOMKilled 现象

工程师 Andrii Zhukovskyi 的监控面板显示堆使用率 51%,应用日志干干净净,Pod 却突然退出,状态 OOMKilled,退出码 137。

原本以为是灵异事件,而这也是 Java 应用容器化最经典的翻车姿势之一。Andrii Zhukovskyi 通过深入分析,最终发现了问题所在,并发表了一份实测报告《Why a Java pod gets OOMKilled in Kubernetes with a half-empty heap》,在社区里引发了大量共鸣与讨论。

事故现场

Zhukovskyi 在 kind 集群上搭了一个专门复现问题的小 Spring Boot 服务。堆内固定持有 260Mi 对象,再通过 NIO 客户端持有 140Mi 直接缓冲区,这是 Netty/gRPC 类应用的标准画像。

修复前后的对比结果如下表格所示。

修复前修复后
内存限额512Mi832Mi
堆设置-Xmx450m按”堆 + 非堆”反推
同等压测下的结果OOMKilled,死前最后一条日志堆占用 51%0 次重启,峰值 670Mi

可以看到,堆明明还有近一半的余量,Spring Boot 应用为什么会被杀掉?

通过网友们的讨论和作者的实测复现,发现由于 cgroup 的限额管的是整个容器,而 -Xmx 只管堆这一栏。JVM 在堆之外还需要下列这些内存开销。

  • Metaspace:类元数据,Spring Boot 应用加载的类极多,这块不小;
  • 线程栈:每个线程一份独立栈;
  • Code Cache:JIT 编译产出的机器码;
  • 直接缓冲区:NIO / Netty 客户端服务端的堆外内存;
  • GC 自身结构:卡表、记忆集等簿记开销。

由于上面这些统统不计入 -Xmx。堆 260Mi + 非堆约 350Mi,总物理内存冲到 610Mi,直接击穿 512Mi 硬限额。JVM 全程浑然不觉,它在自己认定的预算内正常扩张,直到内核 OOM Killer 出面终结进程。日志戛然而止,因为 JVM 根本没机会写下任何 OutOfMemoryError。

社区里类似的案例一抓一大把。新加坡资管平台 Endowus 复盘过自己三十多个微服务的同类事故,根因只有一句话。一刀切地把容器内存的 80% 划给 JVM 堆,却没有为非堆内存留出足够空间,解法同样是按各服务画像精细化限额、压缩堆占比给堆外腾地方。

不同硬件的三个默认行为

Zhukovskyi 为了让自己的工具规则与 JVM 真实行为一致,用 Temurin 11/17/21 在 Docker 里实测了不同限额下的堆大小、CPU 数和 GC 选择。三个结果非常容易猜错,具体如下表格所示。

容器规格你可能以为JVM 实际行为
2 CPU / 1Gi有俩核,好歹用个并发 GC 吧用 SerialGC,G1 大约还需要 1792Mi 内存才够格被选
256Mi,不设堆参数堆 = 25% × 256 = 64M126M,小限额有下限保护(MinRAMPercentage)
1Gi + -XX:-UseContainerSupport跟开容器感知差不多按宿主机内存算堆

第一个最要命,1Gi 的小容器会“悄悄”退化到二十多年前风格的单线程 SerialGC。没有人选过它,应用变慢、CPU 利用率看起来很低,而线索只是 pod spec 里的一行配置。顺带提一下,不设 -Xmx 也不设 MaxRAMPercentage 时,HotSpot 默认只把限额的 25% 给堆;1Gi 容器里 256M 堆,剩下的内存白白闲置;OpenJ9 则是 512M,两家行为并不一致。

内存配比计算方法

报告给出的方法论很朴素,先求和,再设限额,最后把堆表达成百分比,步骤如下所示。

  1. 从应用真实需要的堆出发(有历史用量数据就用数据);
  2. 加上非堆:Spring Boot 服务约 350Mi 是典型值,线程多或直接缓冲区大的服务更多;
  3. 限额 = 堆 + 非堆 + 余量;
  4. 堆用 MaxRAMPercentage 表达,这样将来有人改 pod 限额时,堆自动等比跟随。

注意 80% 以上的 MaxRAMPercentage 基本必然翻车;而且非堆不会随限额缩小而缩小,75% 在 4Gi 容器里很舒适,在 512Mi 容器里就是自杀。社区流传的实用公式也印证了这一点,limit = Xmx + 512Mi + Xmx × 10%;还有人简化为 -Xmx 之外至少再留 256~512Mi。

配套还要检查 manifest 里的几件事,内存 limit 必须存在(没有它 JVM 会按整台节点算)、CPU limit 低于 2 核就显式指定 GC、ActiveProcessorCount 不得超过 CPU 限额、配 startup probe(JVM 启动慢,liveness 探针初始延迟太短会把还在启动的应用直接杀掉)、request 与 limit 相等以保证调度到位。

先分清真 OOM 还是假 OOM

如果发现应用被 OOMKilled 了,通过简短的 30 秒就可以定性,方法步骤如下。

kubectl describe pod <pod> | grep -A6 "Last State"
# Reason: OOMKilled / Exit Code: 137  → 内核杀的,去查总内存
# 日志里 Exit 1 + OutOfMemoryError   → JVM 堆真满了,去查代码和堆转储

137 的死因现场通常什么都不会留下,所以预防措施包括挂载持久卷、配置 -XX:+HeapDumpOnOutOfMemoryError,并在诊断期开启 NMT 拆非堆账单,即 -XX:NativeMemoryTracking=summary + jcmd <pid> VM.native_memory summary。监控上盯 container_memory_working_set_bytes 与 limit 的比值,逼近 80% 就该预警,而不是等内核出手。

Zhukovskyi 还把这套算术做成了开源工具 jvm-fit(Apache 2.0),可以直接扫描 K8s manifest、Helm chart 或 Kustomize 覆盖层,把 pod spec 和 JVM 参数放在一起核对,自动打印内存预算并按 12 条规则给出修复建议,还能输出 SARIF 接进 CI,“改限额忘改 Xmx” 这类漂移从此在部署前就能被拦下。

最后

“半空堆被杀”从来不是玄学,只是两套账本没对上。cgroup 记的是进程总账,-Xmx 记的只是一栏明细。

总之,记住下面三句话。

  1. 退出码 137 先看总内存,别在 Java 日志里找凶手;
  2. 限额按“堆 + 非堆 + 余量”求和得出,堆用 MaxRAMPercentage 跟随限额;
  3. 小容器顺手检查 GC,你大概率没选 SerialGC,是 JVM 替你“选”的。

说实话,OOMKilled 很多老运维都不一定能把“账”对上!

业余草公众号

最后,欢迎关注我的个人微信公众号:业余草(yyucao)!可加作者微信号:xttblog2。备注:“1”,添加博主微信拉你进微信群。备注错误不会同意好友申请。再次感谢您的关注!后续有精彩内容会第一时间发给您!原创文章投稿请发送至532009913@qq.com邮箱。商务合作也可添加作者微信进行联系!

本文原文出处:业余草: » 51% 堆占用,Spring Boot 容器却遭遇半空堆 OOMKilled