一次线上 OOM 问题的排查与复盘

Tomcat 文档里也提到了 socket 读取缓冲区的大小控制：

<attribute name="socket.appReadBufSize" required="false">
    <p>(int)Each connection that is opened up in Tomcat get associated with
    a read ByteBuffer. This attribute controls the size of this buffer. By
    default this read buffer is sized at <code>8192</code> bytes. For lower
    concurrency, you can increase this to buffer more data. For an extreme
    amount of keep alive connections, decrease this number or increase your
    heap size.</p>
</attribute>

这也就是为什么之前看到大量的 buffer 是 10008192 字节的（MaxHttpHeaderSize + ReadBuffer）。至于为什么分配的 buffer 需要这么大，还有一批内容是空的 10000000 字节的 buffer，应该是 output buffer，源码可以印证这点：

至于第三个问题，显然我们的应用程序是配置过最大线程的。查看配置后发现确实配置为了 2000，有点大。否则也不会有 401 个工作线程（默认 150）。如果当时并发并不大，但线程数却很多，一种可能是请求很慢。比如 TPS 是 100，但是平均 RT 是 4s 的话，就需要 400 线程了。这个问题的答案还是可以通过 MAT 去找，随便看几个线程可以发现很多线程都在等待一个外部服务的返回，这说明外部服务比较慢。去搜索当时的程序日志可以发现有很多 feign.RetryableException: Read timed out executing 的日志。看来得赶紧优化下游服务了，同时 Feign 的 timeout 也需要重新设置一下，别被外部服务拖死了。