Java+YOLO推理延迟从500ms降至20ms：JDK 26虚拟线程与Vector API实战

Ne0inhk

— 2 min read
Java+YOLO推理延迟从500ms降至20ms：JDK 26虚拟线程与Vector API实战

我做工业自动化领域的Java上位机+YOLO质检快5年了，前两年用JDK11+ONNX Runtime CPU版，单张640x640的汽车零件图片推理+预处理+后处理，总延迟稳定在500ms左右——去年底客户提了新要求：流水线节拍从2秒/件降到1秒/件，质检环节总延迟必须控制在30ms以内，这意味着纯推理得压到20ms左右，当时差点以为要换C++重写整个系统。

后来抱着试试的心态，升级到了JDK26，用虚拟线程优化多帧批量检测的调度，用Vector API重写了YOLO的Letterbox缩放和归一化预处理，再配合ONNX Runtime 1.20.0的最新优化，居然真的把总延迟压到了28ms，纯推理稳定在19-21ms，完全满足客户的要求，连C++的备选方案都不用提了。

今天就把这套完整的优化方案分享出来，从JDK26新特性的原理，到核心代码的重写，再到真实工业场景的落地数据对比，全程都是我踩过坑、验证过的成熟方案，资深开发者可以直接复用其中的Vector API预处理、虚拟线程批量调度逻辑，新手也可以先了解JDK26的性能潜力。

先说明：本文以YOLOv26s ONNX模型为核心，推理引擎用ONNX Runtime Java 1.20.0 CPU版（客户的工控机是i5-14500F+16G DDR5，没有GPU预算），优化重点是预处理（占原总延迟的60%） 和多帧批量检测的调度（占原批量检测总延迟的30%），纯推理的优化主要靠ONNX Runtime的升级。

<

Read more

Re：从零开始的 C++ 进阶篇（三）彻底搞懂 C++ 多态：虚函数、虚表与动态绑定的底层原理

Re：从零开始的 C++ 进阶篇（三）彻底搞懂 C++ 多态：虚函数、虚表与动态绑定的底层原理

◆ 博主名称： 晓此方-ZEEKLOG博客大家好，欢迎来到晓此方的博客。⭐️C++系列个人专栏： 主题曲:C++程序设计⭐️ 踏破千山志未空，拨开云雾见晴虹。 人生何必叹萧瑟，心在凌霄第一峰 0.1概要&序論 这里是此方，好久不见。 多态是 C++ 中最核心而且是最难理解的机制之一。它不仅是语法层面的特性，更牵涉到 C++ 的对象模型、对象内存布局以及多态机制的底层实现原理。本文将从底层原理出发，系统全面解析多态的真实运作机制。这里是「此方」。让我们现在开始吧！ 一，多态的概念 通俗来说，多态就是多种形态。多态分为编译时多态（静态多态） 和 运行时多态（动态多态），这里我们重点讲运行时多态。 1.1编译时多态（静态多态） 编译时多态主要就是我们前面讲的 函数重载和函数模板。 它们通过传递不同类型的参数就可以调用不同的函数，通过参数不同达到多种形态。之所以叫编译时多态，是因为实参传递给形参的参数匹配是在编译时完成的，

By Ne0inhk
C++微服务 UserServer 设计与实现

C++微服务 UserServer 设计与实现

实战 C++ 微服务：IM 项目用户服务（UserServer）设计与落地全记录 做 IM 项目时，用户服务（UserServer）是整个系统的基石 —— 所有业务（好友、消息、朋友圈）都依赖用户认证和基础信息。这篇文章就从实战角度，聊聊我是怎么设计、实现 UserServer 的，包括核心功能落地、依赖替换（比如用模拟短信服务替代真实平台）、以及那些踩过的坑，希望能给做 C++ 后端的朋友一些参考。 一、先搞懂：UserServer 在 IM 系统里的角色 在之前的 IM 微服务架构里，UserServer 承担 3 个核心职责： 1. 用户认证：注册（用户名 / 手机号）、登录（用户名密码

By Ne0inhk
C++备忘录模式：优雅实现对象状态保存与恢复

C++备忘录模式：优雅实现对象状态保存与恢复

C++备忘录模式：优雅实现对象状态保存与恢复 * 引言 * 备忘录模式概述 * 核心角色解析 * 1. Originator(发起人) * 2. Memento(备忘录) * 3. Caretaker(管理者) * 设计原则体现 * C++实现示例 * 典型应用场景 * 高级特性与优化 * 1. 增量备忘录 * 2. 序列化支持 * 3. 线程安全考虑 * 与其他模式的协作 * 注意事项 * 总结 引言 在软件开发中，我们经常需要实现撤销操作、历史记录或状态回滚等功能。备忘录模式(Memento Pattern)正是为解决这类问题而生的设计模式。本文将深入探讨备忘录模式在C++中的实现与应用，帮助开发者掌握这一强大的设计工具。 备忘录模式概述 备忘录模式是一种行为设计模式，它允许在不破坏封装性的前提下捕获并外部化一个对象的内部状态，以便以后可以将该对象恢复到原先保存的状态【1†source】。该模式特别适合需要实现撤销操作、历史记录或快照功能的场景【1†source】

By Ne0inhk
Java Map和Set

Java Map和Set

文章目录 * Map和Set * 二叉搜索树 * 查找 * 分析： * 插入 * 删除 * Map * Map的使用 * Set * Set的使用 * 哈希表 * 负载因子的调节（重点） * 闭散列 * 开散列 * HashMap和HashSet * 面试题 * HashMap的源码 Map和Set 1. map和set用于搜索 2. 搜索树，二叉搜索树 -> AVL树 -> 红黑树 3. AVL树：高度平衡的二叉搜索树 4. TreeMap和TreeSet底层是红黑树，每次存储元素都得进行大小比较 二叉搜索树 1. 二叉搜索树：如果左子树不为空，那么左子树所有节点都小于根节点，如果右子树不为空，那么右子树所有节点都大于根节点，它的左右子树都是二叉搜索树 2. 二叉搜索树的中序遍历是有序的 查找 1. 比key大往右找，

By Ne0inhk