ORIN+FPGA高速采集AI智能处理板

ORIN+FPGA高速采集AI智能处理板

一、设计初衷

为什么要设计一款ORIN+FPGA的板卡呢,我们在跟客户交流的过程中发现,客户的需求是多方面的,痛点和烦恼也是各种各样。略举几个例子。

案例1:在钢铁厂做机器视觉的客户反映,基于PC机加显卡的检测方案,不仅成本高,体积大,关键是那种场合温度比较高,有时会出现死机的现象,虽不频繁,一个月出现一两次。很堵心。

案例2:在矿山做皮带撕裂检测,空间很狭窄,放一台PC机很困难,放一台小的没法插显卡,没显卡GPU加速,算力不足,检测算法只能简化,效果不理想,另外关键是那种场合温度湿度都很大,尤其是灰尘,导致设备经常出问题,出问题最多的就是内存和显卡,千奇百怪,苦不堪言。

案例3:无人机应用,我问客户,为什么不用RK3588+FPGA的方案,客户说,RK3588的6T的算力太低了,相对与Coaxpress接口,6500万像素的相机,RK3588+FPGA的方案,是既采集不进去,算力也不够,还是Orin nx 16G 157T的算力,再加上Nvidia cuda良好的生态,更有把握。

案例4:跟几个做直播,导播录播的客户聊,他们反映,基于PC机的方案,需要插好多种卡,比如SDI采集卡,HDMI采集卡等,体积庞大,重量很重,太不便于携带,还容易死机,越是直播的时候,越紧张越死机,提心吊胆的耽误大事。而基于嵌入式的方案,则算力不够,功能太单一,连起码的4K @60帧 12G SDI 采集很难做到,更别提H.265编码了,根本无法与高档摄像机连接。

案例5:做软件无线电SDR的朋友,则跟我反映,现在的SDR方面的板卡,AI处理能力普遍欠缺,而国外的技术,已到达了智能频谱感知,构建“射频感知-数据处理-AI决策”的闭环。相比传统SDR的离散架构,其统一内存设计将数据交互时延,使AI模型能实时调用射频数据,实现从“被动响应”到“主动预测”的质变。 对科研人员与企业而言,需要构建一个单板就可以实现SDR+AI 的系统,其核心价值在于“一站式验证”: 硬件集成:覆盖从射频(支持多频段)、FPGA(实时处理)到AI算力(Jetson Orin)的全链条,无需担心组件兼容性问题, 软件生态:支持PyTorch、TensorFlow等主流AI框架,与GNURadio等SDR工具无缝对接,Python接口简化二次开发,使算法从设计到验证的周期大幅缩短。

经过了一年多的酝酿,跟很多客户进行了沟通,我们开发了一款ORIN+FPGA的板卡,配合各种FMC接口板,满足多个应用场景的需求。FMC接口板只是应用了FMC连接器,并不是标准的FMC板卡的大小和形状,接口板的大小和形状配合ORIN+FPGA板的大小和形状。在这里解释一下,我们在设计之初,打算采用核心板+底板的传统方式,但发觉这种方式需要客户做的事情太多,需要做一个底板,需要做相关的底层驱动。所以我们最终考虑决定采用主板+接口板的形式,并还可以为客户定制接口板,写底层软件,可以使客户聚集精力,仅仅开发自己有创新的部分技术,极大的减少了客户的工作量,减少了产品研发的风险,加快了产品上市时间。我们初步考虑了,下述应用场景:

1、通过FPGA的FMC接口,做Cameralink接口板,Coaxpress接口板,10G万兆网接口板,连接面阵和线阵相机,把orin应用到机器视觉领域。特别适合空间有限,潮湿,粉尘,高温高寒,振动,复杂电磁环境等场合。

2、用FPGA的FMC接口,做12G SDI接口板和HDMI接口,把orin应用到广播视频,医疗,教育,导播直播录播领域。

3、通过FPGA的FMC接口,连接ad9361,adrv9009接口板,把orin应用到AI+软件无线电领域。

4、通过FPGA的FMC接口,做jesd204b接口板,连接高级A/D和D/A芯片。做模拟信号采集和智能处理,应用于分布式光纤信号处理和其他各种A/D和D/AD的场合。

5、通过FPGA的FMC接口, ,连接24bit高精度A/D,用于IEPE振动监测,用于大型旋转设备和风电机组运行监测。

6、机器人,无人机。

二、板卡架构

板卡采用ORIN+FPGA架构,ORIN是英伟达公司专为边缘AI和机器人设计的嵌入式芯片,采用7nm工艺,单颗算力达157TOPS,支持多传感器并行处理‌,算力功耗不同,我们这个板,可以选装

ORIN NANO 4G模块

ORIN NANO 8G模块

ORIN NX 8G模块

ORIN NX 16G模块

FPGA采用XILINX的Kintex UltraScale+系列的XCKU5P-2FFVB676I或者Xilinx Artix UltraScale+的XCAU15P-2FFVB676I,引脚兼容,只是后者可以实现PCIe Gen4 16GT/s,可以实现更快的PCIe通信速率。架构图如下:

本产品现货销售,为客户定制各种接口板,承接相关项目,如有需求,可以私信我。

三、ORIN简介

ORIN NANO:

ORIN NX:

算力:

四、FPGA简介

Kintex UltraScale+ XCKU5P-2FFVB676i FPGA和Artix UltraScale+ XCAU15P-2FFVB676i FPGA

XCKU5P-2FFVB676i

XCAU15P-2FFVB676i

System Logic Cells  

474,600

170,100

CLB Flip-Flops

433,920

155,520

CLB LUTs

216,960

77,760

Max. Distributed RAM (Mb)

6.1

2.5

Block RAM Blocks

480

144

Block RAM (Mb)

16.9

5.1

UltraRAM Blocks

64

UltraRAM (Mb)

18.0

CMTs (1 MMCM and 2 PLLs)

4

3

Max. HP I/O

208

156

Max. HD I/O

96

72

DSP Slices

1,824

576

System Monitor

1

1

GTH Transceiver 16.3 Gb/s

0

12

GTY Transceivers 32.75 Gb/s

16

Transceiver Fractional PLLs

8

6

PCIE4 (PCIe Gen3 x16)

1

PCIE4C (PCIe Gen3 x16 /

Gen4 x8)

1

100G Ethernet

1

I/O Pins

304

228

五、板卡简介

ORIN侧DisplayPort 显示接口。

ORIN侧4X USB3.0 接口。

ORIN侧 RJ45千兆网接口。

ORIN侧 USB Type-C接口。

ORIN侧 1T SSD固态盘,读取3180MB/s,写入2960MB/s。

ORIN侧 5G全网通模块和WIFI模块。

FPGA侧 2GB DDR4-2600存储器。

FPGA侧 双QSPI flash MT25QU256xxxx。

FPGA侧 单端80MHz,差分200MHz,以及SI5328B-C-GMR时钟。

板载FMC接口,10lane GTY 和54对LVDS。

板卡要求工业级芯片。结构满足抗震要求。

六、物理特性

工作温度:ORIN模块宽温度范围运作:-25°C ~ 70°C,其他部分工业级-40℃~+85℃。

工作湿度:10%~80%

供电要求

单电源供电,整板功耗:40W

电压:DC +12V,5A

纹波:≤10%

板卡尺寸;186mm x  115mm。

七、参考机箱

为了方便用户使用,为客户定制了机箱,如下图,还有一个比这个小点的,同样可以满足,板卡设计的时候,就与厂家沟通,板卡的尺寸就是按照机箱尺寸设计的。并可以根据用户的要求,随意开孔和安装散热风扇和鳍片。

八、FMC连接器相关原理图

2025-12-02

Read more

AIGC 新势力:探秘海螺 AI 与蓝耘 MaaS 平台的协同创新之旅

AIGC 新势力:探秘海螺 AI 与蓝耘 MaaS 平台的协同创新之旅

探秘海螺AI:多模态架构下的认知智能新引擎 在人工智能持续进阶的进程中,海螺AI作为一款前沿的多功能AI工具,正凭借其独特的多模态架构崭露头角。它由上海稀宇科技有限公司(MiniMax)精心打造,依托自研的万亿参数MoE大语言模型ABAB6.5以及MiniMax语音大模型,展现出非凡的技术实力与应用潜力。MiniMax的核心团队源自商汤科技等业内知名企业,在多模态大模型研发领域深耕细作,为海螺AI的诞生奠定了坚实基础。 在这里插入图片描述 一、核心模型架构剖析 (一)基础模型:abab - 6.5 海螺AI的基础模型abab - 6.5采用了创新的混合专家系统设计,借助动态路由机制,即Sparse Gating Network,可依据输入内容智能激活8 - 12个子专家模型。这些子专家模型涵盖代码专家、多语言专家、逻辑推理专家等,各司其职,协同作业。在参数规模上,abab - 6.5总参数量高达1.2万亿,同时通过巧妙的设计,将活跃参数量控制在2000亿/query,有效平衡了模型的高容量与低推理成本。在训练优化环节,

Whisper语音识别:10倍速度提升的GPU加速实战指南

Whisper语音识别:10倍速度提升的GPU加速实战指南 【免费下载链接】whisperopenai/whisper: 是一个用于实现语音识别和语音合成的 JavaScript 库。适合在需要进行语音识别和语音合成的网页中使用。特点是提供了一种简单、易用的 API,支持多种语音识别和语音合成引擎,并且能够自定义语音识别和语音合成的行为。 项目地址: https://gitcode.com/GitHub_Trending/whisp/whisper 还在为语音转文字等待太久而烦恼吗?想象一下,原本需要15分钟处理的会议录音,现在只需要90秒就能完成——这就是Whisper结合GPU加速带来的革命性体验。无论是会议纪要整理、播客内容转录,还是多语言翻译,GPU加速都能让你的工作效率实现质的飞跃。 为什么需要GPU加速? 传统CPU处理语音识别时,就像让一个人慢慢翻阅厚厚的文件,而GPU加速则是让整个图书馆的助理同时帮你查找信息。Whisper的三个核心计算阶段在GPU上都能获得显著加速: 计算阶段CPU处理时间GPU处理时间加速效果特征提取35%总时间大幅缩短最明显Tra

AIGC实战测评:蓝耘元生代通义万相2.1图生视频的完美部署~

AIGC实战测评:蓝耘元生代通义万相2.1图生视频的完美部署~

文章目录 * 👏什么是图生视频? * 👏通义万相2.1图生视频 * 👏开源仓库代码 * 👏蓝耘元生代部署通义万相2.1图生视频 * 👏平台注册 * 👏部署通义万相2.1图生视频 * 👏使用通义万相2.1图生视频 * 👏总结 👏什么是图生视频? 图生视频是一种通过图像生成技术,结合文本信息生成视频的创新方式。通过输入一张图像和相关的描述文本,系统能够根据这些输入生成一个符合描述的视频。该技术利用深度学习和计算机视觉技术,将静态图像转化为动态视频,实现视觉内容的快速生成。这种技术的应用广泛,涵盖了内容创作、影视制作、广告生成等多个领域。 👏通义万相2.1图生视频 阿里巴巴旗下“通义”品牌宣布,其AI视频生成模型“通义万相Wan”正式推出独立网站,标志着其生成式AI技术的重大进展。新网站现已开放(网址:wan.video),用户可直接登录体验“文本生成视频”和“图像生成视频”功能,无需本地部署,极大降低了使用门槛。此外,每天登录网站还可获赠积分,激励用户持续探索。 文章链接:https:

从语法纠错到项目重构:Python+Copilot 的全流程开发效率提升指南

从语法纠错到项目重构:Python+Copilot 的全流程开发效率提升指南

文章目录 * 从语法纠错到项目重构:Python+Copilot 的全流程开发效率提升指南 💻✨ * 一、语法纠错:Copilot 如何成为你的“实时校对员” ✅ * 示例 1:自动修复缩进错误 * 示例 2:括号/引号自动闭合与修复 * 示例 3:类型注解缺失的智能补充 * 实战技巧:结合 Linter 使用 Copilot * 二、代码生成:从单行补全到完整函数实现 🧠⚡ * 示例 4:用注释驱动函数生成 * 示例 5:生成单元测试 * 示例 6:异步 HTTP 请求生成 * 三、调试辅助:Copilot 如何帮你“读懂”错误信息 🐞🔍 * 场景:遇到 `KeyError` 怎么办? * 场景: