TinyML MCU 等级开源推理引擎列表

发布于 2025-06-11 23:45:06（微信公众号导出记录）。

本文来自公众号后台的“导出文章内容”功能。博客正文由导出长图进行本地 OCR 转写，并保留原始排版图用于逐段核对。

原文链接：查看原文

OCR 转写有效文字约 3065 字；代码、流程图和版式以文末原始排版图为准。

正文（本地 OCR 转写）

开源推理引l擎(open-SourceInferenceEngines) 目前主流且活跃的开源 TinyML 推理引掌Github 1k stars+的项目,它们为在 MCU上 实现神经网络模型推理提供了核心支持。

• Arm CMSIS-NN/DSP (CMSIS-6)

• 专为ArmCortex-M核心设计的函数库,提供高效能的神经网络(NN)与数字信号处

理(DSP)核心函数

• https://github. com/ARM-software/CMSIS_6

• Google LiteRT (TensorFLow Lite)

• Google 推出的轻量级运行时,是TensorFLow Lite 的重要组成部分。

https://g1thub.com/google-a1-edge/Litert

• Google TensorFlow Lite for Microcontrollers (TFLite-Micro)

• 官方出品,专为 MCU 设计的 TensorFLow Lite 版本,是TinyML 领域的标杆。

https://github.com/tensorflow/tflite-micro

• PyTorch ExecuTorch

• PyTorch官方推出的新一代边螺设备推理解决方案,具备高度可移植性。

• https://github.com/pytorch/executorch

• PyTorch QNNPack

• 专为量化神经网络设计的高性能函数库,常与PyTorch Mobile整合。

https://github.com/pytorch/qnnpack

• Alibaba MNN

• 阿里巴巴开源的高性能、轻量级深度学习推理引擎,广泛支持多种设备。

• https://github.com/alibaba/MNN

• Alibaba TinyNeuralNetwork

• 专注于TinyML的模型转换与部否工具链。

• https://g1thub.com/al1baba/T1nyNeuralNetwork

• Tencent TNN

• 腾讯开源的移动端高性能推理框架,同样适用于MCU等边缘场景。

https://github.com/Tencent/TNN

• Tencent NCNN

• 腾讯开源的高性能神经网络前向计算框架,针对移动平台进行了深度优化。

• https://github.com/Tencent/ncnn

• uTensor

■一个极度轻量级的机器学习推理框架,专为MCU设计。

• https://g1thub.com/uTensor/uTensor

• Fraunhofer-IMS AIfES

• 来自德国 Fraunhofer-IMS 研究所的 AI引擎,特别提供 Arduino 平台的支持。

https://github.com/Fraunhofer-IMS/AIfES_for_Arduino

• Sipeed TinyMaix

• 矽速科技开源的极简AI推理框架,专为内存极小的MCU设计。

• https://github.com/sipeed/TinyMa1x

• XiaoMi MACE

■小米开源的移动端深度学习预测框架,强调异构计算加造。 https://github.com/XiaoMi/mace

• PaddlePaddle Paddle-Lite

• 百度飞浆推出的轻量化推理引擎,支持包括ArmCortex-M在内的多种硬件。

• https://github.com/PaddlePaddle/Paddle-Lite

• ELoquent EloquentMicroML

• 一个对Arduino开发者非常友好的机器学习函数库。

• https ://g1thub. com/eloquentarduino/EloquentM1croML

• Kraiskit ONNX2C

■一个能将ONNX模型直接转换为C语言代码的实用工具。 https://github.com/kraiskil/onnx2c

• Huawei MindSpore

• 华为开源的全场景AI框架,其轻量化版本支持在终端设备上部署。

• https://github.com/mindspore-a1/mindspore

• SenseTime OpenPPL (PPLNN)

■商汤科技开源的高性能AI推理计算函数库。 = https://g1thub.com/0penPPL/ppl .nn

• Open AI Lab Tengine

■由OPEN AILAB开源的AIoT应用推理框架,专为边缴计算设计。

• https://github.com/0AID/Tengine

AI 相关编译器(AI-RelatedCompilers) 编译器在将高阶AI模型转换为MCU可执行代码的过程中扮演关键角色,能极大化硬件性 能。

• MicroTVM

• ApacheTVM的微型版本,可将模型编译到无操作系统的裸机环境。

• https://tvn.hyper a1/docs/topic/microtvm/

• Skymizer ONNC

■一个开源的神经网络编详器,致力于将ONNX模型转换到各种AI加速器。 = https://github.com/ONNC/onnc

• Arm Ethos-U Vela Conpiler

• 专为ArmEthos-U系列NPU设计的离线编译器,用于优化神经网络模型

• https://pypi. org/project/ethos-u-vela/

MCU专用工具与平台(Mcu-SpecificTools&Platforms) 各大MCU厂商也推出了自家的AI开发套件与工具,以简化在其硬件平台上的开发流程。

• Edge Inpulse

一个领先的在线TinyML开发平台,提供从数据收案、模型训练到部署的完整工作流

程。

• https://docs.edge1mput se. con/docs

• STM32CubeAI (X-CUBE-AI)

• 意法半导体(ST)官方工具,可将预训练好的模型转换为适用于STM32微控制器的优

化代码。 https://stm32ai.st.com/stm32-cube-ai/

• NanoEdge AI Studio

• ST旗下另一款强大工具,可在MCU上直接进行机器学习模型的训练与推理。

• https://stm32ai.st.com/nanoedge-ai/

• ST Edge AI Suite

• ST推出的整合式边缘AI解决方案套件。

• https://www.st.com/content/st_com/en/st-edge-ai-suite.html

• NXPeIQ

■恩智浦(NXP)的AI开发环境,提供软件、工具与推理引擎,支持旗下多款处理器。 ■ https://www.nxp.com/design/design-center/software/eiq-ai- development-environment:EIQ

• Renesas e-AI

• 瑞萨电子(Renesas)的e-AI开发环境,可将AI模型轻松导入其MCU产品线。

• https://www.renesas.com/en/key-technologies/artificial-

intelligence/e-ai/e-ai-development-environment-microcontrollers

NOTE·目录三 <上一篇·EDAPCB布线中的寻路智慧:深入探索Lee算法的可视化之旅

原始排版图