打印
[ARM入门]

能跑AI的MCU,今年正走向爆发...

[复制链接]
1578|3
手机看帖
扫描二维码
随时随地手机跟帖
跳转到指定楼层
楼主
呐咯密密|  楼主 | 2024-7-25 09:49 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
在TinyML这个词火了以后,边缘AI的活跃气氛就延烧到了MCU领域。比如在去年的进博会上,瑞萨展示了一个demo,凭藉MCU,摄像头就能检测画面中的人,检测距离能达到20米——当时瑞萨介绍说各种光线和环境都没问题。而在前不久英飞凌的媒体沟通会上,英飞凌展示用MCU+microNPU,甚至能识别画面中的水果品种。
这样的场景放在过去是完全不可想象的。MCU的“AI化”,大概也真正标志着边缘AI的全面来袭。本文借助3款典型的MCU产品,来谈谈AI MCU的边缘应用和发展情况。

MCU走向AI的标准答案:GD32H7
在我们看来,MCU走向AI应用的标准答案是兆易创新GD32H7系列。该系列MCU采用Arm Cortex-M7内核,所以被兆易创新称作“超高性能微控制器”。兆易创新表示,相比采用Cortex-M4内核的MCU,该系列产品性能提升40%,相比于M3则提升了多达70%。
Cortex-M7本身是个6级超标量流水线设计的核心,可选配FPU单精度和双精度单元,指令和数据总线扩大到64bit。具体到GD32H7产品,600MHz主频Cortex-M7内核,存储资源1MB SRAM+最大4MB Flash,加速器包含有DSP、FPU、硬件TMU(三角函数加速器)、FAC(滤波算法加速器)等;
其外设资源则有4个USART、4个UART、4个I²C、6个SPI、4个I²S、2个SDIO和1个MDIO,支持3路CAN-FD和2路以太网,支持USB 2.0 FS和HS通信。
去年发布这颗MCU时,兆易创新就提到其适配的应用包括复杂计算、多媒体处理、边缘计算、ML/AI算法等。去年慕展上,搭配内置的TFT-LCD控制器和IPA(Image Processing Accelerator),兆易创新展示基于GD32H7的GUI开发演示套件,直接就能进行HMI图形触控交互——作为一颗MCU,这种表现还是相当突破认知的。
而AI/ML部分,关键还是在于核心的高主频、存储资源给足,以及配套加速器。这显然算得上是MCU走向AI、应用AI的标准答案了。此前兆易创新给出的AI应用示例包括语音、人脸、姿势和指纹等人机交互生物特征识别;存在检测及人头数判断等。
今年慕展上,兆易创新展示了两个比较具有代表性的应用。其一是AI直流拉弧检测方案(下图):基于GD32H7,采用兆易创新自研的AI算法进行直流拉弧检测。慕展现场兆易创新的工程师介绍说,GD32H7能够在500K采样率下支持12路ADC通道的拉弧检测、实时AI推理,CNN模型的大小1.7KB,单次推理耗时不超过0.6ms,也就能够对电弧进行即时响应。
值得一提的是,兆易创新面向开发者提供数据采集工具和一键训练工具。前者用于采集电弧信号和正常信号,也具备对已部署模型进行检测评估的功能;后者则训练并生成拉弧检测AI模型,还支持一键生成可编译、运行的电弧检测代码。另外搭配外围的存储和通信模块,可以将采集的数据传输到云,并进行训练,以及模型参数的OTA升级。
还有个演示demo是AI语音识别方案:采用Sensory平台进行关键词训练,支持多关键词、多语种的训练;自然也支持训练模型在MCU端侧部署,在本地运行轻量化语音识别模型;功能方面,支持人声检测、语音降噪、音频分割、MFCC特征提取等。



使用特权

评论回复

相关帖子

沙发
呐咯密密|  楼主 | 2024-7-25 09:50 | 只看该作者
另一个解题思路:Helium
在形如兆易创新这样的AI MCU标准答案之外,还有一些解题思路,典型如Arm Helium。文首提到瑞萨在去年进博会上展示的RA8系列MCU,能直接检测画面中的人(如下图),是不需要借助额外的加速器了。更有一种MCU竟可以进行AI计算且效果还不错的既视感。
瑞萨RA8采用Arm Cortex-M85首先也决定了这是颗性能彪悍的MCU,包括Arm v8.1-M内核,不同精度浮点数硬件支持及每周期数学性能提升,和表现在CoreMarks/MHz数字上相较于其他Cortex-M系列核心的领先。具体到RA8M1,也有1MB SRAM、2MB Flash,通信接口亦支持以太网、USB、CAN-FD等,还有Octal SPI可接Octal Flash或HyperRAM。
此前的采访中,瑞萨还提到RA8系列MCU也针对图形显示和外设功能进行了优化,能够更好地满足楼宇自动化、家用电器、智能家居等领域的需求,“特别是在图形显示和语音/视觉多模态AI应用方面”;加上强调安全性,RA8还适用于消费电子、医疗设备等。
不过这其中相关AI的关键,还在于Cortex-M85对于Arm Helium的支持,令M85的DSP/ML性能提升4倍、标量性能提升30%。用一句话总结Helium,这种技术很像是Cortex-M版本的Neon,但又考虑到了嵌入式系统成本与功耗敏感的特性。
Helium是Cortex-M系列的MVE矢量指令集扩展,主要为机器学习和DSP应用提供性能支持。Arm在资料中说Helium是在小型处理器内实现有效信号处理的全新设计,其中包含了不少新的架构特性,用以加强嵌入式使用场景中的计算性能,兼顾到面积和功耗——相当于把Neon能力(Cortex-A的SIMD指令)带到了M-Profile架构。
所以Helium设计的目标,是用单颗处理器取代以往某些需要搭配DSP的方案。瑞萨在发布RA8之时就说这么做填补了市场空白,因为这么做简化了软件开发、降低了芯片设计的复杂性和成本。前不久,我们就Helium技术实现撰文做过专门介绍,对其实现感兴趣的读者可以前往查看。
Helium和Neon都是128-bit矢量size,用浮点单元的寄存器作为矢量寄存器,也都有对应的一些矢量处理单元。但二者区别在于,Helium在设计理念上考虑对现有硬件资源的最大化利用,比如128bit数据通路是借助beatwise执行实现的,用的矢量寄存器也少于Neon;配套所谓的beatwise执行也有一系列指令、数据访存等改进...
这是凭藉RA8 MCU,就实现人检测,不需要其他加速器的关键。瑞萨的这一demo是与PlumerAI合作完成的。另外瑞萨此前还在进博会上演示了马达异常检测AI套件,借助Reality AI工具,进行电机运行的数据分析采集,生成的AI模型可进行电极异常检测。
在开发生态方面,除了配套AI/ML工具及开发套件,瑞萨也构建了AI/ML“应用公园”,包含解决方案套件、工具箱、应用实例和参考设计。比如瑞萨此前收购的Reality AI就能为非视觉类应用提供AI开发工具,包括为客户提供定制AI模型。

还能配套NPU加速器
Helium对于有实时响应和超低功耗要求的应用而言,是相当不错的选择,而且MCU的特性也决定了开发的友好性。如果嵌入式应用追求更高的AI性能,很多市场参与者也开始为MCU配套AI加速器。比较具有代表性的是英飞凌前不久更新的PSOC MCU产品线,其中的PSOC Edge系列就强化了AI能力。
此系产品线中除了PSOC Edge E81的机器学习加速主要是基于Helium和英飞凌NNLite加速器,着眼于更低功耗的ML应用;E83/E84搭配的是Arm Ethos-U55 NPU。Arm在Ethos-U55的产品宣传页上就提到其AI性能提升了480倍,AI应用实现过程中0.1mm²面积就节约至多90%能耗。
上个月的媒体沟通会上,英飞凌展示了一个水果种类识别的demo——以前这是2.4GHz频率的x86 CPU才能干的活儿。PSOC Edge产品线现有芯片主要基于Cortex-M55微控制器内核,搭配Ethos-U55,就能相对轻松地对应这一场景。在400MHz主频下,推理时间约41.68ms。
另一则demo小游戏,是借助毫米波雷达(XENSIV)检测手势,手势操控屏幕上的火箭安全着陆(下图)。这则demo除了体现基于机器学习来识别手势点云数据,另外也体现了PSOC Edge E84的低功耗2D图形加速能力。
值得一提的是,为了让PSOC Edge能够适配电池驱动设备——如可穿戴产品,英飞凌为其加入了低功耗模式——always-on电源域涵盖LPPASS(低功耗可编程模拟子系统)、与传感器通信的SCB(串行通信总线),在系统进入深睡模式时仍可保持工作,实现always-on的传感和响应。
搭配英飞凌去年收购Imagimob获得AI软件方面的能力,结合Modus Toolbox工具,英飞凌也因此提供“端到端”机器学习开发能力,从数据到模型部署。英飞凌在采访中提到,其软件、解决方案最能体现英飞凌MCU的差异化竞争优势。
英飞凌定位PSOC E8x系列目标应用包括家电与工业设备中的HMI、智能家居、安全系统、机器人与可穿戴设备。其中E83/E84因为特别配了NPU,也就具备ML唤醒、视觉位置检测与人脸/物体识别特性。
英飞凌认为,未来万物互联都需要具备机器学习能力,除了像PSOC Edge这样强调AI能力的产品,“我们会看到PSOC Control和PSOC Connect最终也将具备机器学习能力”——PSOC Control是主要用于电机控制和功率转换的MCU系列,PSOC Connect则融入了无线连接特性。这也很好地体现了AI everywhere的趋势和潜力。
去年的采访中,瑞萨提到随着边缘和端侧AI的普及,应用开发理念也和过去完全不同。“可能开发者思考的不再是用什么样的算法来实现功能,而是有多少实用的数据来实现对应的算法”,因此数据成为关键,“数据会在未来的开发流程中占据重要位置”,AIoT开发理念因此更多转向以数据为中心。
过去这大半年我们看到越来越多的市场参与者推出AI MCU产品。无论是搭配专门的加速器,还是借助Helium以及高性能微控制器核心、丰沛的存储资源加强AI能力,这方面的市场需求显然正变得旺盛。英飞凌就认为边缘AI还将经历长期发展,而现在只是个开端。


使用特权

评论回复
板凳
yangjiaxu| | 2024-7-30 13:35 | 只看该作者
感觉还是H7或者一些imxRT都是可以的,这些性能很强,而且都在支持AI方面的拓展

使用特权

评论回复
地板
autopccopy| | 2024-8-24 10:02 | 只看该作者
记号:能跑AI的MCU

1059

使用特权

评论回复
发新帖 我要提问
您需要登录后才可以回帖 登录 | 注册

本版积分规则

认证:苏州澜宭自动化科技嵌入式工程师
简介:本人从事磁编码器研发工作,负责开发2500线增量式磁编码器以及17位、23位绝对值式磁编码器,拥有多年嵌入式开发经验,精通STM32、GD32、N32等多种品牌单片机,熟练使用单片机各种外设。

450

主题

3508

帖子

45

粉丝