本帖最后由 STM新闻官 于 2024-9-27 14:25 编辑
今年6月,STM32重磅推出最新一代64位微处理器STM32MP2系列,凭借异构架构及卓越性能、高安全性、边缘AI与多媒体功能、连接接口丰富这四大关键特性,不仅为高性能和高度互联的工业4.0应用赋能,也为嵌入式边缘AI方案的落地带来更多可能性。
STM32MP2系列具有先进的边缘AI及丰富的多媒体功能,内置1.35TOPS的NPU边缘AI加速器、主频900MHz的3D GPU,开发者可灵活选择在CPU、GPU、NPU上运行AI应用。除了硬件性能强劲,还具有丰富的AI应用生态。那么,当我们要将AI方案无缝集成到STM32MP2项目中,需要哪些步骤和准备?又要用到什么软件工具链?带着这些问题,我们一起来看看“STM32MP2小课堂”的解答。
意法半导体提供丰富的边缘AI生态工具,通过模型训练、模型优化和基准测试、创建并部署应用三个阶段,支持用户将边缘AI方案无缝集成到STM32MP2项目中。
01、三阶段无缝集成AI方案
第一阶段:模型训练。顾名思义,就是指开发者将数据集导入并训练模型。模型的选择通常有两种方式:一是使用自己的模型,比如基于Keras、TensorFlow、PyTorch和Scikit-learn等机器学习库的模型。另一种是从STM32 AI模型库中选择提前训练好的模型和训练脚本,STM32 AI模型库提供人体姿态估计、图像分类、语义分割、目标检测等预训练模型;这些模型及代码已经发布在GitHub上,经过优化可以运行在STM32 MPU上。用户可以访问此链接(GitHub - STMicroelectronics/stm32ai-modelzoo: AI Model Zoo for STM32 devices)下载,并根据Readme文档进行操作。
第二阶段:模型优化和基准测试。在这个阶段,ST提供了本地版本的ST Edge AI Core和云端版本的ST Edge AI Developer Cloud,可以实现模型的量化、优化、转换并提供基准测试服务。
第三阶段:创建并部署应用。STM32 MPU提供基于OpenSTLinux的X-LINUX-AI扩展包,帮助用户快速开发AI应用。X-LINUX-AI扩展包是一个一站式的AI解决方案,涵盖了AI框架和应用以及工具框架。
02、集成过程中需要用到的软件工具
在将AI方案无缝集成到STM32MP2项目的过程中,开发者需要用到一些软件工具,比如ST Edge AI Developer Cloud和X-LINUX-AI扩展包等。
ST Edge AI Developer Cloud是一种云端工具,开发者使用这个云端版本的工具,可实现AI模型的优化和格式转换。请访问Home - ST Edge AI Developer Cloud开始尝试。
根据网页操作指引,按照选择模型、选择硬件平台、量化(可选)、优化、基准测试、得出结果、生成模型这几个步骤,即可完成模型优化、模型转换和基准测试。
X-LINUX-AI是一个一站式AI解决方案:可以运行神经网络模型,且具备多项AI应用实例;同时还是一个工具框架,提供帮助开发者快速开发应用的工具。
X-LINUX-AI配合OpenSTLinux也有三个软件开发包,分别作为Starter Package、Developer Pacakge、Distribution Package的添加组件,支持用户创建部署自己的AI应用。
|