本帖最后由 STM新闻官 于 2024-1-10 10:04 编辑
摘 要边缘人工智能正在海量微型设备上运行着海量应用，为众多工业产品和服务带来颠覆性改变。意法半导体与客户和合作伙伴在边缘人工智能领域展开合作已有超过10年时间。但许多产品设计师还不知道如何应用到自己的产品或服务中。为让大家更好地了解边缘人工智能领域的发展状况以及隐藏在这一技术之下的巨大潜力，ST近期举办了首届意法半导体边缘人工智能峰会，多名行业专家与创新先锋带来真知灼见，分享了利用边缘人工智能创造出的优秀产品和服务经验，让用户从一个更广阔的角度来审视人工智能世界。▲ 意法半导体半导体微控制器和数字IC产品部总裁Remi El Ouazzane
斯坦福大学计算机科学系副教授Christopher Ré首先分享了他对于AI主题的两个见解：
一是大型语言模型如何改变我们构建的系统。这些AI任务种类繁多、数量庞大，对上一代机器学习系统来说充满挑战。但新基础模型如Chat GPT3/4等，能以非常出色的表现解决这些问题。
二是即将到来的微型人工智能设备海啸，即人工智能如何集成到边缘计算，直接与现实世界互动。如何开发足够高效、可在大量设备上运行的新模型，如何处理收集的所有数据和遥测信息成为真正的挑战。行业需要不断研究新的架构和模型，不仅需要在算法上创新，更要在硬件、软件方面创新，包括如何与意法半导体这样公司的产品结合起来。
意法半导体如何为边缘AI赋能
万物智能互联的世界蕴藏着可供边缘人工智能大显身手的宝贵机遇。这种机遇不仅限于更改设备的功能，更可颠覆商业模式。
如何将这一愿景变为现实？意法半导体半导体微控制器和数字IC产品部总裁Remi El Ouazzane指出，需要确保这些产品具备三个基本要素：合理的安全保障、合适的连接解决方案，以及处理能力和智能水平。ST尤其重点关注处理能力，尤其是边缘人工智能如何提升设备的处理性能。
开发者所面临的各种难题和挑战有两部分： ST在帮助用户部署边缘AI方面的优势在于：- ST是通用MCU领域的头部品牌，硬件架构天然适用于ML算法；
- 多年来对人工智能领域的持续投入，使ST有能力打造一个非常强大的人工智能编译器；
- 凭借STM32 AI开发者云，开发人员可以轻松在各种STM32开发板上对其模型在线测试。
以上三点，都对基于STM32的海量人工智能创新起到了推动作用。
在软件工具方面，ST利用STM32Cube.AI工具帮助开发人员优化人工智能模型，并将其移植到现有的STM32 MCU系列中。NanoEdge AI Studio是一款用于提升产品智能化程度的自动化机器学习工具。它提供了更简单且易于部署的功能，不需要广泛的数据科学技能或者访问记录完善的大型数据集。此外，该工具还支持设备端学习功能，这对于售后市场预测性维护等需要适应不同操作环境的应用具有至关重要的意义。此外，还可以在旗下的Linux平台和智能传感器上搭载这些边缘人工智能功能。
在硬件方面，ST的智能传感器产品包含了一个为智能传感器处理单元的高度专业化DSP，该单元是一款超低功耗、高效率、高性能的可编程内核，可以为传感器执行信号处理并使用人工智能算法。ST还努力为STM32系列产品添加人工智能加速功能，推出了两款具有高性能神经加速内核的产品- STM32N6和STM32MP2。这两款产品采用低功耗、高性价比的封装，具备出色的处理性能，让之前仅适用CPU的算法在MCU 和MPU部署。
推出“ST Edge AI”套件意法半导体的人工智能策略基于一套资源丰富的集成化开发工具、技术示例、学习示例，以及名为“ST Edge AI Core Technology”的创新型的嵌入式AI解决方案优化器。ST Edge AI套件满足了不同用户的需求，如数据分析师、嵌入式软件开发人员和硬件系统工程师。该套件简单好用，界面简约直观，有多个不同版本（Desktop, CLI, Web, API）。
ST Edge AI 套件支持意法半导体多个硬件平台：STM32通用MCU，包括已经发布的具有AI硬件加速功能的产品、工业级STM32N6和STM32 MPU，以及Stellar车规微控制器和智能传感器。ST Edge AI Suite把项目开发的每个阶段所需的全部软件和工具集成在一起。NanoEdge AI Studio autoML工具对STM32用户免费开放，现在可用于所有基于ARM Cortex-M的MCU。
NVIDIA构建下一代边缘AI设备的两大工具
NVIDIA嵌入式与边缘计算业务部副总裁兼总经理Deepu Talla指出，在部署人工智能时，许多公司都无法投入生产。原因是：人工智能模型解决当前问题有准确率偏差；如何选择合适的人工智能模型；边缘设备的计算和内存资源有限。
NVIDIA提供了两种工具解决上述痛点：数据模拟工具NVIDIA Omniverse，以及AI训练优化工具TAO。
真实数据成本高昂且无法涵盖所有场景，合成数据可以弥补数据缺口。NVIDIA Omniverse是一个允许个人和团队开发3D工作流程和应用程序的计算平台。NVIDIA Omniverse Replicator是Omniverse平台的核心扩展，让开发者可以轻松构建定制的合成数据生成工具和通道。
TAO，代表训练 (Train)、适应 (Adapt) 和优化 (Optimize)，是一个开源的低代码人工智能工具套件。用户基于TAO可访问最佳且最新的人工智能，在大量经过优化的模型目录上应用迁移学习，将其部署到小型MCU及大规模应用的任何设备。TAO已被百事可乐、和硕、埃克森美孚、班加罗尔机场、西门子等多家企业和政府部门采用，加快其人工智能模型的创建过程。
NVIDIA和意法半导体开展了密切深入的合作。意法半导体能够采用其中一个预训练模型，并使用TAO完成整个训练和优化工作流程，将输出模型集成到STM32中，内存占用可减少10倍。我们在STM32微控制器上运行视觉人工智能模型，推断时间也缩短了五倍。
| 
楼主
标题置顶
标题高亮
