一、前言
前面也参加了英飞凌的线下边缘AI研讨会活动，英飞凌在主推基于边缘AI的应用，针对边缘AI应用开发，官方推出的DEEPCRAFT™ Studio应运而生。
DEEPCRAFT™ Studio是在边缘设备上开发AI和机器学习应用程序的综合解决方案。这个用于机器学习的端到端开发平台涵盖了整个机器学习工作流程，从收集和注释高质量数据，管理、分析和处理数据，到构建、评估和选择最佳模型，最后将模型部署到目标边缘设备上。DEEPCRAFT™ Studio是专家和非专家轻松构建生产级机器学习模型的最快方式，适用于各种用例，例如音频事件检测、语音控制、预测性维护、手势识别、跌倒检测、信号分类以及材料检测。
二、DEEPCRAFT™ Studio工具安装
首先个人通过https://account.imagimob.com/signup网址注册一个账号，然后通过https://account.imagimob.com/studio网址下载DEEPCRAFT™ Studio。
下载后直接安装，过程中需要联网，安装python、cygwin等环境组件，所以说网络稳定才能确保DEEPCRAFT™ Studio工具的成功安装。
安装完成后该工具占用的磁盘空间大概4GB，默认安装在C盘路径下。
三、刷新流媒体固件
根据官方给出的指引文档，CY8CKIT-062S2-AI套件专为无缝原型设计而设计，包括一系列传感器，例如六轴运动传感器、磁力计、气压传感器和雷达传感器，用于数据收集和开发机器学习模型。该套件具有一个PSOC™ 6 MCU、一个CYW43439 Wi-Fi/蓝牙组合模块、一个512 Mb NOR闪存、一个板载编程器/调试器（KitProg3）、PDM-PCM数字麦克风接口、全速USB器件、两个用户LED和一个用户按钮。该板支持 PSOC™ 6 MCU 的1.8 V至3.3 V工作电压。
CY8CKIT-062S2-AI套件预编程了流固件，可以将传感器数据从 USB 端口流式传输到 DEEPCRAFT™ Studio以创建机器学习模型。流式固件旨在从集成到套件中的所有传感器收集数据，包括麦克风、加速度计、陀螺仪、 磁力计、压力传感器、雷达。
刷新流媒体固件具体步骤如下：
1、下载并解压缩十六进制文件，将流式固件刷新到板上。
2、使用USB电缆将板上的KitProg3 USB连接器 （J1）端口连接到PC。
3、从Windows开始菜单打开ModusToolbox™ Programmer，出现ModusToolbox™程序员窗口。
4、在“编程器”下拉框中，选择设备类型为KitProg3 CMSIS-DAP BULK-XXXXXXXXXXXXXXXX。
5、在“电路板”下拉框中，选择电路板类型为CY8CKIT-062S2-AI。
6、单击打开并导航以选择之前下载的流固件（十六进制文件）。
7、单击“连接”以在开发板和ModusToolbox™ 编程器之间建立连接。
8、单击程序以刷新板上的流媒体固件，完成固件刷新。
注意：完成上述流媒体固件刷新后，需断开KitProg3 USB连接器（J1）端口，然后使用USB电缆将KitProg3 USB连接器（J2）端口与PC连接。
四、实时数据流收集
刷新流式处理固件后，可以从多个传感器收集各种类型的数据，包括：
①、音频数据：脉冲密度调制（PDM）和脉冲编码调制（PCM）音频数据可以以8kHz或16kHz的采样率从麦克风收集。
②、惯性测量单元（IMU）数据：来自六轴IMU（加速度计和陀螺仪）的数据可以在50Hz、100Hz、200Hz或400Hz的频率下采样。这允许在每个空间方向上进行加速度和陀螺角速率传感。IMU传感器可以配置为仅从加速度计、陀螺仪或两者收集数据。
③、磁力计数据：三轴磁力计以50Hz、100Hz、200Hz或400Hz的采样率提供数据，从而实现地磁场方向和强度传感。
④、气压数据：气压传感器的数据可以以8Hz、16Hz、32Hz、64Hz或128Hz的频率进行采样，捕捉大气压力的变化。
⑤、雷达数据：雷达数据可用于各种应用，包括宏观存在检测、微观存在检测、手势识别和其他用例。
此次以收集音频数据流为示例，为后续的婴儿啼哭收集流式音频数据。首先在打开DEEPCRAFT™ Studio后，创建图形UX项目。当然如果采用官方训练好的模型，则可直接选取“Starter Models”目录下的数据。
创建数据收集和数据标记图，选择“Microphone传感器”节点以流式传输数据，构建画布如下：
接下来，进行实时数据收集和数据标注，工具栏下点击“开始”图标，进行记录捕获实时数据，记录一段后保存到本地，选用Pcm的音轨编码格式。
由于模型的需要，需收集多组音频数据流，因此反复录制一小段音频流做为样本，并加以保存，这里就不再赘述。后面再对配置预处理、模型训练、模型评估、代码生成、模型部署进行深入探讨研究。
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？注册
×
|
