[应用相关]

STM32F4上神经网络识别的实现

[复制链接]
2711|13
手机看帖
扫描二维码
随时随地手机跟帖
heisexingqisi|  楼主 | 2018-9-17 22:44 | 显示全部楼层 |阅读模式
概述

硬件上使用STM32F4+MPU9150实现的神经网络识别手势,不过没有用IMU的地磁数据,只用了三轴加速度计和三轴陀螺仪的数据,板子是自己画的主要参照了意法官方的开发板的原理图(人生画的第一个板子还没有错误哈,容小逗比高兴一下。。。)。MPU9150的驱动是用的InvenSense提供的eMPL硬件抽象层,虽然这个driver配置imu内置DMP比较方便,但感觉这个bias矫正和姿态解算做的并不是很好,而且源码没公开不好改。不过识别部分用的是原始数据没用融合出的姿态数据,(姿态用在另一个功能上了)。考虑到单片机的计算性能不高(其实是训练部分不好移植^_^)于是把网络的训练部分放在在matlab上做的,然后把训练完的网络的阈值和权值导出来,放到单片机里。这里涉及到了单片机采集的数据怎么发给matlab的问题,幸好高版本的matlab对硬件的支持有大幅提升,可以通过串口来收数据。网络在单片机上的识别过程计算量还是挺大的,原始的imu数据(6Dof)经过一个巴特沃斯低通滤波器后放到一个类似于FIFO的数据结构中,从这个FIFO中首先进行间隔取数(间隔根据手势动作时间计算),并对取出的数进行归一化,然后将这些数据传给网络进行识别。过程中的滤波、归一化和网络计算都要进行大量的浮点运算,于是把logsig函数由泰勒展开改成了查表,还开了FPU,用了CMSIS-DSP。

Matlab串口接收

下面是创建串口obj的脚本

try
    try
        obj=serial('COM15','baudrate',115200,'parity','none','databits',8,'stopbits',1);
        flag_fetch=1;
    catch
        fprintf('Create Obj Error');
    end
    obj.BytesAvailableFcnMode = 'terminator';
    obj.Terminator = 'c';
    obj.BytesAvailableFcn =@serial_nn_callback;
    try
        fopen(obj);
    catch
        fprintf('Open Error\n');
        break;
    end

    pause;
    flag_fetch=0;
catch

    fprintf('Serial Read Error!\n');
end
fclose(obj);
delete(obj);
clear obj;

下位机将imu数据以数据帧的形式发送上来,数据帧自定义协议,帧以字符’c’结尾,这里将串口配置为terminator模式,设置terminator=’c’,这样该模式下接收到字符’c’就调用一次回调函数”serial_nn_callback”

下面是回调函数的框架:

function [c]= serial_nn_callback(obj, ~)

% var start
...
% var end

try
    n = get(obj, 'BytesAvailable');
    if n>20&& (flag_fetch==1)
        a = fread(obj, 29, 'uchar');%数据帧长度
        if a(1)~='A'
            fscanf(obj) ;
        end
        % 协议解析 start
        % 协议解析 end
    end
    catch
end

这里读取之后要首先判断数据帧头是否吻合,如果不吻合立即调用 fscanf(obj) 清除串口的缓存,否则的话接收到的数据都是串的。这样就可以成功的接收到下位机发送的数据。


heisexingqisi|  楼主 | 2018-9-17 22:45 | 显示全部楼层
网络训练

这个部分比较简单,用的单S激活函数,mse能到的最小值有限,后来试了下双S激活函数,mse可以很小。不过实际测试时单S激活函数的识别率已经够用了

input=input';
net = newff( minmax(input) , [mid_layer,output_layer] , { 'logsig' 'logsig' }  ,'traingdx') ;
net.trainparam.show = 50 ;
net.trainparam.epochs = 500 ;
net.trainparam.goal = 0.00001 ;
net.trainParam.lr = 0.001 ;
网络导出
w_i2l=net.IW{1,1};%输入层到中间层的权值
b_i2l=net.b{1,1};%输入层到中间层的阈值
w_l2o=net.LW{2,1};%中间层到输出层的权值
b_l2o=net.b{2,1};%中间层到输出层的阈值
% 导出函数 start
...
% 导出函数 end
单片机上网络计算函数
void layer_to_layer(
    int lin_num,
    int lout_num,
    float32_t* input,
    float32_t* output,
    float32_t* w,
    float32_t* b
    )
{
     float32_t *temp;
     memset(output, 0,
                lout_num * sizeof(float32_t));
     temp = (float32_t *)malloc(lin_num * sizeof(float32_t));
     for (int i=0;i<lout_num;i++)
     {
#ifdef    ARM_M4        
        arm_mult_f32(input,w+i*lin_num,temp,lin_num);    //CMSIS-DSP库 向量相乘
#else
                for (int i=0;i<lin_num;i++)                      //非DSP指令
                {
                  *(temp+i)=*(input)*(*(w+i*lin_num))
                }         
#endif
        for (int j=0;j<lin_num;j++)
        {
            *(output+i)=*(output+i)+*(temp+j);
        }
        *(output+i)=*(output+i)+*(b+i);
        *(output+i)=logsig_fun(*(output+i));
     }
     free(temp);
}
CMSIS-DSP库上的说明和例子都很详细

使用特权

评论回复
heisexingqisi|  楼主 | 2018-9-17 22:46 | 显示全部楼层
希望对大家有用啊。另外MATLAB工程也可以转换成C代码。用于在嵌入式上运行。

使用特权

评论回复
一路向北lm| | 2018-9-17 23:40 | 显示全部楼层
可以识别吗?不介意发个视频

使用特权

评论回复
一路向北lm| | 2018-9-17 23:41 | 显示全部楼层
很强

使用特权

评论回复
一路向北lm| | 2018-9-17 23:54 | 显示全部楼层
我觉得很牛

使用特权

评论回复
heisexingqisi|  楼主 | 2018-9-18 07:31 | 显示全部楼层
一路向北lm 发表于 2018-9-17 23:40
可以识别吗?不介意发个视频

因为后台都是MATLAB在运算,当然可以了。

使用特权

评论回复
heisexingqisi|  楼主 | 2018-9-18 07:32 | 显示全部楼层
神经网络和深度学习未来的应用就是要基于5G,让服务器和终端之间的距离为0,高速传输,保证互通无障碍,服务器端负责最终分析和决策,终端负责采集和初步筛选。

使用特权

评论回复
yediezeus| | 2018-9-18 09:34 | 显示全部楼层

使用特权

评论回复
finastic| | 2018-9-20 21:46 | 显示全部楼层
厉害厉害

使用特权

评论回复
戈卫东| | 2018-9-20 22:05 | 显示全部楼层
好厉害的样子。。。。

使用特权

评论回复
li1056635216| | 2020-6-5 19:21 | 显示全部楼层
heisexingqisi 发表于 2018-9-17 22:46
希望对大家有用啊。另外MATLAB工程也可以转换成C代码。用于在嵌入式上运行。 ...

AI搭载单片机可以吗

使用特权

评论回复
li1056635216| | 2020-6-5 19:23 | 显示全部楼层
可以加好友吗。。有急事
1056635216(qq)

使用特权

评论回复
21ID| | 2020-6-6 14:23 | 显示全部楼层
厉害厉害,AI是王道

使用特权

评论回复
发新帖 我要提问
您需要登录后才可以回帖 登录 | 注册

本版积分规则

115

主题

2519

帖子

2

粉丝