随着人工智能,大数据的时代来临,以前嵌入式处理器中的CPU和GPU渐渐的难以满足与日俱增的需求,尤其是深度学习方面。为了应对日渐增长的需求,NPU就诞生的了。
NPU英语全称为Neural Process Unit,译为神经网络处理器。
为了满足人工智能的需要,瑞芯微的处理器也逐渐集成了NPU,称之为RKNPU。
RKNPU经过了几代的发展,首代初次引入了RKNPU是从RK3399pro和RK1808开始的,相比传统的CPU和GPU,在深度学习运算能力上有比较大幅度的提升。接下来在RV1109和RV1126上使用了第二代NPU,提升了NPU的利用率。第三代NPU应用在RK3566和RK3568上,搭载全新NPU自研架构。
瑞芯微RK3568芯片内置NPU,是RKNPU第三代的代表产品。第三代RKNPU特点如下所示:
☛ 搭载全新自研架构
☛ 支持整数8、整数16卷积运算
☛ 内置的NPU支持INT8/INT16混合操作
☛ 推理工具支持:TensorFlow, Caffe, Tflite, Pytorch, Onnx NN, Android NN等等
☛ 高达1 TOPS的神经网络加速处理性能
基于iTOP-RK3568开发板实现的全新NPU自研架构,可通过算法加持应用到以下场景:
目前,iTOP-RK3568开发板正在热卖中,基于RK3568开发板的《iTOP-3568开发板NPU使用手册》也同步上新。
手册目录展示
第1章 你好!NPU
1.1 NPU的诞生!
1.2 初识RKNPU
第2章 准备RKNPU开发环境
2.1 开发环境
2.1 软件架构
2.2 SDK说明
第3章 让NPU跑起来
3.1 在Linux系统中使用NPU
3.1.1 设置交叉编译器
3.1.2 修改编译工具路径
3.1.3 更新RKNN模型
3.1.4 编译demo
3.1.5 开发板运行demo
3.2 在Android系统中使用NPU
3.2.1下载编译所需工具
3.2.2 修改编译工具路径
3.2.3 更新RKNN模型
3.2.4 编译demo
3.2.5 开发板运行demo
第4章 体验RKNN_DEMO
4.1 rknn_ssd目标检测测试
4.2 rkn_api_demo测试
4.3 多媒体输入测试
第5章 模型转换
5.1 RKNN-Toolkit2 介绍
5.2 安装RKNN-Toolkit2
5.2.1通过docker镜像安装
5.2.2通过pip install 安装
5.3 RKNN-Toolkit2 的使用
5.3.1 模型运行在模拟器
5.3.2 模型运行在RK3568开发板
第6章 其他模型转换
6.1 使用tensorflow框架
6.2 使用caffe框架
6.3 使用tflite框架
6.4 使用onnx框架
6.5 使用darknet框架
6.6 使用pytorch框架
第 7章 使用RKNN-Toolkit-lite2
7.1 主要功能说明
7.2 Debian更换下载源
7.3安装 RKNN Toolkit Lite2
7.4 运行测试程序
|