|
DeepSeek在端侧设备的应用场景
DeepSeek大语言模型（LLM）可用于理解人类语言的交互方式，思考，并给出合适的回应。同时，通过结合RAG（Retrieval-Augmented Generation，检索增强生成）技术，可以从用户定制知识数据库检索信息，将其作为提示输入给LLM，LLM通过将这些额外的知识与自己的语言技能相结合，可以撰写更准确、更具时效性且更贴合具体需求的文字，提供面向某个具体领域的专业应答。在AI概念和端侧AI技术火热的当下，瑞萨半导体推出的面向端侧AI应用的高性能MPU，也可以部署DeepSeek-R1模型。在我们预想的应用场景中，我们可以在部署了DeepSeek-R1模型和RAG定制数据库的瑞萨MPU电路板上，在不联网的情况下，实现如下应用：
● 向AI模型投喂高端家电、车辆等复杂电子产品的用户手册，对这些模型进行训练，以创建一个AI助手，能够自动执行某些复杂功能的设置。如此，用户就不必为了使用某一样新奇的功能而花费大量时间阅读手册。相对于传统的语音识别应用需要特定的命令或者唤醒词，引入LLM对口头语言的表达进行分析，可以让硬件设备更容易理解用户的需求。
● 面向骑行爱好者，让AI助手在自行车电脑中运行，这样用户在骑自行车时就可以获得个性化的导览/导航以及其他信息。
● AI智能眼镜&耳机，直接理解用户口语表达的命令，以日常使用的人类语言与电子系统进行交互。
● 实时的翻译机，在不联网的应用场景中，利用AI做一些简单的语言转换，甚至可以作为人与宠物之间的交互。例如，宠物猫和宠物狗的语言表达相对于人类语言更简单，可以把它们的语言转换成人类理解和思考的方式表现出来。
为此，我们在瑞萨定位于AI应用的MPU芯片RZ/V2H，适配了DeepSeek-R1:1.5B的LLM模型，以支撑这些潜在的AI应用。
瑞萨RZ/V2H硬件平台简介
在演示用例中，使用瑞萨官方的RZ/V2H-EVK开发板，如图1所示。
[img]https://ramcu-cn.oss-cn-shenzhen.aliyuncs.com/0429b64022815658c745644b8c205c04_1747208690.png" > 图1 瑞萨官方RZ/V2H-EVK开发板
板载丰富的外扩资源，如图2所示。
[img]https://ramcu-cn.oss-cn-shenzhen.aliyuncs.com/d12da509b67d9bdd28afbd2a6d66f012_1747208780.png" > 图2 RZ/V2H-EVK开发板板载资源
[img]https://ramcu-cn.oss-cn-shenzhen.aliyuncs.com/73ebb61ba32bd3174dae4f0d8b7532fa_1747208895.png" > 图3 RZ/V2H处理器系统框图
下载、配置和启动DeepSeek-R1
RZ/V2H-EVK开发板已经适配了Yocto Linux操作系统，在此基础上，使用Ollama官方推荐的方式，可以完成部署并运行DeepSeek-R1大模型。
使用可以联通外部网络的路由器，用网线将RZ/V2H-EVK电路板和PC连起来，确保RZ/V2H-EVK电路板和电脑可以联网，并可互相访问。对RZ-V2H-EVK电路板的配置工作，将通过电脑完成。
在电脑上，通过Tera Term工具（或者其它SSH工具）连接到开发板。在终端中，使用脚本安装并启动Ollama服务：
[img]https://ramcu-cn.oss-cn-shenzhen.aliyuncs.com/9b71cf778c6c40ee2bbb84ba8e1da6a7_1747208993.png" >
通过Ollama启动DeepSeek-R1模型。注意，在第一次运行命令时，会自行下载DeepSeek-R1模型文件。在此过程中，需要确保联网情况良好。
[img]https://ramcu-cn.oss-cn-shenzhen.aliyuncs.com/29f2cc41018504d58e3a0b38f1d908fb_1747209020.png" >
下载完成之后，自行启动DeepSeek-R1模型。后续运行这个命令载入模型时，就不需要联网了。
载入模型成功后，可以看到命令行中有提示信息“Send a message（/? for help）”。此时，可以向运行在RZ/V2H-EVK电路板上的离线版DeepSeek提问了。
[img]https://ramcu-cn.oss-cn-shenzhen.aliyuncs.com/dde4e63725cfe81f32a046f0606d90b1_1747209055.png" > 图4 在RZ/V2H上启动DeepSeek-R1
运行演示
在启动DeepSeek-R1后，我们问了第一个问题"介绍一下你自己"，接下来，请看RZ/V2H-EVK电路板的反应：
从视频中可以看到，DeepSeek-R1大模型已经成功运行在RZ/V2H-EVK电路板上。
接下来，让我们期待更多基于瑞萨产品和DeepSeek开发出的有趣应用吧。
| 
