打印
[技术讨论]

【实测】用全志A733平板搭建一个端侧Deepseek算力平台

[复制链接]
239|0
手机看帖
扫描二维码
随时随地手机跟帖
跳转到指定楼层
楼主
神棍地海棠|  楼主 | 2025-2-13 10:18 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

随着DeepSeek 的蒸馏技术的横空出世,端侧 SoC 芯片上运行大模型成为可能。那么端侧芯片跑大模型的效果如何呢?本文将在全志 A733 芯片平台上部署一个 DeepSeek-R1:1.5B 模型,并进行实测效果展示。

端侧平台环境

设备:全志A733平板

系统:Android 15

DDR: 8GB LPDDR5 @2400MHz

Flash:128GB UFS3.0

测试模型:Deepseek-R1-Distill-Qwen-1.5B

!

首先,我们测试AI经典哲学问题“你是谁?”

!![]()

!![]()

输入运行命令之后可看到模型运行起来了,此时我们就可以开始和Deepseek对话了。

从实拍视频可以看到,这个输出速度基本可以满足正常对话的交互体验。

然后我们要求Deepseek“快速写一段代码计算1-9999的和”

实测视频如下:

!![]()

可以看到,Deepseek会先对题目进行分析,他很快就分辨出了这是一个经典的等差数列求和问题,并给出了计算公式。

然后,可以看到在没有指定编程语言的情况下,Deepseek默认使用python写出了计算代码。

最后,Deepseek对整个解题思路进行了归纳总结。

我们再尝试解一个一元二次方程:“求解方程x^2+4x+4=0”

实测视频如下:

!![]()

同样,Deepseek也是快速理清了题意,判别出了这是一个解一元二次方程的题目,并给出了求解公式。

然后Deepseek知道先对方程进行重根判别,判别出这道题是只有一个重根的。

最后,Deeepseek 将题目代入公式进行求解,马上便得出了正确的计算结果。

经测试,可以得出结论是Deepseek-R1-Distill-Qwen-1.5B 是可以在全志A733芯片平台的平板电脑上较流畅地运行的,并且可以让Deepseek拥有中学生级别的逻辑推理能力。而这才是一个开始。后续,随着量化技术的不断发展,模型的体积和计算复杂度将进一步降低,从而更好地适应端侧设备的资源限制。未来,我们期待 DeepSeek 在更多场景中发挥其强大的功能,为用户提供更加智能和便捷的体验。

使用特权

评论回复

相关帖子

发新帖 我要提问
您需要登录后才可以回帖 登录 | 注册

本版积分规则

284

主题

292

帖子

1

粉丝