能跑大模型的开发板推荐

发表于 2024-7-3 17:53

最近学习了大模型相关的课程，想做一款智能硬件设备，想问大家有没有带npu的开发板推荐，要能在硬件上跑轻量大模型，尺寸尽可能小一点的。

发表于 2024-7-3 21:54

国外的可以了解英伟达的，国产的可以了解一下华为的昇腾处理器系列。

登录 · 发表于 2024-7-4 14:25

发表于 2024-7-4 14:51

天意无罪发表于 2024-7-3 21:54
国外的可以了解英伟达的，国产的可以了解一下华为的昇腾处理器系列。

好的谢谢，我去了解一下英伟达的，昇腾系列的板子性能很好，价格略高，尺寸也相对大了，我想做的是智能眼镜这方面的

发表于 2024-7-4 14:52

我滴神啊发表于 2024-7-4 14:25

好的谢谢，我去了解一下

发表于 2024-7-6 09:29

Iceneko 发表于 2024-7-4 14:51
好的谢谢，我去了解一下英伟达的，昇腾系列的板子性能很好，价格略高，尺寸也相对大了，我想做的是智能眼 ...

是智能VR头盔还是眼镜哦？如果是眼镜英伟达的芯片尺寸和功耗你hold得住？

发表于 2024-7-6 19:08

天意无罪发表于 2024-7-6 09:29
是智能VR头盔还是眼镜哦？如果是眼镜英伟达的芯片尺寸和功耗你hold得住？ ...

想做一款智能眼镜类似meta rayban眼镜，但现在好像市面上似乎还没有这种产品，可能没有适合产品需求的芯片？

发表于 2024-7-7 17:29

Iceneko 发表于 2024-7-6 19:08
想做一款智能眼镜类似meta rayban眼镜，但现在好像市面上似乎还没有这种产品，可能没有适合产品需求的芯 ...

像meta rayban这种智能眼镜一般都是专用设计芯片，都是客制化定制的。

发表于 2024-7-8 20:29

天意无罪发表于 2024-7-7 17:29
像meta rayban这种智能眼镜一般都是专用设计芯片，都是客制化定制的。

是的，我们端侧跑了一下自己部署的大模型，效果也不是很好，估计可能还是要用蓝牙或者wifi模块跟手机相连，在云端去完成任务再返回，而且考虑眼镜产品质量功耗发热这些问题，只把眼镜当做一个信息接收传递工具吧。

发表于 2024-9-6 11:46

可以考虑直接接云端的大模型，这样开发量更小，时间和成本也容易控制，信息参考：https://bbs.21ic.com/icview-3399072-1-1.html