跑端侧推理，还得靠CPU

只看该作者 · 2024-7-30 11:09

虽然加速计算能力比不上GPU，但擅长处理操作系统、系统软件与应用程序等复杂指令调度、循环、分支、逻辑判断与执行的任务。

只看该作者 · 2025-2-28 23:24

CPU也能处理很多AI任务，甚至是较为复杂的推理任务。

只看该作者 · 2025-3-4 07:31

端侧不一定是CPU，GPU也可以。

只看该作者 · 2025-3-5 09:06

huquanz711 发表于 2025-3-4 07:31
端侧不一定是CPU，GPU也可以。

感谢回复。

只看该作者 · 2025-3-5 09:06

原来是wjc 发表于 2025-2-28 23:24
CPU也能处理很多AI任务，甚至是较为复杂的推理任务。

感谢回复。

只看该作者 · 2025-3-7 22:57

你是说电脑CPU还是啥？端侧的功耗有限啊。

只看该作者 · 2025-3-8 23:13

关注。

只看该作者 · 2025-3-9 21:46

对于边缘计算或嵌入式系统，CPU在端侧推理中仍然扮演着关键角色。

只看该作者 · 2025-3-9 22:03

推理任务主要依赖cpu来完成。CPU在这个过程中起着关键作用。

只看该作者 · 2025-3-12 18:14

确实，有些应用在边缘计算中进行推理时，得靠CPU来完成推理任务。