在支持主流 AI 大模型方面，K1 芯片有哪些优势？

发表于 2025-8-19 10:46

在支持主流 AI 大模型方面，K1 芯片相比其他同类型 AI 芯片，在模型加载速度和运行效率上有哪些优势，是通过何种技术手段达成的？

发表于 2025-9-2 14:31

K1 芯片能够快速部署 AI 模型，使用 Python 调用和执行一个开源模型，只要不到 10 行代码，就可以快速部署一个 AI 模型。并且理论上能够支持所有的公开 onnx 模型，已累计验证了约 150 个模型的优化部署，timm、onnx modelzoo、ppl modelzoo 等开源模型仓库的支持通过率接近 100%。

发表于 2025-9-2 16:10

K1 芯片通过复用 X86 成熟的 AI 推理软件栈，把底层核心算子改用 RISC-V Vector 和 AI 指令，其余部分复用 CPU 推理软件栈，从而快速接入国际主流的 AI 推理生态，降低了模型部署的难度和门槛，加快了模型加载速度。

发表于 2025-9-2 17:13

在运行同样 AI 模型时，K1 动态执行指令数仅为 ARM 的 20% 左右，AI 性能得到极大提升。K1 芯片运行主流的 5 亿参数大模型可以实现每秒 20 个 token 的优异性能。

发表于 2025-9-2 19:33

其实K1 芯片遵循 RISC-V 基金会 IME Task Group 的规则，复用 Vector 寄存器实现了 16 条 AI 指令，其中 4 条矩阵乘指令可以加速包括矩阵乘和卷积计算，12 条滑窗矩阵乘指令采用了首创的寄存器内数据拼接技术，可以将卷积计算时的计算访存比提高 50%，在提高端侧 AI 模型性能的同时降低了 AI 计算功耗。

发表于 2025-9-3 11:54

基于 RISC-V Vector 1.0 标准，K1 芯片的 X60™智算核可以提供 2 倍于 ARM Neon 的 256-bit SIMD 并行处理算力，在图像预处理、颜色空间转换、图形学等算法性能上，是 ARM Cortex-A55 的 1.5 倍。

[其他] 在支持主流 AI 大模型方面，K1 芯片有哪些优势？

相关帖子

浏览过的版块