|
基于 RISC-V 指令集的高性能、高能效人工智能解决方案的领先开发商Esperanto Technologies今天宣布，它已经移植并正在运行一系列生成式AI 在其低功耗 RISC-V 硬件上建模。Esperanto 计划为 RISC-V 社区的研究人员提供访问权限，作为该公司帮助更广泛行业“人工智能民主化”并帮助加速 RISC-V 生成人工智能技术开发的使命的一部分。
这一发展是 Esperanto 将 RISC-V 技术在人工智能和通用应用程序中的优势从云扩展到边缘的战略的一部分。Esperanto 的生成式 AI 工作的重点领域包括大型语言模型 (LLM) 的用例，其中与现有产品相比，使用低功耗硬件并降低总拥有成本 (TCO) 是关键。
特别是，Meta 的Open Pre-Trained Transformer (OPT) 模型的多个版本现在以多种精度级别和上下文大小在 Esperanto 的硬件上运行，功率级别低至每芯片 25W 以进行推理。Esperanto 的机器学习软件开发套件支持将 OPT 模型快速移植到 ET-SoC-1 芯片上，该公司的商业客户目前正在使用该套件。出于研发目的获准访问 Esperanto 解决方案的研究人员将需要遵守 Meta 的开源许可以及其他计划条款。
Esperanto Technologies 总裁兼首席执行官 Art Swift 表示：“生成式 AI 是机器学习领域的最新进展之一，我们很高兴将我们在大型语言模型领域的努力贡献给 RISC-V 研究社区。”
“Penguin Computing 很荣幸成为 Esperanto 的战略合作伙伴，帮助加速部署高性能、低功耗的生成式 AI 解决方案，”Penguin Solutions 总裁兼 Smart Global Holdings 智能平台解决方案高级副总裁 Thierry Pellegrino 说。“我们很高兴与 Esperanto 合作，将其 RISC-V 解决方案的部署扩展到更广泛的客户群，这些客户正在寻找低功耗人工智能推理解决方案并降低总拥有成本。”
“对 RISC-V 日益增长的兴趣标志着半导体行业的一个重要转折点。生成 AI 领域的这一发展将进一步加速 RISC-V 的评估，研究人员在这个激动人心的领域寻求突破，开发人员寻求增加现有平台无法提供的竞争优势，”该公司首席执行官兼首席执行官 Ben Bajarin 说。
RISC-V International 首席执行官 Calista Redmond 表示：“RISC-V 为协作和定制提供了无与伦比的机会，使其非常适合下一波人工智能创新。” “Esperanto 是该领域的领先公司之一，它突破了性能和能效的极限，使生成式 AI 开发更容易获得。”
对于商业客户，Esperanto 目前正在交付 AI 评估服务器，这些服务器提供高性能、高能效和低 TCO。每个 Esperanto 评估服务器均采用标准 2U 高外形规格，包括双 Xeon 主机处理器和 8 或 16 个 ET-SoC-1 PCIe 卡。每个 Esperanto PCIe 卡都有超过 1,000 个 64 位 RISC-V CPU，并附有矢量/张量单元，每台服务器最多可提供 16,000 个 RISC-V CPU。Esperanto 的评估服务器使客户能够从运行各种行业标准 AI 模型中获取性能和功率数据，以及自带模型和数据的能力。
| 
楼主
标题置顶
标题高亮
