算力即计算能力，具体指硬件对数据收集、传输、计算和存储的能力，算力的大小表明了对数字化信息处理能力的强弱，常用计量单位是FLOPS（Floating-pointoperationspersecond），表示每秒浮点运算次数。
当前大模型的训练和推理多采用GPGPU。GPGPU是一种由GPU去除图形处理和输出，仅保留科学计算、AI训练和推理功能的GPU。GPU芯片最初用于计算机系统图像显示的运算，但因其相比于擅长横向计算的CPU更擅长于并行计算，在涉及到大量的矩阵或向量计算的AI计算中很有优势，GPGPU应运而生。
在这波ChatGPT浪潮中长期押注AI的英伟达可以说受益最多，ChatGPT、包括各种大模型的训练和推理，基本都采用英伟达的GPU。目前国内多个厂商都在布局GPGPU，包括天数智芯、燧原科技、壁仞科技、登临科技等，不过当前还较少能够应用于大模型。
事实上业界认为，随着模型参数越来越大，GPU在提供算力支持上也存在瓶颈。在GPT-2之前的模型时代，GPU内存还能满足AI大模型的需求，近年来，随着Transformer模型的大规模发展和应用，模型大小每两年平均增长240倍，实际上GPT-3等大模型的参数增长已经超过了GPU内存的增长。传统的设计趋势已经不能适应当前的需求，芯片内部、芯片之间或AI加速器之间的通信成为了AI计算的瓶颈。而存算一体作为一种新型架构形式受到关注，存算一体将存储和计算有机结合，直接在存储单元中处理数据，避免了在存储单元和计算单元之间频繁转移数据，减少了不必要的数据搬移造成的开销，不仅大幅降低了功耗，还可以利用存储单元进行逻辑计算提高算力，显著提升计算效率。
大模型的训练和部署不仅对算力提出了高要求，对能耗的要求也很高，从这个角度来看，存算一体降低功耗，提升计算效率等特性在大模型方面确实更具优势。
因为独具优势，过去几年已经有众多企业进入到存算一体领域，包括知存科技、千芯科技、苹芯科技、后摩智能、亿铸科技等。各企业的技术方向也有所不同，从介质层面来看，有的采用NORFlash，有的采用SRAM，也有的采用RRAM。 |
楼主
标题置顶
标题高亮
