HBM内存与AI处理器为何能相得益彰？

搜索最新SoC解决方案
关于汽车电子...物联网...安全...音频...视频

AI和ML推理的主流化导致了HBM的主流化。但是，AI和HBM之间密切相依的这段"恋情"最初是如何开始的呢？

www.ednchina.com/, May. 28, 2024 – 

高带宽内存(HBM)芯片由于能够有效地处理具有较高内存要求的复杂算法，因而改变了人工智能(AI)应用的游戏规则。此外，HBM还解决了内存带宽这一关键瓶颈，更成为AI应用中的主要构建模块。

三星电子内存产品规划团队首席工程师Jinhyun Kim指出，AI和机器学习(ML)推理的主流化导致了HBM的主流化。但是，AI和HBM之间密切相依的这段"恋情"最初是如何开始的呢？

正如Objective Analysis首席分析师Jim Handy所说，GPU和AI加速器有着令人难以置信的高带宽需求，而HBM能够帮助它们达到目的。"如果你尝试使用DDR来完成这项任务，最终将必须使用多个处理器，而无法只以一个处理器来完成同样的工作，而且处理器的成本最终将超过你从DRAM所节省的成本。"

AI模型需要同时处理大量数据，而DRAM芯片越来越难以跟上复杂的AI模型日益增加的要求。另一方面，HBM芯片采用3D堆叠架构，提供明显高于传统DRAM的带宽，从而有利于缩短数据路径，加快了处理器与内存之间的通信速度。

这使得AI应用可以在更大、更复杂的数据集上进行训练，进而建立更准确且更强大的模型。此外，作为3D堆叠DRAM的内存接口，HBM可堆叠多达八个DRAM芯片和一个可选的基础芯片(其中包含缓冲电路和测试逻辑)，在外形尺寸上明显小于DDR4或GDDR5，并因而降低了功耗。

接下来，每一代HBM都会根据最新GPU、CPU和FPGA的发布情况进行改进。例如，HBM3的带宽跃升至819GB/s，每个HBM堆栈的最大密度增至24GB，以管理更大的数据集。

AI应用中的神经网络需要大量数据进行处理和训练，仅训练集每年就增长约10倍。这意味着对HBM的需求可能会进一步增长。

值得注意的是，HBM芯片的市场仍在不断发展中，而且HBM芯片并不局限于AI应用。这些内存芯片在高性能计算(HPC)和数据中心等的应用也正与日俱增。

 Back