|
|
![]() |
![](https://www.design-reuse-china.com/IMAGES/Homepage/news_header.gif)
HBM内存与AI处理器为何能相得益彰?
AI和ML推理的主流化导致了HBM的主流化。但是,AI和HBM之间密切相依的这段"恋情"最初是如何开始的呢?
www.ednchina.com/, May. 28, 2024 –
高带宽内存(HBM)芯片由于能够有效地处理具有较高内存要求的复杂算法,因而改变了人工智能(AI)应用的游戏规则。此外,HBM还解决了内存带宽这一关键瓶颈,更成为AI应用中的主要构建模块。
三星电子内存产品规划团队首席工程师Jinhyun Kim指出,AI和机器学习(ML)推理的主流化导致了HBM的主流化。但是,AI和HBM之间密切相依的这段"恋情"最初是如何开始的呢?
正如Objective Analysis首席分析师Jim Handy所说,GPU和AI加速器有着令人难以置信的高带宽需求,而HBM能够帮助它们达到目的。"如果你尝试使用DDR来完成这项任务,最终将必须使用多个处理器,而无法只以一个处理器来完成同样的工作,而且处理器的成本最终将超过你从DRAM所节省的成本。"
AI模型需要同时处理大量数据,而DRAM芯片越来越难以跟上复杂的AI模型日益增加的要求。另一方面,HBM芯片采用3D堆叠架构,提供明显高于传统DRAM的带宽,从而有利于缩短数据路径,加快了处理器与内存之间的通信速度。
这使得AI应用可以在更大、更复杂的数据集上进行训练,进而建立更准确且更强大的模型。此外,作为3D堆叠DRAM的内存接口,HBM可堆叠多达八个DRAM芯片和一个可选的基础芯片(其中包含缓冲电路和测试逻辑),在外形尺寸上明显小于DDR4或GDDR5,并因而降低了功耗。
接下来,每一代HBM都会根据最新GPU、CPU和FPGA的发布情况进行改进。例如,HBM3的带宽跃升至819GB/s,每个HBM堆栈的最大密度增至24GB,以管理更大的数据集。
AI应用中的神经网络需要大量数据进行处理和训练,仅训练集每年就增长约10倍。这意味着对HBM的需求可能会进一步增长。
值得注意的是,HBM芯片的市场仍在不断发展中,而且HBM芯片并不局限于AI应用。这些内存芯片在高性能计算(HPC)和数据中心等的应用也正与日俱增。
点击阅读更多