最新消息,华为将于8月12日在2025金融AI推理应用落地与发展论坛上,发布AI推理领域的突破性技术成果。
据透露,这项成果或能降低中国AI推理对HBM(高带宽内存)技术的依赖,提升国内AI大模型推理性能,完善中国AI推理生态的关键部分。
业内人士表示,当前AI产业已从“追求模型能力的极限”转向“追求应用价值的最大化”,推理成为AI下一阶段的发展重心。
HBM(High Bandwidth Memory,高带宽内存)是一种基于3D堆叠技术的先进DRAM解决方案,多层DRAM芯片垂直集成,显著提升数据传输效率。具有超高带宽与低延迟、高容量密度、高能效比等优势。
AI推理需频繁调用海量模型参数(如千亿级权重)和实时输入数据。HBM的高带宽和大容量允许GPU直接访问完整模型,可避免传统DDR内存因带宽不足导致的算力闲置。对于千亿参数以上的大模型,HBM可显著提升响应速度。
当下,HBM已成为高端AI芯片的标配,训练侧渗透率接近100%,推理侧随模型复杂化加速普及。
然而,其产能紧张和美国出口限制倒逼国内厂商探索Chiplet封装、低参数模型优化等替代方案。
在线留言询价
型号 | 品牌 | 询价 |
---|---|---|
TL431ACLPR | Texas Instruments | |
CDZVT2R20B | ROHM Semiconductor | |
RB751G-40T2R | ROHM Semiconductor | |
BD71847AMWV-E2 | ROHM Semiconductor | |
MC33074DR2G | onsemi |
型号 | 品牌 | 抢购 |
---|---|---|
BP3621 | ROHM Semiconductor | |
TPS63050YFFR | Texas Instruments | |
ESR03EZPJ151 | ROHM Semiconductor | |
IPZ40N04S5L4R8ATMA1 | Infineon Technologies | |
BU33JA2MNVX-CTL | ROHM Semiconductor | |
STM32F429IGT6 | STMicroelectronics |
AMEYA360公众号二维码
识别二维码,即可关注
请输入下方图片中的验证码: