内存价格是降不下来了 谷歌AI芯片直接上2PB HBM:成功打破内存墙


快科技4月26日消息,内存价格这一年来涨了3-5倍,已经严重影响了大家对PC和手机的消费意愿,而导致这次内存大涨价的元凶就是AI需求太猛。

大家都知道AI对内存(GPU上算显存)的容量及带宽要求都很高,但具体能高到什么程度?谷歌前几天发布的第八代TPU就是最好的例子。

今年的TPU v8首次针对训练及推理做了区分,V8T偏重AI训练,虽然谷歌说也可以做推理,但主要还是训练用的,每个Pod节点堆了9600个V8T芯片,FP4性能达到了121EFlops,内存带宽19.2TB/s,芯片内部带宽400GB/s,几乎都是2-4倍的变化。

V8i主要面向AI推理负载,规格上要降不少,每个节点只有1152个V8i芯片,算力降低到了11.6EFlops,内存带宽19.2TB/s没变。

值得注意的是,内存容量这次猛增了不少,V8i也达到331.8TB HBM内存,V8T更是夸张到了2PB HBM内存,每个V8T芯片配备了216GB HBM内存。

谷歌这次的设计理念是为了打破AI瓶颈的内存墙,2PB HBM不止是总容量超大那么简单,是在一个节点内作为单一全局地址使用,而NVIDIA的GPU此前虽然也能通过NVLink等技术堆出PB级的HBM内存,但连接也绕不过传统的数据中心网络,这会有性能及延迟瓶颈问题。

RobustCloud首席顾问Larry Carvalho表示,打破“内存墙”标志着谷歌在AI芯片领域的潜在重大竞争转变。

但是对普通人来说,谷歌这次上2PB HBM内存可不是什么好现象,因为这意味着AI对内存的需求还在涨,要知道HBM内存通常要比常规的DDR内存多消耗2-4倍的DRAM芯片产能,HBM用量越多,挤占的DDR内存产能就越多。

即便需求高涨,三星、SK海力士、美光等公司也会优先保证HBM需求,但他们此前明确了不会大幅提升芯片产能,显然内存芯片的紧缺状态还会更严重,价格是别指望快速降回来了。

【本文结束】如需转载请务必注明出处:快科技

责任编辑:宪瑞

]article_adlist–>

            <!-- 非定向300*250按钮    17/09  wenjing  begin -->
            <!-- 非定向300*250按钮  end -->
        </div>



Source link

未经允许不得转载:紫竹林-程序员中文网 » 内存价格是降不下来了 谷歌AI芯片直接上2PB HBM:成功打破内存墙
关于我们 免责申明 意见反馈 隐私政策
程序员中文网:公益在线网站,帮助学习者快速成长!
关注微信 技术交流
推荐文章
每天精选资源文章推送
推荐文章
随时随地碎片化学习
推荐文章
发现有趣的