GPU的有效生命周期有多长?尤其是在AI时代,GPU产品的推出速度越来越快,一两年就要迭代一次,有必要每次都跟着升级吗?
你可能会认为,依靠“卖铲子”发大财的NVIDIA CEO黄仁勋,会鼓励大家紧跟着升级,随时买他家最新的GPU。
但事实上并非如此,黄仁勋反而认为GPU的寿命更长了。
持有这种观点也不是他一个人,马斯克,还有公认的半导体领域知名投资人加文·贝克(Gavin Baker),都认为GPU不再像传统设备那样持续贬值。
率先提出这一观点的其实是马斯克。
他在近日的SpaceX三季度财务电话会议上,清晰阐述了GPU不再快速贬值的底层逻辑:
随着AI模型持续迭代优化,同样的GPU硬件,能够输出更高的每瓦有效智能(useful intelligence per watt)。
他说:“单位功耗的算力价值,会随时间不断增加,而不是持续减少。道理其实很直白:随着AI软件持续优化、模型越来越强,同样的功耗下,你能获得更多具有实际价值的智能输出。算力的价值,和它每瓦功耗产出的有效智能成正比。这也就是为什么,H100这样的老卡,现在的租赁价格甚至高于新品刚上市的时候。”
在德国柏林的GTC大会上,黄仁勋也聊到了这个话题,而且说的更加明确。
黄仁勋认为,过去普遍认为,GPU的生命周期只有4年,现在很可能拉长到8年,甚至更久。
他表示:“这正是我们的优势之一:NVIDIA计算系统的通用性极强,性能足够出色,能够长期创造价值。依托软件可编程的特性,我们会在硬件的整个生命周期里,持续迭代配套软件、不断优化,让它长期保持生产力。”
黄仁勋进一步指出,不管什么客户,永远都有企业愿意承接这些算力,使得GPU不但可以跨场景通用,而且资产寿命更持久,从而带来更好的投资回报率。
加文·贝克在柏林GTC的交流环节也提出,随着Token单价的持续降低,GPU的租赁价格反而更高了,而且涨价速度极快。
他解释说,这是因为同样单位时间的GPU算力,现在可以产出更多的高价值Token,因此算力本身变得更值钱了,GPU的价值也更加持久。
这种现象的背后,很大一部分来自AI推理业务的经济模型变化。
黄仁勋就提到,建设1吉瓦规模的AI算力集群,需要投入约500亿美元,但是每年可以带来约400亿美元的营收,投资回报周期只有短短的一年出头。
马斯克则明确指出,SpaceX目前只做短期的算力租赁,核心就是算力经济的变化,1吉瓦AI算力的估值已经高达300-500亿美元,甚至不到一年就可以回本,所以在短期租赁合约到期之后,续签的租金越来越高了。
根据Silicon Data的研究报告,NVIDIA A100、H100、B200等老款GPU到如今不但没有被忘记和淘汰,反而更值钱了,都远高于3年、5年直线折旧模型测算的剩余价值。
A100基于Ampere架构,首款把千亿参数大模型训练带入商业可行区间的AI加速卡,配备40/80GB显存。
它是2020年中发布并量产交付的,距今已有6年之久,按说早该被淘汰了,应该一文不值才对。
H100基于Hopper架构,堪称AI大模型爆发的核心分水岭产品,重塑了大模型训练的成本曲线,最大亮点是原生支持FP8精度。
H100 2022年3月发布,当年第三季度开始交付,如今也过去了4年,按照传统观念正好到了生命周期的末尾。
报告显示,A100、H100当前的价值,仍有原始采购成本的25%、58%。
B200基于新的Blackwell架构,2024年3月才发布,年底批量供货。
结果到了今天,B200的价值甚至是原始采购成本的158%!
也就是说,如今买个二手B200,要比首发价多花58%的钱!