群发资讯网

#AI Cube# 小米这次发布的AI Cube,是个很不错的产品设计。它可能会成为今后AI PC的一种设计范式。 本地部署AI的痛点是什么?1.显存不够大 2.显存大但带宽低 dgx spark和ai max,都是显存大,而带宽低。结果就是,推理速度受限于200gb/s的带宽,30b模型,单发只能不到 30tok/s,还不如3000元的v100 ​

AI Cube 小米这次发布的AI Cube,是个很不错的产品设计。它可能会成为今后AI PC的一种设计范式。

本地部署AI的痛点是什么?1.显存不够大 2.显存大但带宽低

dgx spark和ai max,都是显存大,而带宽低。结果就是,推理速度受限于200gb/s的带宽,30b模型,单发只能不到 30tok/s,还不如3000元的v100,4000元的3090,用户花三万多买了个电子垃圾,只能安装大模型,但不能跑大模型。

而小米的AI cube,把统一内存的带宽堆到1.22TB,容量堆到了80g/160g,据说,是把内存直接堆叠到npu附近,从而达到了超高带宽。这就意味着,本地部署30B级别大模型,比如qwen 3.8 27b,有望达到100 tok/s的速度。

这就让本地ai pc有了实用价值。不再是昂贵的玩具。

然后,160g的统一内存,如果按惯例,可以把120g分配给gpu,那么,120g显存,可以部署很多大模型了。比如,qwen 3.8 flash next,也是可以尝试的。而qwen 3.8 flash next,是当前最强的flash级别开源模型。

唯一令人担心的是,小米ai cube的软件生态,是否能充分发挥它的硬件算力。毕竟,AI的软件生态,严重绑定在cuda体系上,对小米的这种边缘硬件,恐怕不会大力支持。

但是,小米即使这个产品不能成功,也会刺激nvidia和amd,拿出点像样的产品,别老是拿200gb级别的垃圾挤牙膏,还跟用户吹牛逼,说产品是未来之光。他们不是不能做,是怕影响自家昂贵显卡的销路。是怕用户自己买了推理设备,对ai云端算力的需求就会减少,它们的显卡就卖不动了。

所以,小米至少是把ai pc这个市场的硬件规格,提高了一个档次。以后dgx spark和ai max 395这类电子垃圾没人问津了。那些骗流量骗钱的自媒体也吹不动了。

总而言之,对小米AI cube的设计,五星好评。它极好的响应了AI PC市场用户的真实需求。AI PC市场,需要这个搅局者。