刚看到DeepSeek把自家内部推理框架DeepInfer开源了啊!
之前其实一直有个卡点:DeepSeek模型权重虽然放开了,谁都能下载部署,但不管怎么折腾优化,跑出来的成本就是打不过官方API。很多云厂商也就不太愿意推这套模型——自己部署出来没价格优势,根本没法跟DeepSeek官方渠道竞争。
这次不一样了,他们把压箱底、用来压低推理成本的DeepInfer直接放到GitHub上。按他们公开的数据,靠这套框架,单卡每小时能做到38美元的收益;对比下,B200常规租赁回报大概也就每小时10美元。
等于把自己最核心的效率方案拿出来分享,给所有做部署、做云服务的同行递了一把利器。以后咱们自己部署DeepSeek模型,终于有机会摸到官方级别的成本线了。
你们觉得,这个开源,会不会让DeepSeek在国内云市场的普及率再上一个台阶?
DeepSeek人工智能
