群发资讯网

在本地跑glm 5.3 flash。其实本地部署,本质上是不划算的,建议大家不要尝试,就是折腾,没有经济意义。 我算过了,电费差不多跟买云端api的费用持平,云端api,速度还更快一些(意味着完成工作量更多),加上gpu的折旧,其实是不划算的,而且是非常不划算。特别是用贵的卡,更加不划算。如果用便宜的 ​

在本地跑glm 5.3 flash。其实本地部署,本质上是不划算的,建议大家不要尝试,就是折腾,没有经济意义。

我算过了,电费差不多跟买云端api的费用持平,云端api,速度还更快一些(意味着完成工作量更多),加上gpu的折旧,其实是不划算的,而且是非常不划算。特别是用贵的卡,更加不划算。如果用便宜的卡,它跑不快,也是不划算。

所以本地部署,基本就是一个结局,电费跑不赢云端api费用。

本地部署的意义,是搞一些小规模的训练(大规模的肯定搞不起)和微调。先熟悉部署,后熟悉训练,熟悉训练框架,学习而已。

我感觉,现在最实惠且稳定的套餐,还是opencode go。

今天算了glm 5.3 flash的官方价格,发现它套餐的价格,大致相当于api价格打五折(基本是正好五折,应该是刻意这么安排的)。而opencode go的算法,也很简单,就是10美元用60美元的额度,套餐额度中的消耗量,按官方api的价格一样计算。说白了,等于官方api价格打1.67折(六分之一价格)。

command line goat套餐,也是10美元(算手续费11美元),它的glm 5.3 flash跟opencode code go一样,也是10美元用60美元额度,但是经常连不上,有时候10分钟都不能来回一次,反复出错,烦的不行,所以没有意义。

其它云服务商,有比opencode go更便宜的,但名气不大,不敢用(不知道是否以次充好),而且也没有便宜到哪里去,最便宜也就是10美元用70/80美元额度。没啥优势,我就懒得去一一踩坑了。

国内的其它大厂的套餐没有尝试过,应该不会比opencode go便宜。不过,我倒是希望找个备胎。