经过一上午的调优,洋垃圾设备 3xTesla V100 (64GB=16/32/16GB)+ Xeon E5-2696+ 63.8GB RAM, 跑Qwen3.8-27B-Q4_K_M。prefill 800tps,生成35tps 。上下文拉满256k。很满意了,已优化到极限。
以下是我的参数:set LLAMA=C:\llama.cpp\llama-sm70-master\llama-server.exe
set MODEL=D:\models\lmstudio-community\Qwen3.8-27B-GGUF\Qwen3.8-27B-Q4_K_M.gguf
set NGL=65
set CTX=262144
set CTK=q8_0
set CTV=q4_0
set PORT=8084
set THREADS=44
set TEMP=0.7
set TOP_P=0.9
set REPEAT=1.1
-fa auto --context-shift -b 4096 -ub 2048 --temp %TEMP% --top-p %TOP_P% --repeat-penalty %REPEAT% -sm layer -ts 1,2,1 -t %THREADS% --port %PORT% --spec-type draft-mtp --spec-draft-n-max 2 --parallel 1 -n 8192 --reasoning-budget 4096 --reasoning-effort medium
经过一上午的调优,洋垃圾设备 3xTesla V100 (64GB=16/32/16GB)+ Xeon E5-2696+ 63.8GB RAM, 跑Qwen3.8-27B-Q4_K_M。prefill 800tps,生成35tps 。上下文拉满256k。很满意了,已优化到极限。 以下是我的参数:s
阅读:0
点赞:0