群发资讯网

一个5.6GB的低拒答开源模型

Hugging Face 上最近出现了一个挺有意思的模型,主打本地运行和低拒答率。

项目基于 Qwen3.5 9B,据作者介绍,还使用了 DeepSeek-V4-Pro 的蒸馏数据,并通过 Heretic 的 ARA 方法调整模型的拒答行为。

几个值得关注的点:

① 拒答率明显降低
项目方称,在100条测试提示词中,原版全部拒答,调整后的模型仅拒答3条。

② 加入推理蒸馏数据
据称使用了约25万条 DeepSeek-V4-Pro 生成的数据,重点提升逻辑与数学推理表现。

③ 尝试减少能力损失
通过 ARA 方法调整模型的安全限制,项目方称推理能力基本保留,但仍需要独立评测验证。

④ 支持本地部署
Q4 量化版本约5.6GB,部分消费级电脑也有机会运行,具体速度和内存占用取决于硬件配置。

项目页面标注 Apache 2.0 协议,实际使用还需核对模型权重及蒸馏数据的授权条件。

这类模型值得关注的地方,是开发者正在尝试同时兼顾本地部署、推理能力和更灵活的响应行为。

不过,低拒答率不等于模型更准确,也不代表所有输出都安全。

#HuggingFace #Qwen3 #DeepSeek #开源模型 #本地大模型 #AI工具 #ai #howto入门codex #大模型