Hugging Face 上最近出现了一个挺有意思的模型,主打本地运行和低拒答率。
项目基于 Qwen3.5 9B,据作者介绍,还使用了 DeepSeek-V4-Pro 的蒸馏数据,并通过 Heretic 的 ARA 方法调整模型的拒答行为。
几个值得关注的点:
① 拒答率明显降低
项目方称,在100条测试提示词中,原版全部拒答,调整后的模型仅拒答3条。
② 加入推理蒸馏数据
据称使用了约25万条 DeepSeek-V4-Pro 生成的数据,重点提升逻辑与数学推理表现。
③ 尝试减少能力损失
通过 ARA 方法调整模型的安全限制,项目方称推理能力基本保留,但仍需要独立评测验证。
④ 支持本地部署
Q4 量化版本约5.6GB,部分消费级电脑也有机会运行,具体速度和内存占用取决于硬件配置。
项目页面标注 Apache 2.0 协议,实际使用还需核对模型权重及蒸馏数据的授权条件。
这类模型值得关注的地方,是开发者正在尝试同时兼顾本地部署、推理能力和更灵活的响应行为。
不过,低拒答率不等于模型更准确,也不代表所有输出都安全。
#HuggingFace #Qwen3 #DeepSeek #开源模型 #本地大模型 #AI工具 #ai #howto入门codex #大模型
