跳到正文
Simon Willison · Engineering Notes·· 2 天前AI 评分28

Qwen3.8-27B 英文单词加法基准测试

Qwen3.8 27B addition in words

AI 导读

本地模型 Qwen3.8-27B-Q4_K_M.gguf 在关闭推理时测试正整数相加并仅用英文单词表达结果,5,070 个案例的数字准确率为 23.57%,格式合规率为 96.17%。准确率随操作数位数增加而下降:一至三位数为 97.04%,十至十三位数为 6.44%;开启 medium reasoning 后,169 次对比中答对 167 次。

来源:Simon Willison · Engineering Notes · simonwillison.net