Simon Willison · Engineering Notes·· 2 天前AI 评分28
Qwen3.8-27B 英文单词加法基准测试
Qwen3.8 27B addition in words
AI 导读
本地模型 Qwen3.8-27B-Q4_K_M.gguf 在关闭推理时测试正整数相加并仅用英文单词表达结果,5,070 个案例的数字准确率为 23.57%,格式合规率为 96.17%。准确率随操作数位数增加而下降:一至三位数为 97.04%,十至十三位数为 6.44%;开启 medium reasoning 后,169 次对比中答对 167 次。
来源:Simon Willison · Engineering Notes · simonwillison.net