GitHub · ggml-org/llama.cpp Releases·· 11 小时前AI 评分31
llama.cpp b12072:移除 llm_attn_mask 中冗余的 cnv 转换
b12072
AI 导读
llama.cpp b12072 移除了 llm_attn_mask 中冗余的 cnv 转换,将 dspark block mask 的生成移至输入填充阶段。llm_attn_mask::block_uniform 使用序列首个 token 的 mask 行填充整个序列,使 dflash 不再需要图级 reshape/repeat 操作,cnv 始终直接别名原始数据。
来源:GitHub · ggml-org/llama.cpp Releases · github.com