GitHub · ggml-org/llama.cpp Releases·· 19 小时前AI 评分35
llama.cpp b11723 发布:改进 hexagon 的 FLASH_ATTN_EXT,支持更长上下文和 SWA models
b11723
AI 导读
llama.cpp b11723 针对 hexagon 的 FLASH_ATTN_EXT 进行改进,面向更长上下文和 SWA models,并加入 masked block skipping 以减少 DMA fetching。更新还调整 hmx->hvx crossover thresholds,使 hmx gate 纳入 mdev.count,以提升 gemma-4 表现。
来源:GitHub · ggml-org/llama.cpp Releases · github.com