GitHub · ggml-org/llama.cpp Releases·· 11 小时前AI 评分35
llama.cpp b12008 调整 Gemma 3n、Gemma 4 权重创建顺序,减少 CPU 内存占用
b12008
AI 导读
llama.cpp b12008 调整 Gemma 3n、Gemma 4 的 token_embd 创建顺序,使其先于 tied output 创建。在 gemma-4-E2B-it Q4_K_M、无 mmap、CPU-only(-ngl 0)条件下,模型缓冲区从 3163.73 MiB 降至 2947.73 MiB。
来源:GitHub · ggml-org/llama.cpp Releases · github.com