跳到正文
GitHub · ggml-org/llama.cpp Releases·· 12 小时前AI 评分31

llama.cpp b11717 发布

b11717

AI 导读

llama.cpp b11717 为 Hexagon 增加对 flat 和 tiled Q1_0、Q2_0 的 hadamard MUL_MAT、GET_ROW 与 GET_ROWS 支持,并新增相关 hadamard ops。更新还减少 q8_1 quantizer 和 vec_dot_q1 的 pkt counts。

来源:GitHub · ggml-org/llama.cpp Releases · github.com