跳到正文
GitHub · ggml-org/llama.cpp Releases·· 11 小时前AI 评分26

llama.cpp b12074 重构 delta_net 卷积状态访问并将槽位索引计算移至主机端

b12074

AI 导读

llama.cpp 重构 delta_net 的卷积状态管理,改为通过 views 访问状态,并修复 sm tensor。卷积窗口的回滚槽位索引现作为 I32 输入由主机端填充,取代设备端的 arange 和 argsort 计算,同时使 meta backend 不再需要为 ARANGE 维护镜像 split。

来源:GitHub · ggml-org/llama.cpp Releases · github.com