跳到正文
GitHub · ggml-org/llama.cpp Releases·· 14 小时前AI 评分29

llama.cpp b12002 更新:新增批量张量复制 API 并支持 CUDA

b12002

AI 导读

llama.cpp b12002 在 ggml 中新增通用批量张量复制 API,并将其用于 context IO 和设备 IO。更新加入批量张量 API 的 CUDA 支持,并重构后端测试,覆盖钩子调用、逐张量回退、cpy_tensor_n 的全有或全无行为及按缓冲区类型分组。

来源:GitHub · ggml-org/llama.cpp Releases · github.com