跳到正文
GitHub · ggml-org/llama.cpp Releases·· 1 天前AI 评分49

llama.cpp b11645:Metal 添加 tensor API flash attention 内核的 BF16 变体

b11645

AI 导读

llama.cpp b11645 为 Metal 的 tensor API flash attention 内核添加 BF16 变体,并将 tensor FA 内核移至 `kernels/fa_tensor.metal`。该版本列出 macOS、iOS 和 Linux 构建项,涵盖 Apple Silicon、Intel、CPU、Vulkan 与 CUDA 构建。

来源:GitHub · ggml-org/llama.cpp Releases · github.com