跳到正文
热点事件持续更新

llama.cpp 发布 b12081 预发布版本,修复 CUDA Q8_1 量化问题

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

llama.cpp 项目发布 b12081 预发布版本,针对 CUDA 后端 Q8_1 量化的 correction sum 问题提交潜在修复,并调整 quantize_mmq_q8_1 流程。 此次更新修改了 ggml/src/ggml-cuda/quantize.cu,并提供 CPU、CUDA、ROCm、Vulkan、OpenVINO 和 SYCL 等后端的多平台构建版本。修复目前仍属于潜在修复,并非已确认彻底解决。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. GitHub · ggml-org/llama.cpp Releases
    llama.cpp b12081 预发布版本修复 CUDA Q8_1 量化校正和问题

    llama.cpp 发布 b12081 预发布版本,针对 CUDA 中 Q8_1 量化的校正和问题提交潜在修复,并调整 quantize_mmq_q8_1 流程。该版本更新 ggml/src/ggml-cuda/quantize.cu,并提供覆盖 CPU、CUDA、ROCm、Vulkan、OpenVINO 和 SYCL 等后端的多平台构建版本。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。