跳到正文
GitHub · ggml-org/llama.cpp Releases·· 9 小时前精选AI 评分69

llama.cpp b11714 更新模型发现、Sidecar 管理与断点续传

b11714

AI 导读

llama.cpp b11714 在模型管理器中加入 Hugging Face GGUF 模型的发现、搜索、详情查看与下载功能,并支持把模型与匹配的 draft、mmproj 等 Sidecar 一起管理。服务端和 UI 现在会保留未完成下载的部分文件,记录 incomplete 状态并支持暂停、恢复、取消和重启后继续下载,同时通过 ETag 与共享文件检查避免错误续传。

推荐理由

llama.cpp b11714把模型发现、Sidecar 管理与断点续传整合进现有模型管理流程,适合关注本地推理资源管理的工程实践者。

来源:GitHub · ggml-org/llama.cpp Releases · github.com