llama.cpp 增加按设备内存动态卸载模型
热点事件持续更新
llama.cpp 增加按设备内存动态卸载模型
1 篇报道1 个报道来源20 小时前更新
先了解这件事
AI 综述
llama.cpp b11930 为服务器端新增 --models-memory-max 参数，可根据各设备的内存边际动态卸载模型，并把待加载模型的估算内存计入阈值判断。 该版本还修复了子进程内存统计问题；当内存限制使排队请求无法加载、且没有空闲模型可卸载时，请求会等待，而不是持续紧密重试。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 21:42
llama.cpp b11930 发布：新增按设备内存边际动态卸载模型报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- GitHub · ggml-org/llama.cpp Releasesllama.cpp b11930 发布：新增按设备内存边际动态卸载模型
llama.cpp b11930 为 server 增加 --models-memory-max 参数，按各设备的内存边际动态卸载模型，并将待加载模型的估算内存纳入阈值判断。版本还修复测量子进程的内存统计；当内存限制阻止排队请求加载且没有空闲模型可卸载时，请求会等待，而非紧密重试。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。