GitHub · ggml-org/llama.cpp Releases·· 21 小时前AI 评分42
llama.cpp b11930 发布:新增按设备内存边际动态卸载模型
b11930
AI 导读
llama.cpp b11930 为 server 增加 --models-memory-max 参数,按各设备的内存边际动态卸载模型,并将待加载模型的估算内存纳入阈值判断。版本还修复测量子进程的内存统计;当内存限制阻止排队请求加载且没有空闲模型可卸载时,请求会等待,而非紧密重试。
来源:GitHub · ggml-org/llama.cpp Releases · github.com