GitHub · ggml-org/llama.cpp Releases·· 10 小时前AI 评分58
llama.cpp b11946 增加实时对话与转写并修正并发输出混合问题
b11946
AI 导读
llama.cpp 发布 b11946,为 /v1/realtime 增加实时对话与转写,并修正共享上下文下并发会话输出混合的问题。修复通过让各 slot 在自身解码后采样实现;示例实时客户端默认连接服务器端口 9931。
来源:GitHub · ggml-org/llama.cpp Releases · github.com