跳到正文
热点事件持续更新

KV Packet提出免重算KV缓存框架

1 篇报道1 个报道来源12 小时前更新

先了解这件事

AI 综述

Chuangtao Chen等作者提出KV Packet,一种无需重计算、与上下文无关的LLM KV缓存复用框架;在Llama-3.1和Qwen-3上的实验显示,它可实现近零FLOPs和更低TTFT,同时保持与完整重计算基线相近的F1分数。 该方法把缓存文档作为不可变数据包保存,并用可训练的软 token 适配器处理缓存与当前上下文之间的不连续。上述性能结果仅对应论文在这两个模型上的实验。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv · Machine Learning
    KV Packet:面向 LLM 的无重计算上下文无关 KV 缓存

    KV Packet 提出一种无需重计算的上下文无关 KV 缓存复用框架,将缓存文档作为不可变数据包,并用可训练的软 token 适配器处理上下文 discontinuity。基于 Llama-3.1 和 Qwen-3 的实验显示,该方法实现近零 FLOPs 和更低 TTFT,同时保持与完全重计算基线相近的 F1 分数。

本事件热度走势

可比范围当前
7
可比范围峰值
810月28日 21:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。