流式推理最佳切分不止单个 Megakernel

研究团队提出流式推理 Megakernel 切分预测框架，测试显示 NH-TTS、Qwen3-TTS 和 Llama-1B 的最佳配置并非单个 Megakernel，而是由 2 至 4 个 Megakernel 组成或采用常规图执行。 框架依据常规图执行的性能剖析和单独内核基准预测合并区域，无需逐一端到端运行候选方案。论文报告，在 H100 NVL 上运行 NH-TTS、批量大小为 32 时，保留三个专用 Megakernel 相比其评测的单体 Megakernel，平均 batch-p95 首音频时间降低 21.4%，吞吐量提高 28%。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。