arXiv · Machine Learning· Aditya Chatterjee, Anand Joseph X M, Sanjay Singh Chauhan·· 10 小时前AI 评分54
流式推理中单个 Megakernel 并不足够：预测切分位置
One Megakernel is Not Enough: Predicting Where to Cut for Streaming Inference
AI 导读
研究提出一套流式推理 megakernel 切分预测框架，发现 NH-TTS、Qwen3-TTS 和 Llama-1B 的最佳配置不是单个 megakernel，而是由 2 至 4 个 megakernel 组成或采用常规图执行。
来源：arXiv · Machine Learning · arxiv.org