arXiv · Machine Learning· J\k{e}drzej Maczan·· 9 小时前AI 评分47
单流 WebGPU 大语言模型推理的性能瓶颈：调度开销而非内核质量
Dispatch Overhead, Not Kernel Quality: The Performance Bottleneck in Single-Stream WebGPU LLM Inference
AI 导读
研究发现，batch size 1 的单流 WebGPU 大语言模型推理中，性能瓶颈是 dispatch 开销，而非内核质量。研究提出顺序 dispatch 测量方法，指出朴素的单操作测量会把同步开销混入 dispatch 成本；测得的单次 dispatch 成本与数据类型无关。
来源：arXiv · Machine Learning · arxiv.org