Helion 为 vLLM 构建高性能、可移植的 Linear Backend
作者将 Helion 集成进 vLLM 的 Linear Backend,通过按形状自动调优统一 Standard GEMM、Split-K 和 Swap-AB,并在 NVIDIA Hopper GPU 上采用混合分发。
推荐理由:文章展示了 Helion 如何通过按形状自动调优和混合分发统一多种 GEMM 变体,并量化其性能收益与调优维护成本。
技术方向
硬件、编译器和运行时的可复现基准、评测方法及真实负载结果。
21 条精选近 30 天 21 条共收录 226 条
作者将 Helion 集成进 vLLM 的 Linear Backend,通过按形状自动调优统一 Standard GEMM、Split-K 和 Swap-AB,并在 NVIDIA Hopper GPU 上采用混合分发。
推荐理由:文章展示了 Helion 如何通过按形状自动调优和混合分发统一多种 GEMM 变体,并量化其性能收益与调优维护成本。