DataKernelBench评测LLM优化GPU查询

Gokul Karthik Kumar、Yotam Perlitz、Corey Lammie、Andrea Giovannini 和 Katja Hose 提出并评测 DataKernelBench：它把 SQL 转换为经过验证的 PyTorch TorchPlan 程序，测试大语言模型能否通过执行引导修复，在 CUDA 或 Triton 中优化数据库查询。结果显示，在 TPC-H SF10、单张 H100 和十个专有及开放权重模型的测试中，最强的完整查询 CUDA 配置在通过全部测试时达到基线的 2.11 倍速度。 针对数据超过 GPU 显存的场景，作者将 TorchPlan 扩展为使用 Dask-cuDF 按需加载分区，并在 TPC-H SF100、四张 H100 上报告了 2.54 倍加速。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。