Google 发布 LiteRT Tensor API，简化端侧模型开发

Google 推出 LiteRT Tensor API，允许开发者使用轻量级 C++ 接口逐操作构建、定制和优化端侧机器学习模型，并通过 LiteRT 在 CPU、GPU 和 NPU 上运行相同计算图，无需针对不同硬件后端分别重写代码。 该 API 支持直接从模型检查点加载权重，包括 Hugging Face 的 .safetensors 文件，并提供零拷贝缓冲区互操作，减少预处理、推理和后处理过程中加速器缓冲区的数据复制。Google 还计划增加 ML Drift 后端支持、更多适配 NPU 的算子、自动全图量化，以及支持不同图像尺寸、批量大小和序列长度的动态形状能力。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。