←新闻详情

Google Developers Blog更新于 10月30日 15:00

Google Play services 中的 LiteRT 升级…

Smaller apps and faster GPU inference with LiteRT in Google Play services - Google Developers Blog

AI 导读

Google Play services 中的 LiteRT 迎来最大升级:基于 ML Drift 的 GPU 推理比旧版 GPU delegate 快约 1.4 倍,并通过新的 CompiledModel API 提供。切换到该运行时后应用体积约缩小 8 MB,因为运行时随 Play services 统一分发而不再打包进 APK;目前已有超过 10 万个 Android 应用自带 LiteRT 或 TensorFlow Lite。该方案支持 Android 7 及以上、Wear OS 4+ 和 Android Automotive OS(Android 11+),NPU 支持仍在开发中。

正文 · AI 翻译

Google 跟踪代码管理器(noscript)

借助 Google Play 服务中的 LiteRT,实现更小的应用和更快的 GPU 推理

Google Play 服务中的 LiteRT 是 Android 面向自定义模型的设备端推理运行时,每天在数十亿台设备上处理超过一万亿次推理。如今,它迎来了迄今为止最大的一次升级:GPU 推理速度比旧版 GPU delegate 快约 1.4 倍,由 ML Drift 提供支持,并可通过新的 CompiledModel API 使用,后者是 LiteRT 对旧版 Interpreter API 的现代替代方案。

在此之前,要利用这套更快的 GPU 技术栈,需要将 LiteRT 打包进你的应用。在我们的测试中,改用 Google Play 服务中的 LiteRT 的应用体积约缩小 8 MB,从而下载更快、对用户设备的占用更轻,因为包括 GPU 加速器在内的运行时随 Play 服务统一分发一次,而不再打包进每个应用。目前已有超过 10 万个 Android 应用自带 LiteRT 或 TensorFlow Lite 副本,因此随着应用切换,节省的空间会迅速累积。

如果你的 Android 应用在 CPU 或 GPU 上运行自定义 ML 模型,我们鼓励你改用 Google Play 服务中的 LiteRT。你可以在 Google AI Edge Gallery 应用中看到它的实际效果,其中 Scrapbook 功能的图像分割就运行在 Google Play 服务中的 LiteRT 上。

为何使用 Google Play 服务中的 LiteRT

采用 Google Play 服务中的 LiteRT 的开发者可立即获益:

应用更小,存储空间更充裕:由于 APK 中不再打包 ML 运行时,你的应用体积更小、下载更快。此外,由于应用共享同一个运行时,随着切换的应用增多,存储和内存的节省也会不断累积。

自动更新:性能改进、错误修复和安全补丁通过 Play 服务以分阶段推送的方式送达,可及早发现特定设备上的问题,而无需你发布应用更新。

更多运行场景:Play 服务中的 LiteRT 可运行在低至 Android 7(API 级别 24)的手机上,现在还支持 Wear OS 4+ 和 Android Automotive OS(Android 11+)。

经过大规模验证:ML Kit 的视觉和文本 API(如主体分割和文档扫描器)已在数十亿台 Android 设备上大规模地由 Google Play 服务中的 LiteRT 提供支持。采用 Google Play 服务中的 LiteRT,你就能在自己的应用中使用同样经过实战检验的基础设施。

CompiledModel API

LiteRT 是 TensorFlow Lite 的演进版本。它保留了你所依赖的相同 .tflite 模型格式,并新增了 CompiledModel API,使跨碎片化硬件的加速变得可靠:

更简单:CPU 和 GPU 加速采用同一套工作流程,而无需为每种加速器使用不同的 delegate 和设置路径。LiteRT 在可用时使用 OpenCL,否则使用 OpenGL。如果你同时请求 GPU 和 CPU,它会在没有可用 GPU 的设备上回退到 CPU。

更快速:由 ML Drift 提供支持,这是 LiteRT 最新的开源 GPU 引擎,已被 Google 应用在每天数百万台设备上使用。GPU 推理速度比旧版 TensorFlow Lite GPU delegate 快约 1.4 倍。

可移植:支持跨平台,因此同一个 .tflite 模型可在 Android、iOS、桌面端和 Web 上运行。

更灵活:旧版 Interpreter API 仍受支持(在 CPU 上),因此你可以分阶段迁移。

入门与升级

无论你是全新开始,还是从打包的 LiteRT 切换过来,使用 Google Play 服务中的 LiteRT 只需几行代码:

添加 com.google.android.gms:play-services-litert:17.0.0(或更高版本)。如果你目前打包了 LiteRT,请移除 litert 依赖项。

从 Play 服务获取 LiteRT 环境:

LiteRtDsl.initializationOptions { setEnableGpu(true) }

在创建 CompiledModel 时传入 LiteRT 环境。其余代码保持不变。

如果你已在 Google Play 服务中使用旧版 Interpreter API,那么切换到 play-services-litert 后,你的 Interpreter 代码仍可在 CPU 上运行。要在 GPU 上运行,请改用 CompiledModel API。

让你的编码智能体来完成这项工作。在 Agent Mode 下,Android Studio 的新 LiteRT 技能可自动完成向 Google Play 服务中的 LiteRT 和 CompiledModel API 的迁移。让它“将我的 TFLite 代码迁移到 CompiledModel”,或输入 @litert-runtime,它就会将你的应用切换到 play-services-litert、重写你的 Interpreter 调用,并设置带 CPU 回退的 GPU 加速。它还可以搭建一个新的 LiteRT 应用。请将其视为一次有力的初步尝试:审查差异、构建,并在真实设备上比较输出。在 GitHub 上获取该技能。

从旧版 API 升级?旧版 GPU delegate 和自定义 delegate API 已弃用,取而代之的是 CompiledModel GPU 加速以及 Compiler Plugin 和 Dispatch API,并且 NNAPI 将从 2027 年起被移除。较旧的 SDK 现在仅接收关键安全修复。你已发布的应用仍可继续工作,但请立即规划向 CompiledModel API 的迁移:使用已弃用 API 的代码将无法针对最新 SDK 编译,而随着其他依赖项向前推进,停留在较旧 SDK 上可能导致冲突。详情请参阅发行说明。

后续计划

展望未来,Google Play 服务中的 LiteRT 是我们在 Android 上运行你自己的任务特定模型(支持 CPU 和 GPU 加速)的基础。

LiteRT 将持续获得定期更新,包括更好的 GPU 加速和更广泛的模型覆盖。

Play 服务中的 NPU 支持正在积极开发中。

准备好开始了吗?

阅读 Google Play 服务中的 LiteRT 文档

试用 Android Studio 的 LiteRT 技能

在 Google AI Edge Gallery 应用中试用 Scrapbook

有什么阻碍你切换,或需要帮助?请在 GitHub Discussions 上联系我们或提交 issue。

我们迫不及待想看到你构建的作品。

2026 年 10 月 29 日

2026 年 10 月 27 日

来源

Google Developers Blog