Android 的源代码非常庞大——Android 17 开源版本包含 1,084 Git 仓库、 162 万 个文件,构建完成的工作区占用 300 GB 。此外,在包含硬件厂商代码和第一方应用的典型 Android 源码树中,体积还会增加 2-3 倍.
。传统上,即使在性能极强的开发者工作站上,获取 Android 开源项目 (AOSP) 源代码也需要 30 多分钟,构建更是要一个多小时。随着过去两年软件开发方式的演进,现代编码工具和 LLM 加速了许多项目的开发。如今这些工具已被用于 Android 操作系统开发,但漫长的同步和构建时间降低了它们的效率。无论是人类开发者还是智能体,都需要快速的环境搭建、并行工作区和快速的构建-测试迭代周期。
我们构建了 Another Build File Service (ABFS) 来解决这些瓶颈。ABFS 是一套完整的软件,涵盖 Linux 内核文件系统模块、用户态守护进程和服务端基础设施。ABFS 在整个技术栈中采用内容寻址,以惰性加载和缓存源代码、开发者工作区、中间构建文件和构建结果。
今天,我们很高兴地宣布, ABFS 已在 GitHub 上开源.
。ABFS 对 Android 的影响是:
- 检出时间从约 36 分钟缩短到 8 秒以内.
- 完整构建时间从约 80 分钟缩短到 仅 2 分多钟.
- 支持跨多个工作区和智能体编排器的并行智能体工作流。
- 共享缓存可在持续集成 (CI) 和开发者工作区之间复用最多 100% 的构建动作。
ABFS 已在 Android 中为开发者和智能体的并行工作流提供支持,但它的设计目标是扩展到其他大型 Git 项目。
案例研究:Android
在 Android 构建系统中,开发者在 Blueprint 文件(Android.bp)中定义构建规则,Soong 将其编译为 Ninja 文件,然后由 Ninja 执行最终的构建图(参见 Android 构建概览)。与 Make 构建工具类似,Ninja 是 基于时间戳的。如果某个构建步骤的输入文件比现有输出文件更新,Ninja 就会重新构建该输出文件。
代码规模
分析 Android 17 的 AOSP 代码 可以看出,单次检出和构建所涉及的磁盘占用和文件数量十分庞大。
Android 17 的 Android 开源项目 (AOSP) 规模表:1,084 个 Git 项目、1,620,371 个常规文件、324,457 个目录、代码总大小 161 GB,构建输出 155 GB。
在包含硬件专用仓库、板级支持包、第一方应用、特定形态设备代码等的典型 Android 源码树中,代码规模是 AOSP 的 2–3 倍 (超过 3,000 个 Git 仓库), 并且会叠加在多个活跃的 SKU 分支和遗留维护分支上。
构建可缓存性
构建 Cuttlefish 模拟器目标会执行一个包含 192,249 个 Ninja 动作的构建图。虽然源码树构建完成后本地增量构建很快,但每个新工作区、分支切换或临时智能体会话都从冷启动开始。
尽管开发者通常的改动只涉及 1-10 个不同的 Git 项目,但在没有远程执行的情况下进行本地构建的人,可能会在 64 核机器上浪费多达 80 分钟 来重复 CI 系统已经完成的工作。即使开发者只修改了像 system/libbase, 97% 这样的核心库,构建图的 也与 CI 构建完全相同。
未声明的依赖
在 Android 这样历史悠久、变更频繁的代码库中,跨 CI 和本地机器共享缓存的构建输出也很棘手。构建规则偶尔会引入 隐藏依赖 (例如在原始编译器标志中传入未声明的 schema 文件)、 过度声明的输入或 未声明的输出。在基于时间戳的构建中,隐藏依赖会悄无声息地产生过期的增量产物,迫使开发者清空输出目录并执行干净构建。
解决方案:ABFS
ABFS 通过用虚拟的内容寻址文件系统 (CASFS) 取代庞大的本地源码检出来加速 Android 构建。ABFS 仅在构建实际访问文件时才按需流式传输文件,并利用共享构建缓存来帮助消除冗余的下载和编译。
架构图展示了客户端组件(Ninja-go、Tap、Mount Daemon、Cacheman、本地缓存和 CASFS 内核模块)以及服务端组件(ABFS CAS 服务器和连接到 Git 可信源的 Git-pushers)。
在服务端, Git-pushers 持续将来自 Gerrit 或其他 Git 托管平台的新 Git 对象摄取到可水平扩展的 gRPC ABFS 内容寻址存储 (CAS) 服务器 中,该服务器为 Git 内容、工作区快照和构建步骤结果建立索引。在开发者主机上,本地最近最少使用 (LRU) Cacheman 守护进程、 Mount Daemon和 Tap 工具将用户态构建工具连接到内核文件系统,使检出和构建只流式传输所需内容。参见 GitHub 上的完整 ABFS 架构.
文件系统
客户端的核心是一个名为 内容寻址存储文件系统 (CASFS)的虚拟文件系统,它是一个 Linux 内核模块,通过扩展属性暴露 Git SHA 内容哈希。当设置文件的哈希时,CASFS 会立即填充其元数据,并仅在需要时通过 Cacheman 下载文件字节:
$ touch hello
$ abfs hash --set cc628ccd10742baea8241c5924df992b5c019f71 hello # metadata only
$ ls -l hello # name and size are available; content is not downloaded yet
-rw-r----- 1 user primarygroup 6 Nov 3 00:11 hello
$ cat hello # content is lazy-loaded on first read
world
Shell
已复制
初始检出只下载预填充了 Git 哈希的轻量级目录元数据。CASFS 原生使用 Git 的对象模型,使标准的 git 和 repo 操作透明进行。
正确的两阶段构建缓存
CASFS 还可以 接入 构建流程。 接入 会记录实际读取、写入或删除的每个文件,并将其存入称为 补丁的列表,这些列表与缓存的构建输出一起存储。 Ninja-go 用两阶段内容寻址缓存取代时间戳检查:
- 阶段 1 - 声明式键查找: Ninja-go 对某个步骤的命令、环境和声明的输入哈希进行哈希计算,以从先前的 CI 或开发者构建中获取候选结果。
- 阶段 2 - 读取补丁验证: 在接受并应用候选结果之前,ABFS 会根据当前 CASFS 状态验证候选结果中记录的读取补丁。在常见情况下,该读取补丁将与文件系统状态匹配,随后应用写入补丁。
如果即使某个隐藏依赖项在磁盘上的哈希不同,ABFS 也会拒绝过时的候选结果,并在启用接入的情况下重新运行该步骤。即使构建图不完整,这也能保持干净构建的正确性。
Ninja-go 可加速基于 Ninja 的构建,例如 Android 和 Chrome;其他构建系统可以使用相同的模型与 ABFS 的缓存 API 集成(参见 GitHub 上的两阶段缓存演练).
同步工作区
每个挂载的检出都会附加到一个持久化的 工作区 ,该工作区会通过 Cacheman 将修改的文件、 git 状态和 repo 状态主动同步到 ABFS CAS 服务器——从而在跨会话或跨多个开发者主机时保持挂载同步。
结果
以下基准测试显示了在配备 64 个 vCPU 和 256 GB 内存的 GCE n2d-standard-64 虚拟机上运行 3 次 Android 的平均时间。ABFS 远程服务器与客户端运行在同一云网络中。
源码检出
注意:“当前”流程使用了官方 Android 文档中记载的 repo init --partial-clone 和 repo sync -j8(更高的 -j 值会在 android.googlesource.com 上触发 Gerrit 速率限制)。
构建
注意:所有这些构建都使用了 lunch aosp_cf_x86_64_only_phone-aosp_current-userdebug 和 m droid 进行构建。
检出和构建演示
YouTube 视频链接 (仅在禁用 JS 时可见)
释放智能体开发潜能
由于 ABFS 采用延迟加载和本地缓存去重,开发者和他们的智能体现在可以在一台机器上挂载多个并发的 Android 工作区,受益于共享的本地构建缓存,并在开发时间上实现大规模扩展。
# Mount 5 distinct Android release branches side-by-side in under 8 seconds each
$ abfs mount -b android-latest-release /ws/a17
$ abfs mount -b android16-qpr2-release /ws/a16qpr2
$ abfs mount -b android16-release /ws/a16
$ abfs mount -b android15-release /ws/a15
$ abfs mount -b android14-release /ws/a14
Shell
已复制
智能体可以在 10 秒以内 检出一个完整的 Android 代码树,并在 10 分钟以内执行完整构建。智能体集群能够并行迭代、审查和测试,从而带来更高质量的解决方案和更快的速度。
在下面的演示中,一个智能体在最新的 AOSP 版本上进行 system/libbase 修复,随后 4 个并行智能体同时在一台虚拟机上将该修复向后移植、构建并测试到另外 4 个 AOSP 版本上。
智能体开发演示
YouTube 视频链接 (仅在禁用 JS 时可见)
注意:Android 17 之前的 AOSP 版本需要一些补丁才能与 ABFS 配合使用。扩展到 Google 和 Android 之外
我们发布了 ABFS 作为开源项目 ,因为我们希望开发者、Android 合作伙伴以及任何大规模基于 Git 的项目都能从我们所学到的经验中受益,并能够扩展规模。
虽然 Android 的 Soong/Ninja 流水线是首个加速目标,但 ABFS 的设计初衷就是可扩展到其他构建系统。像 Bazel 这样的内容寻址构建系统可以自然地映射到 CASFS,并且已经有一个 与 Bazel 的概念验证集成。Chromium、Android Common Kernel 和其他 Google 项目正在探索 ABFS 兼容性。
在 GitHub 上探索 ABFS, CASFS和 Ninja-go ,并通过 abfs@google.com 联系我们。
如需 Google Cloud 服务端、基础设施即代码以及用于 Cloud Workstations 和 Kubernetes 的 CASFS 方面的帮助,请联系 abfs-gcp@google.com。
致谢
我们要特别感谢为本项目做出重要贡献的各位:
Haamed Gheibi、Erik Sanders、Rob Seymour、Taylor Santiago、Andrew Hsieh、Eric Taseski、Kiyoung Kim、Hung-Wei Chen、Jose “Pepe” Galmes、Ronald Li、Yu-Che Wang、Roger Ellis、Sandeep Patil、Amith Dsouza 以及整个 Android 构建团队
发布于: 上一篇 下一篇 相关文章
AI
云
最佳实践
问题解决
智能体是会话,而非请求:为 AI 智能体会话规划 GKE 节点池规模
2026 年 11 月 16 日
AI
云
教程
案例研究
在 TPU 上解锁稳定的同策略强化学习,实现逐位零训练–推理不匹配
2026 年 11 月 16 日
AI
案例研究
公告
Gemini 4 Hydrogen:面向通用机器人的更快模型
2026 年 11 月 17 日
AI 热点