Legora 是一个智能体系统，可在复杂事务中为律师提供研究、审阅和起草支持。2026 年初，随着模型能力的快速提升使更长、更自主的法律工作成为可能，Legora 开始用完整的智能体取代其现有的 AI 助手。
]] ]]]][![![![ [![为了测试一个能在数千份文档上连续工作数小时的法律智能体，Legora 在每次评测运行时，都会将固定到特定提交的整个应用启动在一个独立的 Modal Sandbox 中。
]] ]]]][![![![ [![如需进一步了解 Legora 的完整评测系统，请查看 这篇博客 ！
]] ]]]][![![![ [为自主智能体重建评测体系
] ]]]][![![![ [![从助手到智能体的转变，暴露了 Legora 现有评测框架的两大短板：规模和环境的保真度。基础设施层面的挑战在于：并行创建数千个相互隔离的 Legora 环境，将正确的世界状态还原到每一个环境中，并让智能体完成雄心勃勃、长时间运行的任务。
]] ]]]][![![![ [![第一个问题是可扩展性。助手原本是为包含少量文档的环境中的较小任务而设计的。新的智能体则需要在包含数千份文档和数 GB 数据的真实项目中运行数小时。旧的评测系统可以在笔记本电脑上运行，而新的系统则需要在云端运行。
]] ]]]][![![![![![“同时运行 10 或 20 个评测就会让笔记本电脑过载。如今智能体的一个典型实验是 100 个用例、4 种 harness 变体、每种 5 次试验。那就是 2,000 次运行，而且它们都需要并行进行。”
更难的问题是环境保真度。Legora 的智能体覆盖其整个产品：无头 DOCX 编辑器、自托管的 Turbopuffer 实例、PDF 转换、Postgres 和授权数据库、blob 存储，以及动态创建的代码执行沙箱。
]] ]]]][![![![![![“我们的智能体包裹了整个产品。如果你想衡量代码沙箱或数据库迁移的改动所带来的影响，就需要在每次运行中使用整个应用的精确版本，而不是模拟版本。”
Modal Sandboxes 大规模提供复杂环境
] ]]]][![![![ [![如今，每次评测运行都在各自的 Modal Sandbox 中执行，并加载自定义镜像和文件系统。Legora 在评估了多家云托管沙箱提供商以取代本地执行后，最终选择了 Modal，原因是其可扩展性、低启动延迟以及对复杂环境的支持。
]] ]]]][![![![![![“我们的应用和容器镜像都相当大。借助 Modal，我们可以为每个 Sandbox 提供所需的资源，并在不受其他地方所遇限制的情况下运行完整应用。这种灵活性和可扩展性使 Modal 比其他方案合适得多。”
每个实验会启动 2,000 次或更多运行，每一次都在一个 Modal Sandbox 中并发执行。Legora 团队的工程师可以从自己的笔记本电脑上启动运行，以衡量对其智能体所做改动的影响。
]] ]]]][![![![ [![为了管理每次运行的存储，Legora 使用了 Modal Volumes。Volumes 使大型文档集合可在多个 Sandbox 之间共享，并让团队能够对世界状态进行快照，从而对共享的初始化设置去重，同时确保重复运行从相同的文档、数据库状态、权限和 blob 开始。团队还将 Docker 镜像缓存到 Volumes 中以加快 Docker Compose 步骤，并计划将该缓存迁移到文件系统快照。
]] ]]]][
为 Legora 完整应用构建大型镜像最初导致评测运行缓慢。Legora 通过每小时一次的流水线解决了这一瓶颈，该流水线负责构建镜像并预热 Sandbox，将 reset-to-commit 步骤从完整的应用构建缩减为仅构建自上次构建以来的增量。另一个每小时运行的任务会将 Legora 密钥保管库中的值同步到 Modal Secrets，而频繁的密钥轮换、最小权限访问、依赖项时效要求以及 Modal 的域名允许列表则有助于保障环境安全。
]] ]]]][![![![ [从 gVisor 迁移到 Modal VM Sandboxes
] ]]]][![![![ [![作为 Modal VM Sandboxes 的早期用户，Legora 得以改为运行由完整虚拟机支持的 Sandbox。由于每个 Sandbox 中都有真实的 Linux 内核，Docker 的行为与在普通主机上一致。此前他们不得不实现各种变通方案才能获得完整的 Docker 功能，而 VM Sandboxes 使他们得以简化设置。
]] ]]]][![![![![![“我们的应用以一组 Docker 服务的形式运行。以前，这意味着我们必须在每一层引入网络和 FUSE 变通方案，才能在沙箱中获得完整的 Docker 功能——从使用自有 DNS 解析的主机模式网络，到因 FUSE 无法挂载而将代码沙箱作为裸进程运行。有了 VM Sandboxes，一切变得顺畅无阻：Docker 的行为就像在普通 Linux 主机上一样，我们删除了所有这些变通方案。”
打造自我改进的智能体循环
] ]]]][![![![ [![新的评测平台现已成为 Legora 衡量智能体质量的主要工具。它使公司得以运行 BAR——其针对真实、长周期法律任务的内部基准——并在质量、成本和延迟方面比较基础模型。这些结果如今为生产环境的模型选择以及智能体 harness 的设计决策提供依据。
]] ]]]][![![![ [![该平台还改变了工程团队的工作方式。在将评测应用封装为 CLI 和一项技能后，Legora 使智能体能够自主创建用例、启动实验并分析结果；如今大多数工程师都通过智能体与评测系统交互。
]] ]]]][![![![ [![给定一个指标或问题、实验工具以及预算，智能体就可以对 harness 进行爬山式优化，直到指标得到改善——Legora 已将这种方法应用于工具搜索、PowerPoint 生成和复现研究论文，以使 harness 更具成本效益。
]] ]]]][![![![ [![例如，Legora 通过更智能的压缩和自定义的工具搜索实现，将其智能体的成本降低了 30%。虽然整个过程由工程团队管理，但智能体能够通过自动研究来验证并改进自身的结果。
]] ]]]]]