微软用合成企业数据评估 Copilot：从模拟租户到真实 AI 置信度

概览

在企业规模上评估 Microsoft Copilot 需要能够捕捉真实组织全部复杂性的测试数据，而真实企业数据包含敏感信息，在任何情况下都不能用于评估。

为解决这一矛盾，我们构建了行业评估数据生成平台：以 O*NET 职业数据、在线招聘信息和 SEC 文件等公开可得的真实世界数据源为基础，构建全规模合成企业环境。

这些合成环境模拟真实业务流程，帮助 Microsoft 发现通用基准测试会遗漏的问题。

安全与隐私在设计上就内置于该平台。每个环境都是完全合成的，自动化内容安全检查确保生成的数据不含有害或可识别个人身份的材料。

每天，全球数百万知识工作者依赖 Microsoft Copilot 起草文档、总结会议、呈现相关信息并提升生产力。在幕后，这由一系列 AI 系统提供支持，而确保它们按预期工作需要对评估采取深思熟虑的方法。在 Microsoft，我们知道高性能并非来自猜测，而是来自持续的测试、衡量和迭代。

医疗健康机构不断从各团队汇总安全信号，以便更快、更好地做出直接影响患者结局和监管信心的决策。

他们可能会让 Copilot 总结会议并为团队提取行动项。几秒钟内，Copilot 就会给出结构化摘要，并引用转录文本中的具体讨论要点。但我们如何确保这一响应准确、完整且恰当地基于会议内容？这正是我们的评估系统发挥作用之处。

我们开发了一套名为行业评估数据生成平台的结构化评估策略，其中包含针对特定行业的评估数据集，旨在以真实企业场景测试 AI 系统，并基于三大核心支柱：

合成企业环境：模拟的 Microsoft Copilot 环境，具有真实的用户、会议、电子邮件、文档和组织结构，在不使用任何客户数据的情况下复现真实组织的复杂性

自动化查询生成流水线，用于快速、可复现地创建评估数据集

结构化质量框架，确保合成数据达到有意义评估的标准

这些支柱共同帮助我们回答两个根本问题：Microsoft Copilot 是否真正在做用户需要它做的事，以及我们能否在不接触用户数据的情况下证明这一点？

在这篇博客文章中，我们将介绍我们的评估系统和流程，从合成环境生成到自动化查询流水线，以及这一切如何共同建立起 Microsoft Copilot 的首个标准化评估基线。

合成企业环境

评估企业 AI 需要能够捕捉真实组织全部复杂性的测试数据：汇报结构、项目历史、沟通模式和特定领域的工作流程。但真实企业数据包含敏感信息，在任何情况下都不能用于评估。这就是我们着手解决的核心矛盾。

我们没有依赖小型的人工整理测试夹具，而是生成全规模合成环境：模拟的企业工作区，每个都具有真实的组织结构、沟通历史和工作产物。在 Microsoft 的术语中，每个模拟工作区称为一个“租户”。租户是一个隔离的组织环境，拥有自己的用户、数据和配置。这些环境是可扩展的基线，团队和组织可以按自己的需要在其上构建。它们被设计为展现使企业 AI 评估有意义所需的相同结构和行为特性。

以真实世界信号为基础

为确保我们的合成环境具有真实性，我们以公开可得的真实世界数据源为基础。

来自美国劳工部职业数据库的 O*NET 数据被用于使合成员工的角色和职责更真实、校准分配给不同角色的工作活动的组合与频率，并定制特定行业的工作流程，例如临床试验审查或投资组合更新。

在线招聘信息提供真实的职位名称、汇报层级和部门构成。

SEC 文件为组织规模、业务单元结构和财务背景提供依据。所有这些来源都是公开可得的，并已由 Microsoft 的法律与政策组织审查和批准。

图 2：用于支撑评估数据生成的真实公开数据集信号

重要的是，这些合成环境并非静态快照。它们模拟动态、随时间演变的组织，具有会议历史、项目时间线、历经数周发展的电子邮件线程，以及自然展开的组织变革。这一时间维度至关重要，因为 Copilot 的一大类查询本质上具有时间感知特性。诸如“团队上周四决定了什么？”或“自上次季度评审以来有什么变化？”这样的问题，只有在底层数据具有真实时间结构时才能产生有意义的评估。

行业特定模拟

我们跨多个行业生成了三个合成环境，每个环境都具有反映真实世界使用情况的独特特征：

一个制药环境，包括监管提交工作流、临床试验讨论和跨职能安全审查会议

一个资本市场环境，具有交易管道、合规沟通和客户投资组合审查

一个 IT/软件公司，模拟冲刺规划、代码审查讨论和产品发布协调

图 3：行业评估数据生成所针对的行业

这种行业特定性确保我们的评估查询针对这些领域中真实用户实际会问的那类问题来测试 Copilot，而不是依赖可能无法暴露领域特定故障模式的通用测试用例。

自动化查询生成

虽然合成环境为评估提供了基础，但它们面临一个关键限制：我们仍然需要真实的评估查询。这些查询用于测试 Copilot 能否呈现正确的信息、正确地综合信息并以有帮助的方式呈现。手动编写数千条有依据、行业特定的查询成本高昂且速度缓慢。这正是我们的自动化流水线发挥作用之处。

六阶段流水线

图 4：将通用查询模板转化为真实、行业特定查询的查询定制流水线

我们构建了一条自动化流水线，将简单、通用的查询想法转化为面向 Copilot 的真实、行业特定问题。它从一个大型常见工作场所任务库开始，将其缩小到与给定行业相关的内容，并使用领域特定语言和上下文对其进行调整。然后，系统使用 AI 生成以合成环境数据为依据的查询，重写它们使其听起来更自然、更像人类表达，并验证每一条查询的准确性和唯一性。结果是一组丰富的高质量、逼真查询，能够跨真实世界场景对 Copilot 进行可扩展且可靠的评估。

验证合成质量

当然，生成合成数据只是挑战的一部分。我们还需要确保数据足够好，能够产生有意义的评估。我们使用内部语义评估框架来评估合成环境质量，该框架从三个维度衡量质量：

结构保真度：组织结构是否反映真实的汇报层级、团队规模和跨职能关系？

上下文相关性：查询和工作流是否代表实际企业使用模式？

行为真实性：模拟用户是否表现出类人的沟通模式和协作动态？

内容安全：生成的内容是否不含有害、冒犯性或个人可识别材料，并且是否避免冒充真实个人？

端到端自动化

虽然我们的合成环境和查询流水线提供了方法论，但如果没有适当的自动化，它们会面临若干实际限制，包括：

可复现性：手动流程每次都会产生细微不同的结果，使得跨版本比较评估变得困难。

规模：行业垂直领域和配置变体的数量超出了任何团队能够合理手工产出的范围。

迭代速度：手动创建需要数天时间，延迟了关键反馈并拖慢了开发周期。

跨团队一致性：如果没有标准化工具，不同团队会产生格式和质量水平不兼容的评估数据集。

这种自动化将评估数据集创建从耗时数天的手动流程转变为自动化运行。我们估计每个评估数据集可节省约 100,000 美元，项目总节省约 300,000 美元。但更重要的结果是，任何团队现在都可以从相同配置重新生成评估数据集，并获得完全相同的结果。

Foundry Labs

Foundry Labs 拉近了 Microsoft 突破性成果与能够将其付诸实践的建设者、科学家和好奇心灵之间的距离。

企业级评估需要的不仅仅是良好的方法论。它还需要一种隐私立场，让团队能够快速推进而不损害用户信任。我们的行业评估数据集有一条不可妥协的设计原则：在流水线的任何阶段都不使用任何真实客户数据。每一个元素，从组织结构到电子邮件内容再到会议记录，都是合成生成的，不包含任何客户数据输入。由于数据完全合成且经过安全筛查，团队可以广泛共享和复用这些数据，而不会引入声誉、合规或负责任 AI 风险。

我们的保障措施包括：在引用真实世界统计分布时采用隐私保护聚合技术，对所有公开数据源进行专家法律审查和批准，以及在整个流水线中清晰跟踪数据来源和血缘。

这意味着 Microsoft 各团队可以自由地将这些评估数据集用于实验、基准测试和回归测试，而无需承担隐私审查开销或数据处理的限制，否则这些限制会拖慢迭代速度。隐私设计不是对系统的约束。正是它使广泛采用成为可能。

结果与影响

自启动这个项目以来，我们观察到多个维度都有显著改善。

在合成数据质量方面，我们的内部评分系统显示，生成数据在结构、上下文和统计保真度方面都有显著质量提升。在我们的综合质量指标（衡量合成数据在多大程度上反映真实企业环境的复杂性和模式）上，与最初的生成方法相比，分数提高了 39%。一些行业特定环境的质量分数达到 0.9 以上（满分 1.0），表明聚焦领域的生成能够产生高度逼真的评估环境。这些改进部分来自纳入逼真的行业信号，部分来自通过关键综合质量指标实现质量改进自动化，这些指标有助于提升我们合成行业环境的结构完整性、上下文连贯性和统计多样性。

在规模和效率方面，每个合成环境现在包含数百名用户，覆盖三个行业垂直领域的完整通信历史。评估数据集的创建已从耗时数天的手动工作转变为自动化流水线运行。

在组织采用方面，我们的行业评估数据生成平台已发布到内部共享目录以供跨团队复用，并确立为 Microsoft Copilot 的首个标准化评估基线。这一变化不仅仅是渐进式的。它标志着团队评估方式的转变：从临时、手动流程转向标准化、可复现的基础设施。

结论

随着我们继续扩展 Microsoft Copilot 的能力，从单轮问答到智能体式多步骤工作流，我们对评估的承诺始终是我们方法的核心。在企业 AI 中，质量不仅仅关乎准确性或速度。它关乎信任。组织需要确信 AI 系统能正确处理他们的信息，而这种信心只能来自全面、可重复的评估。这种信任建立在贯穿我们所构建一切的两项承诺之上：严格的隐私保护和主动的内容安全。

展望未来，Microsoft Copilot 正在应对更令人兴奋的评估挑战：我们如何评估多轮智能体交互的质量？我们如何扩展合成环境以捕捉数月或数年间演变的组织动态？我们如何为不仅生成文本、还会采取行动的 AI 系统构建评估框架？这些正是我们团队接下来要研究的问题。

在 Microsoft，我们不仅在构建 AI。我们正在构建基础设施，以确保它在每个企业、每个行业、每种规模下都能可靠运行。

感谢所有参与行业评估数据集工作的人！在新标签页中打开

首席机器学习 PM 经理

首席应用科学经理

了解更多

Minha Hwang

首席应用科学家

数据平台与分析