Article · AI translation
概览 在企业规模上评估 Microsoft Copilot，需要能够体现真实组织全部复杂性的测试数据，但真实企业数据包含敏感信息，在任何情况下都不能用于评估。为解决这一矛盾，我们构建了行业评估数据生成平台：以 O*NET 职业数据、在线招聘信息和美国证券交易委员会（SEC）申报文件等公开可用的真实世界数据源为基础，生成完整规模的合成企业环境。这些合成环境模拟真实业务流程，帮助 Microsoft 发现通用基准测试可能遗漏的问题。安全和隐私从设计之初就融入了平台。每个环境都是完全合成的，自动化内容安全检查确保生成的数据不含有害内容或个人身份信息。每天，全球数以百万计的知识工作者依靠 Microsoft Copilot 起草文档、总结会议、查找相关信息并提高工作效率。其背后由一个人工智能系统网络提供支持，而要确保这些系统按预期运行，就需要审慎的评估方法。在 Microsoft，我们知道，高性能不是靠猜测得来的，而是来自持续不断的测试、衡量和迭代。医疗机构不断汇总各团队的安全信号，以便更快、更好地作出直接影响患者治疗结果和监管信心的决策。他们可能会要求 Copilot 总结一次会议，并为团队提取行动事项。几秒钟内，Copilot 就会给出一份结构化摘要，并引用会议记录中的具体讨论要点。但我们如何确保这一回答准确、完整，并且恰当地以会议内容为依据？这正是我们的评估系统发挥作用的地方。我们制定了一项名为“行业评估数据生成平台”的结构化评估策略，其中包括专门针对不同行业的评估数据集，旨在依据真实的企业场景测试人工智能系统。该策略建立在三个核心支柱之上：合成企业环境：模拟的 Microsoft Copilot 环境，包含逼真的用户、会议、电子邮件、文档和组织结构，在不使用任何客户数据的情况下复现真实组织的复杂性；自动化查询生成流程：快速、可重复地创建评估数据集；结构化质量框架：确保合成数据达到开展有意义评估所需的标准。图 1：行业评估数据生成平台的组成部分。这些支柱共同帮助我们回答两个根本问题：Microsoft Copilot 是否真的在完成用户需要它完成的任务？我们能否在完全不接触用户数据的情况下证明这一点？在这篇博文中，我们将介绍我们的评估系统和流程，从合成环境生成到自动化查询流程，以及它们如何共同为 Microsoft Copilot 建立首个标准化评估基线。合成企业环境 评估企业人工智能需要能够体现真实组织全部复杂性的测试数据，包括汇报关系、项目历史、沟通模式和特定领域的工作流程。但真实企业数据包含敏感信息，在任何情况下都不能用于评估。这就是我们着手解决的核心矛盾。我们没有依赖小规模、人工整理的测试样本，而是生成完整规模的合成环境：模拟的企业工作空间，每个空间都有逼真的组织结构、沟通历史和工作成果。在 Microsoft 的术语中，每个这样的模拟工作空间都称为“租户”。租户是一个独立的组织环境，拥有自己的用户、数据和配置。这些环境是可扩展的基线，团队和组织可以按自己的需要在其基础上开展工作。它们旨在呈现使企业人工智能评估具有意义的相同结构和行为特征。以真实世界信号为基础 为确保合成环境逼真，我们以公开可用的真实世界数据源为基础。美国劳工部职业数据库中的 O*NET 数据用于使合成员工的岗位和职责更贴近现实，校准分配给不同岗位的工作活动的构成和频率，并针对临床试验审查或投资组合更新等特定行业工作流程进行调整。在线招聘信息提供了逼真的职位名称、汇报层级和部门构成。SEC 申报文件则为组织规模、业务部门结构和财务背景提供参考。所有这些来源均公开可用，且已通过 Microsoft 法务和政策部门的审查与批准。图 2：用于为评估数据生成提供依据的公共数据集中的真实信号。重要的是，这些合成环境并非静态快照。它们模拟随时间动态变化的组织，包括会议历史、项目时间线、历经数周发展的电子邮件往来，以及自然发生的组织变动。这个时间维度至关重要，因为大量 Copilot 查询本身就与时间有关。只有底层数据具有真实的时间结构，“团队上周四作了什么决定？”或“自上次季度审查以来发生了哪些变化？”这样的问题才能产生有意义的评估。特定行业模拟 我们在多个行业生成了三个合成环境，每个环境都有反映真实世界使用情况的独特特征：一个制药环境，包含监管申报工作流程、临床试验讨论和跨职能安全审查会议；一个资本市场环境，涵盖交易项目流程、合规沟通和客户投资组合审查；一家 IT／软件公司，模拟冲刺规划、代码审查讨论和产品发布协调。图 3：行业评估数据生成所针对的行业。这种行业针对性确保我们的评估查询测试的是 Copilot 能否回答这些领域的真实用户实际提出的问题，而不是依赖可能无法暴露特定领域故障模式的通用测试用例。自动化查询生成 合成环境为评估提供了基础，但仍面临一个关键限制：我们还需要逼真的评估查询。这些问题用于测试 Copilot 能否找到正确的信息、准确地综合信息，并以有帮助的方式呈现信息。人工编写数千条有依据、针对特定行业的查询，成本高得难以承受，而且速度缓慢。这正是我们的自动化流程发挥作用的地方。六阶段流程 图 4：将通用查询模板转化为逼真、针对特定行业的查询的查询定制流程。我们构建了一套自动化流程，将简单、通用的查询想法转化为面向 Copilot 的逼真行业特定问题。它从一个包含常见职场任务的大型库开始，筛选出与特定行业相关的任务，再利用该领域特有的语言和背景加以调整。随后，系统利用人工智能生成以合成环境数据为依据的查询，改写查询使其听起来更自然、更像人提出的问题，并逐一验证其准确性和独特性。最终得到一套丰富、高质量、贴近真实生活的查询，使我们能够在真实世界场景中对 Copilot 进行可扩展且可靠的评估。验证合成数据质量 当然，生成合成数据只是挑战的一部分。我们还需要确保数据质量足以产生有意义的评估。我们使用内部语义评估框架评估合成环境的质量，该框架从三个维度衡量质量：结构保真度：组织结构是否体现逼真的汇报层级、团队规模和跨职能关系？情境相关性：查询和工作流程是否能代表实际的企业使用模式？行为真实性：模拟用户是否呈现类似人类的沟通模式和协作动态？内容安全：生成的内容是否不含有害、冒犯性或可识别个人身份的材料，并避免冒充真实个人？端到端自动化 尽管合成环境和查询流程提供了方法，但如果缺乏适当的自动化，它们仍面临若干实际限制，包括：可重复性：人工流程每次都会产生细微不同的结果，因此难以比较不同版本之间的评估结果。规模：行业垂直领域和配置变体的数量超过了任何团队能够合理地手工完成的范围。迭代速度：人工创建需要数天时间，延误必要的反馈并拖慢开发周期。跨团队一致性：如果没有标准化工具，不同团队生成的评估数据集在格式和质量水平上就会不兼容。这种自动化将评估数据集的创建从需要数天的人工流程缩短为自动化运行。我们估计，每个评估数据集可节省约 100,000 美元，整个项目共节省 300,000 美元。但更重要的成果是，现在任何团队都可以使用相同的配置重新生成评估数据集，并得到相同的结果。Foundry Labs Foundry Labs 将 Microsoft 的突破性成果与能够将其付诸实践的开发者、科学家和充满好奇心的人连接起来。Foundry Labs 在新标签页中打开 从设计上保障隐私与安全 企业级评估需要的不只是好的方法。它还需要一种隐私保护方式，让团队能够快速行动，同时不损害用户信任。我们的行业评估数据集有一条不可妥协的设计原则：流程的任何阶段都不使用真实客户数据。从组织结构到电子邮件内容，再到会议记录，每个元素都是以合成方式生成的，没有客户数据输入。由于数据完全合成且经过安全筛查，团队可以广泛共享和重复使用，而不会引入声誉、合规或负责任人工智能方面的风险。我们的保障措施包括：在参考真实世界统计分布时采用保护隐私的聚合技术；由法律专家审查并批准所有公共数据源；以及在整个流程中清晰跟踪数据来源和沿袭关系。这意味着 Microsoft 各团队可以自由使用这些评估数据集进行实验、基准测试和回归测试，无须承担隐私审查负担或受到原本会拖慢迭代速度的数据处理限制。这种隐私设计并非系统的约束，而是使广泛采用成为可能的条件。成果与影响 自启动该项目以来，我们在多个方面观察到显著改进。在合成数据质量方面，我们的内部评分系统显示，生成数据的结构、情境和统计保真度均有显著提升。根据我们的综合质量指标（衡量合成数据在多大程度上反映真实企业环境的复杂性和模式），与最初的生成方法相比，得分提高了 39%。一些特定行业环境的质量得分超过了 1.0 分中的 0.9 分，这表明聚焦特定领域的生成方法能够产生高度逼真的评估环境。这些改进一部分来自纳入逼真的行业信号，另一部分来自通过关键综合质量指标实现质量改进自动化；这些指标有助于提高合成行业环境的结构完整性、情境连贯性和统计多样性。在规模和效率方面，如今每个合成环境都包含数百名用户，拥有涵盖三个行业垂直领域的完整沟通历史。评估数据集的创建已从需要数天的人工工作转变为自动化流程运行。在组织采用方面，我们的行业评估数据生成平台已发布到内部共享目录，供跨团队重复使用，并确立为 Microsoft Copilot 的首个标准化评估基线。这种变化并非仅仅是渐进式的，而是团队评估方式的一次转变：从临时性的人工流程转向标准化、可重复的基础设施。结语 随着我们不断扩展 Microsoft Copilot 的能力，从单轮问答到智能体式多步骤工作流程，评估始终是我们方法的核心。在企业人工智能领域，质量不仅关乎准确性或速度，还关乎信任。组织需要确信人工智能系统能够正确处理其信息，而这种信心只能来自全面、可重复的评估。这种信任建立在贯穿我们所有工作的两项承诺之上：严格保护隐私，以及主动保障内容安全。展望未来，Microsoft Copilot 正在应对更令人振奋的评估挑战：我们如何评估多轮智能体式交互的质量？如何扩展合成环境，以体现跨越数月或数年演变的组织动态？如何为能够采取行动、而不仅仅是生成文本的人工智能系统建立评估框架？这些正是我们团队接下来要研究的问题。在 Microsoft，我们不仅在构建人工智能，还在构建基础设施，以确保它能在每个行业、各种规模的企业中可靠运行。感谢所有参与行业评估数据集工作的同事！在新标签页中打开 文章《从合成企业数据评估到对真实 Microsoft Copilot 人工智能的信心》最初发表于 Microsoft Research。