人工智能
Natera 如何借助 Amazon Bedrock AgentCore 为实验室运维设计智能体 AI 系统在 Natera这家游离 DNA(cfDNA)检测领域的领军企业,保持实验室仪器持续运行至关重要,因为设备停机时间会中断样本处理。Natera 的实验室工程团队在 Ariel Jirau 的带领下,与 AWS 合作构建了 SWARM(Systematic Workflow Analytics and Resolutions Manager,系统化工作流分析与解决管理器),这是一个面向实验室运维的智能体 AI 系统。
本文介绍 Natera 团队如何使用 Amazon Bedrock AgentCore 构建面向实验室运维的智能体 AI 系统,从而大规模捕获和部署机构知识。文章描述了从知识库构建到自动化系统部署与评估的完整架构,以便您将相同的模式应用到自己的运维工作流中。
SWARM 将首次响应时间提升约 130 倍,并在支持工单上实现 96.2% 的自动覆盖率,使工程师在工单到达的那一刻即可立即获取机构知识。
挑战:知识连续性
Natera 的实验室运维依赖多种精密仪器,涵盖多个设备系列,每个系列都有各自的故障模式、供应商文档和解决模式。负责维护这一基础设施的服务工程团队是按个人深度专业知识而非标准化操作手册来组织的。当一位花费数年时间诊断某一特定仪器系列的资深技术员离职时,他们所掌握的机构知识实际上就流失了。当时不存在任何系统能够大规模捕获、组织或部署这些专业知识。
每天在三个 Jira 队列中产生超过 65 张工单,平均首次响应时间为 17.4 小时,仪器停机延误了实验室样本和患者报告。招聘更多工程师无法跟上节奏。SWARM 必须在几分钟内响应,在广泛的设备类型上提供准确的诊断,并通过结构化的评估循环持续改进。
Natera 为何选择 Amazon Bedrock AgentCore
Natera 团队选择在 Amazon Bedrock AgentCore 上构建 SWARM,这是 AWS 提供的一项完全托管、可扩展的服务,旨在大规模构建、部署、连接、保护和安全运营 AI 智能体。三项核心需求推动了这一决定:
- 无需人工干预即可自主处理大量支持工单。
- 与 Jira 和 Confluence 等现有运维工具深度集成。
- 内置安全性和可观测性(加密、AWS Identity and Access Management(IAM)集成和分布式追踪),无需团队自行构建和维护自定义基础设施。
“我们需要一个托管运行时,让我们能够将工程精力集中在诊断准确性上,而不是基础设施管道上——AgentCore 为我们提供了这一点,还带来了内置的身份管理以及无需重写智能体逻辑即可更换模型的灵活性,”Jirau 说道。
AgentCore 提供与多项服务的原生集成,包括 Amazon DynamoDB(一项完全托管的 NoSQL 数据库服务)、 Amazon Simple Queue Service(Amazon SQS)以及 AWS X-Ray(Amazon CloudWatch 的一项功能)。
SWARM 如何工作:两个智能体,一个技能库
SWARM 使用两个互补的运行时,共享同一个技能库。swarm-agent 在工程师打开工单之前自主生成结构化诊断报告,而工程师使用 swarm-hive 进行实时交互、上传图像并探索替代故障排除路径。
“该系统并不取代工程师——它在工单到达的那一刻就让他们能够获取完整的机构知识,”Jirau 说道。
四层连接起整个架构:
- 事件层 通过 Amazon EventBridge 和 Amazon SQS 路由 Jira 工单。
- 智能体层 托管 swarm-agent、swarm-hive 和技能库,并将诊断报告回传给工程师。
- 上下文层 利用供应商手册、历史工单和运维数据。
- 可观测性与交付层 捕获追踪、日志和指标。
图 1:Natera 在 Amazon Bedrock AgentCore 上的 SWARM 架构
安全架构
Natera 团队的第一个架构决策是智能体的运行位置。团队需要一个托管运行时来处理容器编排、扩缩容和安全性,而无需他们维护自定义基础设施。他们选择了 AgentCore runtime(Amazon Bedrock AgentCore 的一项功能),因为它将 swarm-agent 和 swarm-hive 托管在安全、受管理的环境中,并内置身份管理和监控,从而避免了构建和运营自定义智能体执行层的需要。无论您选择哪种框架,都可以采用这一模式。
团队选择了无密钥部署模型,因为 SWARM 运行在临床环境中,凭据暴露是不可接受的。OpenID Connect(OIDC)和 AWS Security Token Service(AWS STS) 生成按部署范围限定的临时凭据,管道中不存在长期密钥。 AWS Identity and Access Management(IAM) 在组件级别强制执行最小权限。 Amazon Virtual Private Cloud(Amazon VPC) 通过私有子网和 VPC 端点使流量不经过公共互联网。 AWS Secrets Manager 以 30 天为周期自动轮换少数存在的凭据。
GitLab CI 运行器通过向账户中配置的 IAM 身份提供商出示 OIDC 令牌来向 AWS 进行身份验证。AWS STS 将该令牌交换为限定于部署角色的短期凭据(管道中不存储长期访问密钥)。有关设置详情,请参阅 IAM OIDC 提供商文档.
以下示例说明了该模式:GitLab CI 的 IAM OIDC 信任策略遵循以下结构:
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Federated": "arn:aws:iam::ACCOUNT_ID:oidc-provider/gitlab.com"
},
"Action": "sts:AssumeRoleWithWebIdentity",
"Condition": {
"StringEquals": {
"gitlab.com:sub": "project_path:YOUR_PROJECT:ref_type:branch:ref:main"
}
}
}
]
}
这些基础设施层面的安全控制与 SWARM 的数据治理策略协同工作。它们共同构成了在受监管的临床环境中运营 AI 系统所需的完整合规态势。
合规与数据治理
SWARM 在符合 HIPAA 要求的 AWS 服务上运行,并受商业伙伴附录(BAA)约束,这体现了 Natera 作为临床实验室运营商的义务。每次智能体调用都会记录审计日志(一种可搜索的记录,满足数据访问可追溯性要求)。任何可识别患者身份的信息都不会接触向量索引或语言模型。工单仅包含设备和流程元数据。在 HIPAA 或类似监管框架下构建系统的团队,应在设计知识库管道之前确认 BAA 覆盖范围和数据隔离要求。
知识库与文档管道构建
早期使用通用检索、未结合设备特定元数据的原型产生了不一致的结果,因此 Natera 团队构建了一套针对技术设备文档定制的文档处理管道。 Amazon Titan Text Embeddings 为语义搜索生成向量表示,而 Amazon Bedrock Knowledge Bases 提供全托管的检索增强生成(RAG),将文档转换为嵌入并以每批 100 个的规模存储,这一批量大小是在索引吞吐量与 API 速率限制之间权衡后选定的。对于包含表格和图表的强结构化源文档,投入构建自定义解析管道而非依赖默认分块方式,会在每一次诊断中叠加准确率收益。
Amazon Bedrock 服务(包括 Amazon Titan Text Embeddings)和 Amazon Bedrock AgentCore 已在多个 AWS 区域推出。如需了解最新信息,请参阅 Amazon Bedrock 支持的区域 和 Amazon Bedrock AgentCore 支持的区域.
Natera 团队使用采用 cl100k_base 编码的 tiktoken 分词器来测量分块边界。以下示例说明了该模式,分块配置遵循标准结构:
# Document chunking configuration
chunk_size = 1000 # tokens
chunk_overlap = 150 # tokens
encoding = tiktoken.get_encoding("cl100k_base")
batch_size = 100 # documents per embedding API call
有关批量摄取模式的更多信息,请参阅 Amazon Bedrock Knowledge Bases 文档.
“诊断准确率首先是一个数据质量问题,”Jirau 说。“为得分最低的仪器系列补充缺失的厂商手册后,在未更改模型的情况下,准确率从 71% 提升到了 75%。”
这塑造了 Natera 团队的改进方法:当准确率停滞时,团队会先检查数据覆盖情况,再调整模型,因为厂商文档中的缺口是导致漏诊的最常见原因。该管道会重新处理新增或更新的文档,并在不中断正在进行的操作的情况下刷新向量索引。
技能库架构
Natera 团队面临一个关键架构选择:将逻辑直接嵌入智能体提示词,还是构建独立的、带版本的技能库。Natera 选择了技能库方案,因为它使 SWARM 可审计且可改进。
“当诊断出错时,我们需要指向某个具体技能,而不是调试整个系统——这就是我们一开始就构建带版本技能库的原因,”Jirau 说。
该库包含 33 项技能:24 项仪器特定技能,覆盖 Natera 支持的全部设备系列,另有 9 项跨领域工作流技能,广泛适用于各类工单。每项技能都有明确的接口,可独立测试,并按照与整个系统相同的标准进行评估,被视为生产软件,而非嵌入的提示词逻辑。
技能架构遵循明确的分工:Python 负责确定性任务,例如解析 Jira 字段或格式化 HTML 报告;而大语言模型(LLM)技能负责语言推理,例如解读症状、匹配厂商文档和生成诊断叙述。对于构建多技能智能体的团队而言,在确定性的 Python 技能与由 LLM 驱动的推理技能之间做出这种划分,是最具影响力的决策之一。
智能体运行时部署
Natera 将诊断工作拆分为两个不同的运行时,因为自主后台分析与交互式工程协作在延迟和上下文需求上存在根本差异。swarm-agent 为吞吐量而构建。它根据设备类型和症状选择技能,查询知识库,并生成结构化 HTML 报告,其中包含首要原因假设、按优先级排序的故障排查步骤和置信度标签。报告会交付到 Amazon Simple Storage Service(Amazon S3),并在几分钟内链接到 Jira 工单。swarm-hive 则为深度而设计:工程师可以进行交互式跟进、上传图像并探索替代路径,并借助 AgentCore memory(Amazon Bedrock AgentCore 的一项功能), 跨会话保留每位工程师的对话上下文。
由于 swarm-hive 接受工程师的自由格式输入,提示词会经由 Amazon Bedrock Guardrails 进行内容过滤。
事件驱动的 Jira 集成
SWARM 通过 Amazon EventBridge Scheduler 和一个轮询式 AWS Lambda 函数, 一种响应事件运行代码的无服务器计算服务,与 Jira 集成,从而避免配置 webhook。经过验证的工单进入 Amazon SQS 队列以实现可靠投递。DynamoDB 使用工单 ID 作为分区键进行去重,并基于生存时间(TTL)过期,同时存储每次运行的元数据,例如状态、成本和 token 用量,以供给评估循环。这种 EventBridge-to-SQS 模式将智能体运行时与工单系统的可用性解耦。
以下示例说明了该模式。去重表使用带 TTL 过期的最小化 schema:
dynamodb.create_table(
TableName='swarm-deduplication',
KeySchema=[
{'AttributeName': 'ticket_id', 'KeyType': 'HASH'}
],
AttributeDefinitions=[
{'AttributeName': 'ticket_id', 'AttributeType': 'S'}
],
TimeToLiveSpecification={
'Enabled': True,
'AttributeName': 'ttl'
}
)
可观测性设计
具有许多交互组件的智能体系统,如果没有逐次调用追踪,就很难调试,因此 Natera 团队在首次生产部署之前就将可观测性构建到 SWARM 中。如果您在生产环境中运行智能体,逐次调用追踪是不可或缺的:没有它,调试糟糕的诊断就意味着猜测哪个技能出了问题。
在临床实验室环境中,仪器停机直接影响患者报告,因此追踪、告警和审计每一次智能体操作的能力并非“锦上添花”。这是监管和运营要求。
SWARM 的可观测性技术栈使用 Amazon CloudWatch 捕获每次运行的可搜索日志,提供清晰的运行健康记录。AWS X-Ray 追踪每次运行从工单接收到诊断报告的整个过程,记录每次工具调用的时间和成本,使团队在出现缓慢或成本高昂的情况时能够精确定位具体负责的技能,而不是靠猜测。 Amazon Simple Notification Service 通过电子邮件发送故障告警,而 Slack 跟踪器则让整个团队实时了解智能体的活动。
持续评估方法
SWARM 采用持续评估循环,而不是在部署时只测试一次,这对于处理不断变化的文档或不断演进的工作流的系统尤为关键。对于处理的每一张工单,智能体都会提供主要成因假设、按优先级排序的故障排查步骤以及自评置信度标签。工程师记录他们发现和修复的问题,评估员将每个响应评为准确、部分准确或错误,并按仪器系列细分。团队会审查结果以找出智能体表现不佳之处,应用修复措施(通常通过更新知识库),然后重新运行评估集以确认改进效果。
SWARM 的自评置信度标签与实际准确率之间呈现出方向性关系。在 154 个已评估案例中,标记为高置信度的工单准确率达到 74%,而中等置信度和低置信度的工单分别在 78 个和 37 个案例中均达到 65%。请注意,中等置信度和低置信度目前准确率相同。低置信度的 37 个案例样本量太小,无法得出具有统计意义的结论,Natera 团队预计随着评估数据集的扩大,这两个层级会出现分化。
高置信度与其余层级之间的区分,为工程师在阅读诊断报告时判断每个诊断应给予多大权重提供了有用的信号。
SWARM 性能
Natera 团队在 524 张支持工单上评估了 SWARM,以建立性能基线。在评估集的 524 张工单中,有 269 张获得了高、中或低置信度标签,并且有相应的工程师验证解决方案可供比较。其余工单要么标记为无,要么在分析时缺少经过验证的解决方案。
平均首次响应时间从 17.4 小时降至约 8 分钟(约快 130 倍)。这些测量数据来自 90 天生产评估期间收集的 Jira 工单元数据。覆盖率同样重要:96.2% 的工单无需工程师启动诊断流程即可获得自动首次响应。覆盖率按在工程师审核之前收到 SWARM 生成的诊断报告的传入工单百分比来衡量。
在生产环境中构建智能体 AI 的经验教训
SWARM 中的若干架构决策可直接适用于构建类似系统的团队。
- 将分块大小和重叠视为可调参数。合适的取值取决于源文档的结构方式。
- 从一开始就将可追溯性构建到技能库中。当诊断出错时,你希望指向具体的技能,而不是调试整个系统。
- 如果你的工作负载混合了批处理和交互式查询,请将它们分离到不同的运行时中。
入门
你可以使用以下资源亲自尝试这些模式: AgentCore 示例仓库, 在 AWS 上构建智能体系统 或 Amazon Bedrock AgentCore 入门指南 ,以安全地大规模部署智能体。面临机构知识流失、高容量运营工作流或临床合规要求等类似挑战的医疗健康和生命科学组织会发现,Natera 与 SWARM 共同开发的架构模式为在 AWS 上构建智能体 AI 系统提供了可复制、经过生产验证的基础。