Perplexity 发布 AI Gateway 指南：解析 LLM 与智能体流量的路由、成本控制与治理

Perplexity 于 2026 年 10 月 20 日发布了一份指南，解释 AI 网关如何在应用程序与大语言模型之间路由、计量和治理流量，以及组织在何时需要这样的网关。这篇题为《什么是 AI 网关？面向 LLM 与智能体流量的路由、成本控制与治理指南》的文章作为该公司博客的最新条目发布。

定义与请求处理

该指南将 AI 网关定义为置于组织应用程序或 AI 智能体一侧与其调用的大语言模型和工具另一侧之间的中央代理层，在一处统一处理路由、成本控制、安全策略执行和用量监控。由于每家提供商（指南点名了 OpenAI、Anthropic、Google、开源模型和自托管端点）都提供各自的 SDK、API 密钥和请求格式，网关接受一种标准请求，并将其转换为被调用提供商所需的格式。模型的添加、更换或停用通过网关配置完成，而非修改应用程序代码。

根据该指南，指向网关基础 URL 的每个请求都经过相同的四个步骤：网关按密钥和角色对调用方进行身份验证和授权；执行策略，例如 token 限额、预算以及包括 PII 脱敏在内的护栏；按成本、延迟或可用性路由到某个模型或提供商，在失败时切换到备用方案，并将请求转换为目标提供商的格式；记录模型、token 数量、延迟和结果，用于支出跟踪和调试。

能力与所述局限

该指南描述了六个能力领域。路由与故障转移按成本、延迟或能力选择模型，并在提供商宕机或受到速率限制时自动重定向请求。基于 token 的速率限制和预算按团队、项目或用户限制用量，一旦达到分配额度便拒绝请求。语义缓存按含义将新提示与已存储的答案匹配，当提示足够接近时直接返回已保存的响应，而无需调用模型。护栏检查每个提示和响应，在到达提供商之前移除个人或敏感数据，降低提示注入风险，并过滤不需要的内容。可观测性记录运行了哪个模型、token 用量、延迟和失败情况，而治理功能授予基于角色的模型访问权限，并为每次调用保留审计日志。

关于局限性，该指南指出网关会增加延迟，但称对于 LLM 流量而言这一延迟相对较小。它引用了 Broadcom 旗下 VMware Cloud Foundation 团队于 2026 年 6 月进行的一项独立基准测试，其中经过调优的 Envoy AI Gateway 在最多 224 个并发用户、启用路由和速率限制但不进行内容检查的情况下，每个请求约增加 2 毫秒；同一基准测试（如所引用）指出，护栏和语义缓存可能增加数十到数百毫秒。该指南还指出，网关不决定向模型提出什么问题、不记忆对话、不运行智能体的逐步逻辑，也不评估答案质量，并警告说，当更便宜的模型返回更差的答案时，成本驱动的路由可能降低质量。

网关类型与智能体流量

该指南从多个维度对比了 AI 网关与传统 API 网关：token 计量与请求计数限制、语义缓存与精确匹配缓存、针对敏感数据和隐藏指令的提示检查与密钥身份验证，以及按成本、延迟或能力路由到模型与路由到后端服务。它还将两个较窄的术语区分开来：LLM 网关处理模型调用本身，而 MCP 网关治理智能体可通过模型上下文协议访问哪些工具和数据源。指南指出，LiteLLM、Portkey、Azure API Management 和 Envoy AI Gateway 如今都增加了 MCP 治理，因此这些术语描述的是相互重叠的控制层。

对于智能体（指南将其描述为在模型调用和工具使用的循环中工作直至任务完成），网关控制和监控所有由智能体发起的流量，授权智能体可以访问哪些工具和数据源，并将所有模型和工具调用记录在审计日志中。

为估算需求规模，该指南引用了第三方数据。思科的《2025 年 AI 就绪指数》发现，在员工超过 500 人的组织中，8,039 名接受调查的高级业务领导者中有 83% 计划开发或部署 AI 智能体；Gartner 预计，到 2026 年底，40% 的企业应用程序中将出现任务专用智能体，高于 2025 年的不足 5%。在成本方面，该指南引用了 DoiT/Sapio 2026 年调查，其中 79% 的参与财务负责人表示他们在过去一年中超出了 AI 预算；还引用了 2026 年 Dataiku 与 Harris Poll 的调查，其中 93% 的企业 CIO 表示不同模型在不同用例中表现更好，81% 的企业预计将使用两家或更多模型提供商，55% 的企业至少更换过一次 LLM 提供商。

指南引用的独立监测数据显示，2026年5月领先LLM提供商的正常运行时间约为99.85%–99.9%，指南将其换算为每年约9–13小时的停机时间；在Cockroach Labs 2026年对1,125名高级基础设施负责人的调查中，三分之二的人估计AI停机一小时将给其组织造成超过10万美元的损失。指南还引用了OWASP 2025年将提示注入列为LLM首要安全风险的排名，以及Zscaler ThreatLabz的一项发现：一年内发送至AI应用的企业数据增长了93%，仅ChatGPT就触发了4.1亿次数据防泄漏违规。

指南列出了组织需要网关的信号：提供商密钥被硬编码在多个代码库中、财务部门无法归属的模型账单、与依赖单一提供商相关的速率限制或停机错误、携带敏感数据的未经检查的提示、各团队之间相互竞争的提供商集成、MCP工具集成，以及缺乏安全或合规概览。指南称，对于单个原型、低用量副业项目，或对安全要求极低、仅调用一个模型端点的情况，网关并非必需。所列自托管选项包括部署在私有云、Kubernetes或本地基础设施上的LiteLLM、Portkey和Apache APISIX；托管选项包括Cloudflare AI Gateway、Azure API Management和Amazon Bedrock AgentCore Gateway。指南围绕数据控制与隐私、运营负担（包括PostgreSQL、Redis或etcd等状态存储）、部署速度和集成来构建这一选择。其FAQ指出，“生成式AI网关”与“AI网关”可互换使用，且不存在唯一最佳的开源AI网关。

Theo Nash是Unite.AI的AI生成研究智能体，负责报道AI基础设施、算力以及支撑现代人工智能的硬件系统。他的工作聚焦于大规模AI工作负载背后的技术基础，包括数据中心、加速器、网络以及将它们连接在一起的软件栈。

凭借分析与工程驱动的视角，Theo考察GPU、定制芯片、内存架构和分布式系统的进步如何催生新一代AI模型。他尤其关注性能权衡、能效、可扩展性，以及塑造AI基础设施实际部署的现实约束。

由Theo Nash撰写的文章为AI生成，并经Unite.AI编辑团队审核，以确保技术准确性、清晰度，以及对快速演变的AI算力格局的负责任报道。

发现更多

mvp-article-cont