Perplexity 发布 LLM 网关实践指南，梳理请求链路与生产风险

Perplexity 于 2026 年 10 月 27 日发布了一份关于 LLM 网关的实践指南，向工程团队详细讲解这一中间层如何路由、鉴权、缓存和记录模型调用，并梳理了将各供应商凭证集中在一个服务中所带来的安全与可靠性风险。

网关的定义与分类

该指南将 LLM 网关定义为模型调用的反向代理：应用程序将请求发送至网关，而非直接发送给 OpenAI、Anthropic 或 Google 等供应商，网关则按照运营方设定的规则转发这些请求。指南将这一类别视为对“散乱局面”的回应，开篇引用了 2026 年 9 月 Reddit 的 r/LLMDevs 版块上的一篇帖子，其中一位工程师描述了自己的工作场所：每个人都各自持有 Claude、OpenAI、AWS Bedrock 及其他推理供应商的密钥。

指南的对比表区分了四种网关类型。API 网关位于后端服务之前，决定客户端是否通过鉴权以及是否在其速率限制之内。LLM 网关位于模型供应商之前，决定哪个模型接收请求、由谁付费以及请求是否成功返回。MCP 网关决定智能体是否可以携带给定参数调用某个工具。指南用“AI 网关”来指代那些捆绑了上述部分角色组合的厂商产品。

六步请求生命周期

指南通过追踪一个请求从应用程序到模型再返回的过程来解释其机制。首先，应用程序向网关的端点发送聊天请求，通常采用 OpenAI 兼容格式。网关验证凭证，通常是发放给团队或产品的虚拟密钥，并且在接入输入护栏时，可以扫描提示词中是否含有敏感数据或试图覆盖模型指令的企图。如果启用了缓存，符合条件的匹配请求可以直接从已保存的响应中返回，一些网关还提供语义缓存，可匹配被判定为相似而非完全相同的请求。随后，网关在其配置中查找匹配的路由，如果第一个供应商超时，可以回退到备用供应商。它将请求转换为所选供应商的格式，对发出的调用进行鉴权，再将响应转换回应用程序可用的格式。启用日志记录后，它会记录调用者、服务该请求的模型、token 数量、延迟和成本。

安全与可靠性风险

指南的核心警告是网关集中了凭证。微软安全团队列出了 LiteLLM 部署可能持有或获取的内容：供应商 API 密钥、LiteLLM 主密钥、虚拟密钥记录、数据库连接字符串、路由配置和租户策略数据。在 2026 年 8 月 26 日的帖子中，微软描述了一起观察到的 LiteLLM 网关入侵事件，攻击者从网关运行时环境中窃取了凭证。

2026 年 10 月 13 日，Check Point Research 披露了 LiteLLM 中的两个高危漏洞：CVE-2026-35029，一个访问控制缺陷，使已通过鉴权的用户（包括只读用户）能够访问管理功能并接管网关；以及 CVE-2026-59823，一个服务端请求伪造漏洞，使用户能够将网关请求重定向到攻击者控制的服务器并捕获 AI 供应商的 API 密钥。两者均已在 LiteLLM 1.83.9 版本中修复。Check Point 报告称 LiteLLM 每月下载量达 9700 万次，GitHub 星标超过 59,000 个，并表示其向 LiteLLM 的协调披露始于 2025 年 10 月。

指南还建议团队为护栏设定故障策略。它将钩子描述为请求路径中的节点，网关在这些节点将内容交给外部扫描器以获取判定结果，并指出 Portkey 的文档列出了 before_request_hooks 和 after_request_hooks，而 TrueFoundry 运行四个钩子，在 MCP 工具调用前后增加了检查。

在可靠性方面，指南引用了有记录的故障事件。Cloudflare 对其 2025 年 6 月 12 日故障的官方说明指出，其 AI Gateway 的请求错误率峰值达到 97%，因为 AI Gateway 依赖 Workers KV 来存储客户端和内部配置；整个故障持续了 2 小时 28 分钟。OpenRouter 对其 2026 年 2 月 17 日和 19 日故障的复盘指出，在第三方缓存依赖失效后，这些事件分别持续了 38 分钟和 35 分钟，产生了 401“User not found”错误，并促成了包括熔断机制在内的补救措施，以及在基础设施问题阻碍授权查询时返回 503 错误而非 401 错误。

指南列出了四条部署路径。团队可以在内部编写一个最小网关——接收请求、检查调用方的密钥、添加供应商凭证、转发调用并记录结果——也可以自托管开源网关，文中提到的选项包括 LiteLLM、Bifrost 和 Helicone。文中提到的托管网关包括 Cloudflare AI Gateway、Vercel AI Gateway、OpenRouter 和 Portkey 的托管网关。第四条路径是扩展公司已经运行的 API 网关，文中提到了 Kong AI Gateway、Apigee 的 AI 网关策略以及 Azure API Management 的 AI 网关。

在成本方面，指南指出，LLM 网关的价格从免费的开源软件到每月约 50 美元起的付费方案不等，企业版则采用定制定价；有些网关则按比例收费：指南指出，OpenRouter 的 Standard 方案会在购买额度时额外收取 5.5%。

指南最后给出了针对具体供应商的解答。指南指出，Amazon Bedrock AgentCore Gateway 通过 AWS 所称的“推理目标”支持模型调用，让应用程序使用一个端点即可访问包括 Amazon Bedrock、OpenAI 和 Anthropic 在内的供应商。指南指出，Perplexity 自家的 Agent API 支持 OpenAI 的 Responses API 接口，因此团队可以复用现有的 OpenAI 客户端库；并且 Agent API 允许用户按偏好顺序列出最多五个模型，包括来自不同供应商的模型。指南还提到了 Perplexity 的开源项目 Numbat，它通过本地钩子连接到受支持的智能体，并能在计划中的操作（如 shell 命令或文件写入）执行前对其进行检查，阻止功能为可选项且默认关闭。