目录

AI 网关与 MCP 路由

两条请求都记作一次调用,其中一条带着长上下文。如果只按每分钟请求数(RPM)限流,哪个租户先用完模型预算?

传统七层网关围绕 URL 路径、HTTP 方法和固定请求计数设计,面对 Token 开销悬殊的推理请求、基于 JSON-RPC 2.0 + 流式 HTTP/SSE 的 MCP 流量以及多后端工具撞名问题,很快就会力不从心。2026 年 9 月 9 日,Envoy AI Gateway 宣布更名为 Agent Router(并于 9 月 10 日正式加入 AAIF,仓库迁移至 theagentrouter/agent-router,保留 aigateway.envoyproxy.io API 组与 aigw CLI 兼容)。本文基于 Agent Router v1.2 官方文档,厘清各 CRD 职责、MCP 聚合路由与 A2A 预览边界。

一条 AI 请求在网关层的计量与策略归属

在网关数据面里,一次请求流经鉴权、路由、上游凭据注入、用量计量与可观测性导出四个环节:

flowchart LR Apps["业务服务 / 编码 Agent"] --> GW["Agent Router (Envoy Gateway + extProc)"] GW -->|"Token 限流 + BackendSecurityPolicy + Failover"| LLMs["上游模型后端 (OpenAI / Anthropic / Gemini / DeepSeek)"] GW -->|"MCPRoute: 聚合 + 工具前缀 + OAuth PKCE"| MCPs["内部 MCP Servers"] GW -->|"预览路径: Envoy alpha filter (仅 JSON-RPC)"| A2As["远端 A2A Agents"] GW -->|"遥测与用量指标"| Obs["可观测性后端 (OTEL / Langfuse)"]

把策略边界拆清楚,避免把不同层面的治理混为一谈:

  • 三类配额分开管控:上游云厂商施加的上游 Token 配额、网关面向内部租户执行的 Token 级限流,以及按价格换算的货币预算属于不同维度(模型分级与单请求预算熔断可延伸参考 大模型自适应思考与分级路由实战)。
  • 凭据引用与注入:上游 API Key 或云 IAM 凭据通过 BackendSecurityPolicy 引用并注入,避免在多个业务仓库里重复分发高权密钥。
  • 故障转移(Failover)的前提与局限:多上游容灾需显式配置 BackendTrafficPolicy(见 Traffic Handling),且仅对尚未开始输出内容的请求有效——一旦流式响应已经吐出首帧,网关无法对客户端做到透明无缝切换。
  • 遥测在数据面统一收敛:延迟、首字耗时与 Token 用量经 Envoy / OTEL 遥测管线导出至 LLM 可观测性实战 平台。

Agent Router v1.2 的 v1beta1 CRD 职责

根据 Agent Router v1.2 API Reference,aigateway.envoyproxy.io/v1beta1 属于 beta API,五个核心 Kind 各司其职:

Core CRD(v1beta1 Beta API) 职责边界 典型配置项
AIGatewayRoute LLM 推理路由匹配与分发 按模型名、租户 Header 或权重路由到目标后端
AIServiceBackend 抽象上游 AI 服务后端 指定上游协议格式与后端服务引用
BackendSecurityPolicy 上游凭据引用与注入 绑定 Secret / 云 IAM 身份,将凭据注入上游请求
GatewayConfig 配置 AI external processor(extProc)容器(Gateway Config) 由同命名空间的 Gateway 通过注解引用,配置 extProc 的环境变量、计算资源与元数据转发等
MCPRoute MCP 协议路由与聚合(MCP Gateway) 聚合多个后端 MCP Server、工具名前缀、授权规则与流式连接

不要把限流、超时和遥测配置错归到 GatewayConfig——它负责的是紧邻 Gateway 运行的 extProc 容器运行参数,而重试、故障转移与超时归属 BackendTrafficPolicy 等流量策略组件。

在 MCP 侧,MCPRoute 提供三项核心能力:

  • 多 Server 聚合(Multiplexing):客户端只接一个统一网关端点,无需在每个应用里维护十几个后端地址。
  • 工具命名空间前缀:按后端自动加前缀(如 github__issue_read),防止不同内部 Server 暴露同名工具冲突。
  • OAuth 授权码 + PKCE 与流式续传:按 MCP 规范集成 OAuth + PKCE;在配置授权规则后可按客户端身份裁剪工具发现列表,并支持 Streamable HTTP 与 Last-Event-ID 断线重连(实际续传效果取决于后端 MCP Server 的流支持)。

A2A 路由现状:区分实验预览与生产过渡方案

评估 A2A 协议 治理时,需明确区分现行预览与长期规划:

  • Agent Router 当前 A2A 预览(见 A2A Preview 文档):目前仅覆盖 JSON-RPC 绑定,依赖 Envoy alpha filter 与 EnvoyPatchPolicy 挂载;类似 MCPRoute 的一等公民 A2ARoute 仍处于开放提案阶段(见 GitHub Issue #2070)。
  • 生产过渡建议:在 A2ARoute 稳定前,生产环境治理跨团队 A2A 流量应优先采用标准 HTTPS/gRPC 代理,配合严格出站域名白名单与短期令牌,不要把 alpha filter 直接当作稳定控制面。

何时值得引入独立 AI 网关

判断要不要引入网关,关键看凭据共享范围、策略重复度与审计归属,而不是盲目追架构(以下数量仅作示例):

  1. 单服务验证期:凭据只在一个服务内使用、无跨团队审计诉求时,在后端保留薄 Adapter 层处理超时、重试和预算上限即可。
  2. 多服务共享凭据与重复策略期(例如 2 个以上模型厂商或 3 个以上内部 MCP Server):当多个仓库开始复制相同的 API Key、限流逻辑与 MCP 地址清单时,抽离独立代理或托管 AI 网关集中收口。
  3. 多团队 Kubernetes 平台期:需要统一 GitOps 声明式治理与集中合规审计时,引入 Agent Router 管理 AIGatewayRoute、BackendSecurityPolicy 与 MCPRoute。

参考资料