AI 网关与 MCP 路由
两条请求都记作一次调用,其中一条带着长上下文。如果只按每分钟请求数(RPM)限流,哪个租户先用完模型预算?
传统七层网关围绕 URL 路径、HTTP 方法和固定请求计数设计,面对 Token 开销悬殊的推理请求、基于 JSON-RPC 2.0 + 流式 HTTP/SSE 的 MCP 流量以及多后端工具撞名问题,很快就会力不从心。2026 年 9 月 9 日,Envoy AI Gateway 宣布更名为 Agent Router(并于 9 月 10 日正式加入 AAIF,仓库迁移至 theagentrouter/agent-router,保留 aigateway.envoyproxy.io API 组与 aigw CLI 兼容)。本文基于 Agent Router v1.2 官方文档,厘清各 CRD 职责、MCP 聚合路由与 A2A 预览边界。
一条 AI 请求在网关层的计量与策略归属
在网关数据面里,一次请求流经鉴权、路由、上游凭据注入、用量计量与可观测性导出四个环节:
把策略边界拆清楚,避免把不同层面的治理混为一谈:
- 三类配额分开管控:上游云厂商施加的上游 Token 配额、网关面向内部租户执行的 Token 级限流,以及按价格换算的货币预算属于不同维度(模型分级与单请求预算熔断可延伸参考 大模型自适应思考与分级路由实战)。
- 凭据引用与注入:上游 API Key 或云 IAM 凭据通过
BackendSecurityPolicy引用并注入,避免在多个业务仓库里重复分发高权密钥。 - 故障转移(Failover)的前提与局限:多上游容灾需显式配置
BackendTrafficPolicy(见 Traffic Handling),且仅对尚未开始输出内容的请求有效——一旦流式响应已经吐出首帧,网关无法对客户端做到透明无缝切换。 - 遥测在数据面统一收敛:延迟、首字耗时与 Token 用量经 Envoy / OTEL 遥测管线导出至 LLM 可观测性实战 平台。
Agent Router v1.2 的 v1beta1 CRD 职责
根据 Agent Router v1.2 API Reference,aigateway.envoyproxy.io/v1beta1 属于 beta API,五个核心 Kind 各司其职:
Core CRD(v1beta1 Beta API) |
职责边界 | 典型配置项 |
|---|---|---|
AIGatewayRoute |
LLM 推理路由匹配与分发 | 按模型名、租户 Header 或权重路由到目标后端 |
AIServiceBackend |
抽象上游 AI 服务后端 | 指定上游协议格式与后端服务引用 |
BackendSecurityPolicy |
上游凭据引用与注入 | 绑定 Secret / 云 IAM 身份,将凭据注入上游请求 |
GatewayConfig |
配置 AI external processor(extProc)容器(Gateway Config) |
由同命名空间的 Gateway 通过注解引用,配置 extProc 的环境变量、计算资源与元数据转发等 |
MCPRoute |
MCP 协议路由与聚合(MCP Gateway) | 聚合多个后端 MCP Server、工具名前缀、授权规则与流式连接 |
不要把限流、超时和遥测配置错归到 GatewayConfig——它负责的是紧邻 Gateway 运行的 extProc 容器运行参数,而重试、故障转移与超时归属 BackendTrafficPolicy 等流量策略组件。
在 MCP 侧,MCPRoute 提供三项核心能力:
- 多 Server 聚合(Multiplexing):客户端只接一个统一网关端点,无需在每个应用里维护十几个后端地址。
- 工具命名空间前缀:按后端自动加前缀(如
github__issue_read),防止不同内部 Server 暴露同名工具冲突。 - OAuth 授权码 + PKCE 与流式续传:按 MCP 规范集成 OAuth + PKCE;在配置授权规则后可按客户端身份裁剪工具发现列表,并支持 Streamable HTTP 与
Last-Event-ID断线重连(实际续传效果取决于后端 MCP Server 的流支持)。
A2A 路由现状:区分实验预览与生产过渡方案
评估 A2A 协议 治理时,需明确区分现行预览与长期规划:
- Agent Router 当前 A2A 预览(见 A2A Preview 文档):目前仅覆盖 JSON-RPC 绑定,依赖 Envoy alpha filter 与
EnvoyPatchPolicy挂载;类似MCPRoute的一等公民A2ARoute仍处于开放提案阶段(见 GitHub Issue #2070)。 - 生产过渡建议:在
A2ARoute稳定前,生产环境治理跨团队 A2A 流量应优先采用标准 HTTPS/gRPC 代理,配合严格出站域名白名单与短期令牌,不要把 alpha filter 直接当作稳定控制面。
何时值得引入独立 AI 网关
判断要不要引入网关,关键看凭据共享范围、策略重复度与审计归属,而不是盲目追架构(以下数量仅作示例):
- 单服务验证期:凭据只在一个服务内使用、无跨团队审计诉求时,在后端保留薄 Adapter 层处理超时、重试和预算上限即可。
- 多服务共享凭据与重复策略期(例如 2 个以上模型厂商或 3 个以上内部 MCP Server):当多个仓库开始复制相同的 API Key、限流逻辑与 MCP 地址清单时,抽离独立代理或托管 AI 网关集中收口。
- 多团队 Kubernetes 平台期:需要统一 GitOps 声明式治理与集中合规审计时,引入 Agent Router 管理
AIGatewayRoute、BackendSecurityPolicy与MCPRoute。