目录

大模型自适应思考与分级路由实战

早期多模型路由是一维的:简单任务给小模型,复杂任务给旗舰模型,或者给推理模型填一个静态 budget_tokens。到了 2026 年第四季度,Anthropic 在 10–11 月推出支持自适应思考(Adaptive Thinking)与 output_config.effort 的 Claude Haiku 5.5 和 Claude Fable 5.2,Google 于 11 月 18 日推出支持四档思考深度的 Gemini 4 Neon,生产级路由已经变成二维决策:「模型档位 × 思考深度」。

以输出单价看,Haiku 5.5 在单次提示 ≤ 100,000 输入 token 时为每百万 Token $0.50、超过 100,000 输入 token 时升至 $2.50,对比 Fable 5.2 的 $40.00,两档价差分别为 80 倍与 16 倍;而且自适应思考产生的内部推理 Token 全部计入输出 Token。如果路由策略没有显式预算熔断与合法性校验,一次重试失控或跨过长提示阈值就足以打穿预算。本文基于截至 2026 年 11 月的官方 API 文档与定价,给出一套可直接落地的二维路由架构、带熔断的 TypeScript 策略实现与跨厂商适配清单。

从静态 budget_tokens 到自适应思考

固定 budget_tokens 的痛点在于难以事前预估:给小了会在复杂逻辑中途截断,给大了又让简单格式转换空转数秒。新一代模型普遍转向 按轮次自适应(Per-turn Adaptive)+ 档位引导(Effort) 机制,但各厂商、同家族不同档位的约束差异很大,路由层必须显式区分:

  • Anthropic Claude 5.5 / 5.2(见 Thinking 指南 与 Effort 指南):传入 thinking: { type: "adaptive" } 并通过 output_config.effort(全量枚举 low / medium / high / xhigh / max)引导思考深度。各档位禁用规则并不相同:
    • claude-opus-5-5 与 claude-fable-5-2:自适应思考常开,传入 disabled 返回 HTTP 400。
    • claude-sonnet-5-5:同样不接受 disabled,在 low / medium / high 下可使用 between_tools。
    • claude-haiku-5-5:仅在 high 及以下档位支持 disabled。
  • Google Gemini 4 Neon(见 Google Cloud 模型指南):直接调用模型 API 时提供 1,048,576 共享输入/输出上下文窗口与四档思考深度(注意接口差异:GenerateContent 在 thinkingConfig.thinkingLevel 中使用大写枚举值,而 Interactions 接口使用小写枚举值;在 Antigravity 工作台内公布的上限为 512K)。
  • DeepSeek-V4.1-Flash:只有在按协议声明搜索工具的前提下,开启深度思考才会触发多步联网与链接阅读(详见 DeepSeek Web Tools 指南 与站内 DeepSeek 应用级 API 套件与 V4.1-Flash 实战)。

2026 年 11 月主流档位与阶梯成本

Anthropic 5.5 / 5.2 全系均为 1M 上下文窗口、最高 128K 输出(Haiku 5.5 规格、Fable 5.2 规格、官方定价页):

路由层级 代表模型 标准 API 定价(输入 / 输出,每 MTok) 默认思考配置 典型适用任务
L0 极速轻量(短提示) claude-haiku-5-5(单次提示 ≤ 100,000 输入 token) $0.10 / $0.50 默认 medium(支持自适应跳过) 分类、抽取、路由预判、轻量改写
L0 极速轻量(长提示) claude-haiku-5-5(单次提示 > 100,000 输入 token) $0.50 / $2.50 同上;阈值含缓存读写,越线按整次请求计档 长上下文粗筛与文档抽取
L1 均衡主力 claude-sonnet-5-5 / gemini-4-neon Sonnet 5.5:$2.00 / $10.00 默认 high 日常功能开发、代码审查、常规多步 Agent
L2 深度推理 claude-opus-5-5 $4.00 / $20.00 默认 medium(不接受 disabled) 长周期重构、跨文件故障诊断
L3 极限兜底 claude-fable-5-2 / Gemini 4 Carbon Fable 5.2:$8.00 / $40.00 Fable 5.2 默认 high(不接受 disabled) L1/L2 校验失败后的疑难排障、安全与架构评审

特别留意 Haiku 5.5 的 100,000 输入 token 阶梯线:该计数包含缓存读取与写入,一旦越线整次请求都会按 $0.50 / $2.50 计费。非实时任务可叠加 Batch API(50% 折扣),常规在线任务则通过稳定系统前缀吃满 Prompt Caching(上下文裁剪方法见 AI 上下文工程指南)。

二维分级路由架构:确定性校验与阶梯熔断

生产环境应以确定性策略路由 + 统一校验节点 + 显式熔断替代不稳定的 LLM 路由分类器(官方选型建议见 Optimizing for Cost and Intelligence):

flowchart LR Req["业务请求 / Agent 步骤"] --> Policy["确定性策略路由 (任务画像 + 预算 + 截止时间)"] Policy --> L0["L0: Haiku 5.5"] Policy --> L1["L1: Sonnet 5.5 / Gemini 4 Neon"] Policy --> L2["L2/L3: Opus 5.5 / Fable 5.2 / Carbon"] L0 --> Verify["统一确定性校验 (Schema / Lint / 单测)"] L1 --> Verify L2 --> Verify Verify -->|"通过"| Out["返回结果"] Verify -->|"失败"| Gate{"是否还有下一档且未超预算/超时?"} Gate -->|"是"| Next["按阶梯升级一档模型或 effort"] Next --> Policy Gate -->|"否 (熔断)"| Abort["显式终止并交回人工/降级处理"]

所有档位(包括 L2/L3)都必须经过同一确定性校验节点;只有校验失败且仍在重试阶梯、成本上限和截止时间之内时,才允许进入下一档。各档位的真实命中率与升级比例因业务差异极大,应通过本团队的离线评测集(Eval)实测确定,而不是套用拍脑袋的经验百分比。

TypeScript 带熔断的二维策略路由器

下面这段 TypeScript 代码同时演示了三件事:区分 Anthropic 全量 effort 枚举与本地允许子集、对 attempt 与 profile 做严格运行时校验,以及在阶梯耗尽、预算超限或超时后返回显式熔断结果(而非静默循环打最后一档):

export type TaskProfile =
  | "extract_or_classify"
  | "standard_coding"
  | "complex_debugging"
  | "security_or_architecture";

/** Anthropic 支持的完整 effort 枚举 */
export type ClaudeEffort = "low" | "medium" | "high" | "xhigh" | "max";
/** 本地路由策略允许使用的上限子集(禁止自动升级到 max) */
export type AllowedEffort = Exclude<ClaudeEffort, "max">;

export interface RouteDecision {
  model: string;
  effort: AllowedEffort;
  maxTokens: number;
}

export interface BudgetContext {
  spentUsd: number;
  maxBudgetUsd: number;
  deadlineMs: number;
  nowMs?: number;
}

export type RouteOutcome =
  | { ok: true; decision: RouteDecision }
  | {
      ok: false;
      reason: "ladder_exhausted" | "budget_exceeded" | "deadline_exceeded";
    };

const ROUTE_TABLE: Record<TaskProfile, readonly RouteDecision[]> = {
  extract_or_classify: [
    { model: "claude-haiku-5-5", effort: "low", maxTokens: 1024 },
    { model: "claude-haiku-5-5", effort: "medium", maxTokens: 2048 },
  ],
  standard_coding: [
    { model: "claude-sonnet-5-5", effort: "medium", maxTokens: 8192 },
    { model: "claude-sonnet-5-5", effort: "high", maxTokens: 16384 },
  ],
  complex_debugging: [
    { model: "claude-opus-5-5", effort: "medium", maxTokens: 16384 },
    { model: "claude-fable-5-2", effort: "high", maxTokens: 32768 },
  ],
  security_or_architecture: [
    { model: "claude-fable-5-2", effort: "high", maxTokens: 32768 },
  ],
};

export function selectRoute(
  profile: TaskProfile,
  attempt: number,
  budget: BudgetContext,
): RouteOutcome {
  if (!Number.isInteger(attempt) || attempt < 0) {
    throw new RangeError(`attempt must be a non-negative integer, got ${attempt}`);
  }
  if (!Object.prototype.hasOwnProperty.call(ROUTE_TABLE, profile)) {
    throw new RangeError(`unknown task profile: ${String(profile)}`);
  }

  const now = budget.nowMs ?? Date.now();
  if (now >= budget.deadlineMs) {
    return { ok: false, reason: "deadline_exceeded" };
  }
  if (budget.spentUsd >= budget.maxBudgetUsd) {
    return { ok: false, reason: "budget_exceeded" };
  }

  const ladder = ROUTE_TABLE[profile];
  if (attempt >= ladder.length) {
    return { ok: false, reason: "ladder_exhausted" };
  }
  return { ok: true, decision: ladder[attempt] };
}

export function buildClaudeRequestBody(
  decision: RouteDecision,
  userPrompt: string,
) {
  return {
    model: decision.model,
    max_tokens: decision.maxTokens,
    thinking: { type: "adaptive" as const },
    output_config: { effort: decision.effort },
    messages: [{ role: "user" as const, content: userPrompt }],
  };
}

若团队同时接入 Anthropic 与 Google Gemini 4,不要只加一个 provider 字段了事——由于 output_config.effort 与 Gemini 的 thinkingConfig.thinkingLevel(区分 GenerateContent 大写与 Interactions 小写)在结构与合法值上各不相同,应在独立厂商 Adapter 内完成协议转换。

生产计费与可观测性避坑清单

  1. 监控思考 Token 时切忌重复计费:在 Claude Messages API 响应中,可从 usage.output_tokens_details.thinking_tokens 拆出思考消耗用于可观测性分析(埋点方法见 LLM 可观测性指南),但该数字已经包含在 usage.output_tokens 内,账单核算绝不可将两者相加。
  2. 严禁跨档位盲目透传 disabled:Sonnet 5.5、Opus 5.5、Fable 5.2 均不接受 thinking: { type: "disabled" };需要压低延迟时应改走 Haiku 5.5(high 及以下才允许关闭)或调低 effort。
  3. 盯紧 100K 输入阈值:如果短提示流量因系统提示膨胀或历史未压缩意外跨过 100,000 token(含缓存读写),Haiku 5.5 的输入与输出单价会同时跳涨 5 倍。
  4. 先清理上下文噪音,再触发模型升级:许多校验失败源于无关日志淹没关键报错,把上下文裁剪干净往往比升级到更高档位模型更省钱、更快。

参考资料