LLM Router · 模型通道管理

连接中…
调用方只传 model,路由到对应上游 —— 不需要知道任何 base_url 或 Key。

通过 Router 调用模型

调用方使用 Router 地址、业务 Token 和模型名。Provider 地址与厂商 Key 由 Router 管理,无需写进业务代码。

  1. 员工先到「我的 Token」生成个人 Router Token;管理员为服务或环境到「业务 Key」签发专用 Key。
  2. 调用 /v1/models 获取当前 Key 获准使用的模型名。
  3. 将返回的模型名填入 model,调用统一接口。

当前接入范围

可直接调用

/v1/chat/completions、/v1/embeddings,以及 SystemOne、Gemini Interactions 原生接口。

Codex 底层模型直连暂未支持

在 Codex 对话中可用下方的 $llm-router Skill 指定 Router 模型回答文本问题;若要让 Codex 本身通过 Router 推理,需先增加并验证 /v1/responses 兼容。

Router Token 与上游厂商 API Key、管理令牌相互独立。请勿把完整 Token 提交到 Git 或发到聊天中。

在 Codex 中安装并使用 llm-router Skill(macOS)

  1. 使用公司 Lark 登录,在「我的 Token」下载 macOS 安装包;Mac 需有 Python 3。
  2. 解压后双击「安装 LLM Router.command」。核对安装器与浏览器中的六位配对码一致,再在网页授权。
  3. 等待安装器显示“授权成功”和模型数量,然后重新打开 Codex;在对话框输入以下命令验证并提问。
$llm-router 列出模型
$llm-router -m "gemini-2.5-pro" "用三句话说明冷链异常的处理步骤"

模型名以列出的 Router 对外名称为准。安装器把设备 Token 保存在这台 Mac 的钥匙串,无需在 Codex 中粘贴 Token;Skill 只发送本次明确输入的文本,不会切换 Codex 自身的底层模型。

调用示例与客户端接入:API、Python、Codex、Claude Code

1. API(curl)

先到「我的 Token」生成个人 Router Token。模型 ID 用下方 /v1/models 返回的值。

export ROUTER_URL=""
export ROUTER_API_KEY="粘贴你的个人 Router Token"

# 查看此 Token 当前可用的模型
curl -sS "$ROUTER_URL/v1/models" \
  -H "Authorization: Bearer $ROUTER_API_KEY"

# OpenAI 兼容 Chat Completions;把 model 换成上一步返回的 id
curl -sS "$ROUTER_URL/v1/chat/completions" \
  -H "Authorization: Bearer $ROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"qwen-plus","messages":[{"role":"user","content":"你好"}]}'

Python(OpenAI SDK)

python3 -m pip install openai
import os
from openai import OpenAI

client = OpenAI(
    base_url=os.environ["ROUTER_URL"].rstrip("/") + "/v1",
    api_key=os.environ["ROUTER_API_KEY"],
)
response = client.chat.completions.create(
    model="qwen-plus",  # 换成 GET /v1/models 返回的 id
    messages=[{"role": "user", "content": "你好"}],
)
print(response.choices[0].message.content)

Gemini + Google Search

这是 Gemini Interactions 原生接口,不是 Chat Completions 的 tools 参数。

curl -sS "$ROUTER_URL/v1/interactions" \
  -H "Authorization: Bearer $ROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"gemini-3.8-flash","input":"Who won the euro 2024?","tools":[{"type":"google_search"}]}'

2. Codex Skill 与底层模型

上方的 $llm-router Skill 已可在 Codex 对话中使用指定的 Router 模型回答文本问题;安装和授权步骤见上方。

若要把 Codex 自身的底层模型改为 Router,当前仍不支持:Codex 自定义 Provider 使用 Responses API,而 Router 还没有 POST /v1/responses。只改 Codex 的 base URL 会因接口协议不匹配而失败。详见 Codex 官方配置说明。

3. Claude Code

目前也不能直连:Claude Code 网关发送 Anthropic Messages API 请求,而 Router 还没有 POST /v1/messages。设置 ANTHROPIC_BASE_URL 和 Router Token 不足以让两种协议兼容。

需要 Router 增加 Anthropic Messages API 兼容后,才能用个人 Router Token 配置 Claude Code。详见 Claude Code 官方网关说明。

ROUTER_API_KEY 是员工在「我的 Token」创建的 Router Token,不是模型厂商的上游 Key。模型名必须使用 GET /v1/models 返回的 ID;不要把真实 Token 提交到代码仓库。

模型列表显示配置状态与最近实测结果;未实测或实测过期不代表模型一定不可用。「暂不支持自动实测」表示模型能力与当前通道协议不匹配,不代表已验证可用。Provider 地址、代理和密钥仅管理员可见。

模型厂商接口类型状态
加载中…

模型列表只读,实际调用仍需使用个人或业务 Token。

在 Codex 使用 LLM Router

在 Mac 上下载并打开安装器,浏览器使用公司 Lark 登录并确认配对码。设备 Token 会直接存入这台 Mac 的钥匙串,无需复制个人 Token。

下载 macOS 安装包(内测)

解压后双击「安装 LLM Router.command」。需要 Mac 已安装 Python 3;如系统提示阻止打开,请联系运维获取已签名安装包,不要关闭系统安全设置。

我的已授权设备

正在读取…

我的 LLM Router Token

将个人 Token 配置在自己的后端服务环境变量中。完整值只在生成或轮换时显示一次。

正在读取…

如何使用这个 Token

在你的后端服务调用 Router 时,把个人 Token 放进 HTTP 请求头:

Authorization: Bearer 你的个人 Router Token

对话接口:/v1/chat/completions;向量接口:/v1/embeddings。模型名从「模型列表」复制,填入请求的 model 字段。

此 Token 只能调用已启用且配置了上游 Key 的模型。请将它保存在自己的后端环境变量中,不要放在浏览器或提交到 Git。

通道管理

配置模型与 Provider 的映射,并检查通道状态与连通性。

通道列表加载中…
向右滑动查看状态和操作;低频配置可展开每行的「查看配置」。
模型与 Provider 运行状态 操作
加载中…

创建业务 Key

每个系统、每个环境使用独立 Key。完整值只在创建时显示一次;修改模型权限请创建新 Key,再停用旧 Key。

初期默认 1200 次/分钟、100 个并发、每月 ¥100000。预算根据已记录费用判断;缺少 usage 或价格的调用暂不能计入。
已选 0 个
请先加载通道列表
停用或缺少上游 Key 的模型不可选;授权仅决定访问范围,不代表上游连通性。
调用方Key 标识允许模型限额到期时间(UTC)状态操作
加载中…
加载中…

用量趋势

花费

按员工汇总

自动合并员工当前及已轮换的个人 Key;金额为调用时价格快照
员工 / 调用方 Key 数 请求 成功率 Token(入 / 出) 已确认成本 用量 / 定价缺口
加载中…
未报告 Token、历史旧记录或缺少价格的请求会显示在缺口列中;这些请求不会被误算为零成本。系统测试和未归属调用会单独列出。

按模型明细

「单价」为通用参考价;多 Provider 同名模型请在下方逐个复核。单位:元 / 百万 Token
模型 厂商 请求 成功率 输入 token 输出 token 单价 入/出 花费
加载中…

按厂商汇总

金额按调用时价格快照汇总;未知费用见下方核对待办
厂商 模型数 请求 Token 花费
—

价格与用量核对待办

加载中…
按 Provider 和模型逐项复核。官方价目页变化只提醒人工核价,不自动改价;已发生调用始终使用当时的价格快照。单位:元 / 百万 Token。
Provider / 模型复核状态近 30 天缺口 输入价输出价操作
加载中…
加载中…

按模型定位问题

5xx 含 Router 转发超时;429 为上游限流
模型请求成功 4295xx 用量缺失平均耗时最近调用
加载中…

最近错误

用请求 ID 在下方查完整记录
时间模型状态Router 请求 ID上游请求 ID错误
加载中…

按请求 ID 排障

让调用方提供响应头 X-Router-Request-ID,即可查到路由日志。
最近调用日志
时间模型状态 耗时in / out调用方 / 错误
加载中…

新增管理员

填写员工的 Lark 联系邮箱或本应用的 open_id(以 ou_ 开头),无需对方先登录;也可从已登录员工中选择。Router 会先向 Lark 核对,授权在对方首次登录后生效。

邮箱查询需 Lark 额外授权;尚未开通时可使用本应用的 open_id。
授权变更会立即影响现有登录会话。
管理员来源状态备注最近登录 操作
加载中…

配置变更记录

记录通道、Provider、单价、管理员授权和业务 Key 操作。仅最新且未被其他修改覆盖的通道或单价变更可以回滚;回滚不会恢复旧上游 Key,管理员授权和 Key 变更需人工处理。

时间操作人对象动作变更内容操作
加载中…