Article · AI translation
Hugging Face 与 OpenRouter 正在合作,让开放权重模型更易于运行。每个重要的开放权重模型发布后都已上传至 Hugging Face Hub,而 OpenRouter 可大规模提供这些模型,并根据对 80 多家提供商的实时测量结果为每个请求选择路由。双方合作后,Hub 上凡是有提供商提供的开放权重模型,都可以使用你的 Hugging Face 令牌通过同一个 API 调用,并为每个请求选出最佳提供商。
今天,我们将 Inference Providers 从自建的定制路由器切换到 OpenRouter 的路由器。向语言模型发出的请求现在会经过 OpenRouter;它根据实时价格、速度和可靠性为每次调用选择最佳提供商,如果第一家失败,就向另一家提供商重试。你的代码无需改动。
使用你现有的工具运行这些模型
无论聊天模型背后是哪家提供商,该路由器都支持通过 OpenAI 的 Chat Completions 和 Responses API 以及 Anthropic 的 Messages API 调用每个聊天模型。选好编码代理或 SDK 以及模型后,复制操作步骤,或将完整配置作为提示词复制给你的代理:
Claude Code、Codex、OpenCode、Pi 和 Hermes Agent 的设置指南
同一个 Hugging Face 令牌还可让你通过 Storage Buckets 使用存储、通过 Jobs 使用计算资源,以及通过 Inference Endpoints 使用专用推理服务。PRO、Team 和 Enterprise 套餐包含每月可用于计算和推理的额度。
开放权重模型的使用情况
在 OpenRouter 上,开放权重模型提供的 token 占比从 2025 年 10 月的 26.8% 上升至 2026 年 9 月底的 71.7%,其间于 7 月达到 77.5% 的峰值(OpenRouter,2026 年 10 月)。同期,每周开放权重模型的使用量增长超过 60 倍,而闭源模型增长近 10 倍。本周,OpenRouter 上使用最多的模型是开放权重模型 DeepSeek V4.1 Flash 1017,使用量为 59.2 万亿个 token(排行榜)。
开放权重模型的平均成本约低 4 倍:每百万个输入 token 为 0.28 美元,每百万个输出 token 为 1.62 美元;闭源模型则分别为 1.27 美元和 6.36 美元。
在最难的基准测试中,最好的开放权重模型仍落后于最好的专有模型。在 Artificial Analysis Intelligence Index 上,最好的开放权重模型 Kimi K3.1 Pro 得分为 46,而 Claude Fable 5.2 为 65;其每项任务的成本约为后者的 1/7(3.68 美元对 26.54 美元)。对许多工作负载来说,这种取舍是值得的。
由 OpenRouter 提供支持的路由
OpenRouter 每月向超过 1000 万用户提供超过 800 万亿个 token,涵盖来自 80 多家提供商的 600 多个模型。其路由决策依据的是对这些流量中每家提供商的实时测量结果。
OpenRouter 最近重建了其提供商路由机制:它不再只看最低标价,而是将每个请求发送给在价格、速度和可靠性方面综合表现最佳的提供商。
当一家提供商速度变慢或开始出现故障时,流量会转往其他提供商,直至它恢复;如果一次尝试失败,同一次调用会向次优提供商重试。根据 OpenRouter 的测量,新路由机制使容量错误减少了 46%,首个 token 的生成时间改善了 16.9%,吞吐量提高了 16.3%。
此前,Inference Providers 会为你的请求选定一家提供商,如果它失败,就返回其错误。现在,请求会向另一家提供商重试。你仍可通过在模型 ID 后添加后缀来选择策略或提供商:
路由还会考虑缓存:同一段对话会继续由保存其提示词缓存的提供商处理。若要明确指定这一点,请在 X-HF-Session-Id 标头中为每段对话发送一个固定的 UUID(参见提示词缓存指南)。
定价
定价不变:你在 Hugging Face 账单上按提供商的价格付费,Hugging Face 不会在此基础上加价。PRO 用户每月获得 2 美元额度,Team 和 Enterprise 组织每个席位获得 2 美元额度。详情请参阅定价与计费。
图像、视频和音频生成
图像、视频和音频生成仍与以前完全一样,直接通过 Hugging Face Inference Providers 进行,不经过 OpenRouter。你可以继续使用相同的令牌和 API,并访问数以万计的 LoRA。
查看你的请求发往何处
在模型页面上,你可以直接在小组件中与模型聊天。两个新标签页展示了其背后的信息:Providers 列出 OpenRouter 可将该模型的请求路由至的所有提供商,以及各提供商的输入和输出价格、速度和过去 24 小时的正常运行时间;Metrics 则显示其中最优的价格、吞吐量、首个令牌生成时间、上下文长度和正常运行时间:
你的用量概览按每个请求实际发往的提供商细分支出:
在设置中,你可以关闭任何不想使用的提供商:路由器绝不会将你的请求发送给它们。组织也有相同的设置,适用于向该组织计费的每个请求。
重大变更:自定义提供商密钥
对语言模型的请求现在通过 OpenRouter 处理,并向你的 Hugging Face 账户或组织计费,因此你无法再对这些模型使用自己的提供商 API 密钥。你仍可在模型 ID 后添加后缀(model:provider)来选择提供商,或在设置中关闭提供商,而代码无需更改。图像和视频提供商的自定义密钥仍可使用。
接下来
这是我们与 OpenRouter 合作的第一步。接下来:
将你的 OpenRouter 账户连接到 Hugging Face。
更多任务将通过 OpenRouter 路由。
试用一个模型,或阅读 Inference Providers 文档以开始使用。