aifollow.news
Back Hugging Face 官方博客
Hugging Face 官方博客· · Original publication time AI score53

Hugging Face switches language model inference routing to OpenRouterMachine translation

Hugging Face 将语言模型推理请求切换至 OpenRouter 路由

AI-assisted summary

Hugging Face has switched language model requests through Inference Providers to OpenRouter, which selects providers using live price, speed and reliability data and retries with another provider if one fails. Existing Hugging Face tokens and API calls still work, but custom provider keys no longer work for language models; those requests are billed to a Hugging Face account or organization.

Article · AI translation

Hugging Face 与 OpenRouter 正在合作,让开放权重模型更易于运行。每个重要的开放权重模型发布后都已上传至 Hugging Face Hub,而 OpenRouter 可大规模提供这些模型,并根据对 80 多家提供商的实时测量结果为每个请求选择路由。双方合作后,Hub 上凡是有提供商提供的开放权重模型,都可以使用你的 Hugging Face 令牌通过同一个 API 调用,并为每个请求选出最佳提供商。

今天,我们将 Inference Providers 从自建的定制路由器切换到 OpenRouter 的路由器。向语言模型发出的请求现在会经过 OpenRouter;它根据实时价格、速度和可靠性为每次调用选择最佳提供商,如果第一家失败,就向另一家提供商重试。你的代码无需改动。

使用你现有的工具运行这些模型

无论聊天模型背后是哪家提供商,该路由器都支持通过 OpenAI 的 Chat Completions 和 Responses API 以及 Anthropic 的 Messages API 调用每个聊天模型。选好编码代理或 SDK 以及模型后,复制操作步骤,或将完整配置作为提示词复制给你的代理:

Claude Code、Codex、OpenCode、Pi 和 Hermes Agent 的设置指南

同一个 Hugging Face 令牌还可让你通过 Storage Buckets 使用存储、通过 Jobs 使用计算资源,以及通过 Inference Endpoints 使用专用推理服务。PRO、Team 和 Enterprise 套餐包含每月可用于计算和推理的额度。

开放权重模型的使用情况

在 OpenRouter 上,开放权重模型提供的 token 占比从 2025 年 10 月的 26.8% 上升至 2026 年 9 月底的 71.7%,其间于 7 月达到 77.5% 的峰值(OpenRouter,2026 年 10 月)。同期,每周开放权重模型的使用量增长超过 60 倍,而闭源模型增长近 10 倍。本周,OpenRouter 上使用最多的模型是开放权重模型 DeepSeek V4.1 Flash 1017,使用量为 59.2 万亿个 token(排行榜)。

开放权重模型的平均成本约低 4 倍:每百万个输入 token 为 0.28 美元,每百万个输出 token 为 1.62 美元;闭源模型则分别为 1.27 美元和 6.36 美元。

在最难的基准测试中,最好的开放权重模型仍落后于最好的专有模型。在 Artificial Analysis Intelligence Index 上,最好的开放权重模型 Kimi K3.1 Pro 得分为 46,而 Claude Fable 5.2 为 65;其每项任务的成本约为后者的 1/7(3.68 美元对 26.54 美元)。对许多工作负载来说,这种取舍是值得的。

由 OpenRouter 提供支持的路由

OpenRouter 每月向超过 1000 万用户提供超过 800 万亿个 token,涵盖来自 80 多家提供商的 600 多个模型。其路由决策依据的是对这些流量中每家提供商的实时测量结果。

OpenRouter 最近重建了其提供商路由机制:它不再只看最低标价,而是将每个请求发送给在价格、速度和可靠性方面综合表现最佳的提供商。

当一家提供商速度变慢或开始出现故障时,流量会转往其他提供商,直至它恢复;如果一次尝试失败,同一次调用会向次优提供商重试。根据 OpenRouter 的测量,新路由机制使容量错误减少了 46%,首个 token 的生成时间改善了 16.9%,吞吐量提高了 16.3%。

此前,Inference Providers 会为你的请求选定一家提供商,如果它失败,就返回其错误。现在,请求会向另一家提供商重试。你仍可通过在模型 ID 后添加后缀来选择策略或提供商:

路由还会考虑缓存:同一段对话会继续由保存其提示词缓存的提供商处理。若要明确指定这一点,请在 X-HF-Session-Id 标头中为每段对话发送一个固定的 UUID(参见提示词缓存指南)。

定价

定价不变:你在 Hugging Face 账单上按提供商的价格付费,Hugging Face 不会在此基础上加价。PRO 用户每月获得 2 美元额度,Team 和 Enterprise 组织每个席位获得 2 美元额度。详情请参阅定价与计费。

图像、视频和音频生成

图像、视频和音频生成仍与以前完全一样,直接通过 Hugging Face Inference Providers 进行,不经过 OpenRouter。你可以继续使用相同的令牌和 API,并访问数以万计的 LoRA。

查看你的请求发往何处

在模型页面上,你可以直接在小组件中与模型聊天。两个新标签页展示了其背后的信息:Providers 列出 OpenRouter 可将该模型的请求路由至的所有提供商,以及各提供商的输入和输出价格、速度和过去 24 小时的正常运行时间;Metrics 则显示其中最优的价格、吞吐量、首个令牌生成时间、上下文长度和正常运行时间:

你的用量概览按每个请求实际发往的提供商细分支出:

在设置中,你可以关闭任何不想使用的提供商:路由器绝不会将你的请求发送给它们。组织也有相同的设置,适用于向该组织计费的每个请求。

重大变更:自定义提供商密钥

对语言模型的请求现在通过 OpenRouter 处理,并向你的 Hugging Face 账户或组织计费,因此你无法再对这些模型使用自己的提供商 API 密钥。你仍可在模型 ID 后添加后缀(model:provider)来选择提供商,或在设置中关闭提供商,而代码无需更改。图像和视频提供商的自定义密钥仍可使用。

接下来

这是我们与 OpenRouter 合作的第一步。接下来:

将你的 OpenRouter 账户连接到 Hugging Face。

更多任务将通过 OpenRouter 路由。

试用一个模型,或阅读 Inference Providers 文档以开始使用。

Found an error? Send a correction

Contents