aifollow.news
返回 Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · 原发布时间 AI 评分40

NaceAI 推出 Drex Router,为每次模型调用选择模型和推理强度

AI 导读

Drex Router 读取提示词和候选模型列表,返回推荐模型、每个候选模型的概率及简短理由。发布帖称,路由结果约需 57 至 87 毫秒;在 Nace 的 1,400 道常识考试题测试中,其准确率为 87.6%,每 1,000 题成本为 0.10 美元。这些数字来自发布方测试。

原帖引用 · AI 翻译

@rohanpaul_ai
译文 · 以原文为准

模型决策耗时不到 90 毫秒,速度足以在几乎任何 LLM 调用前加上一层路由器。

@NaceAI 刚刚推出 Drex Router。它读取提示词和你的模型列表,然后使用一个基于 Gemma 构建的 12B 模型,在约 57 至 87 毫秒内返回它选定的模型。

在 Nace 针对 1,400 道常识考试题进行的测试中,它的得分为 87.6%,每 1,000 道题的费用为 0.10 美元;竞争对手 Jev Router 的得分为 86.4%,费用为 1.09 美元。

只返回模型名称的路由器无法让你判断其选择是有把握的,还是靠碰运气。Drex Router 会返回每个候选模型的概率以及简短理由,

引用Nace AI@NaceAI
译文
隆重推出 Drex Router。 一个小模型,可为你的智能体执行的每一步选择合适的 LLM/SLM 和推理强度。 准确率:Drex Router 为 87.6%,Jev Router 为 86.4%。 试用:https://t.co/sosFYHDDet 评论 DREX,即可额外获得 5 美元的 API 额度 https://t.co/YOKMA5jOBp
原文

Introducing Drex Router. A small model that picks the right LLM/SLM and reasoning effort for every step your agent takes. Accuracy: Drex Router 87.6% vs. Jev Router’s 86.4% Try it: https://t.co/sosFYHDDet COMMENT DREX and get extra $5 in API credits https://t.co/YOKMA5jOBp

在 X 查看这条帖子 ↗

来源:Rohan Paul · x.com

产品
发现内容有误?提交纠错