原帖引用 · AI 翻译
模型决策耗时不到 90 毫秒,速度足以在几乎任何 LLM 调用前加上一层路由器。
@NaceAI 刚刚推出 Drex Router。它读取提示词和你的模型列表,然后使用一个基于 Gemma 构建的 12B 模型,在约 57 至 87 毫秒内返回它选定的模型。
在 Nace 针对 1,400 道常识考试题进行的测试中,它的得分为 87.6%,每 1,000 道题的费用为 0.10 美元;竞争对手 Jev Router 的得分为 86.4%,费用为 1.09 美元。
只返回模型名称的路由器无法让你判断其选择是有把握的,还是靠碰运气。Drex Router 会返回每个候选模型的概率以及简短理由,
隆重推出 Drex Router。
一个小模型,可为你的智能体执行的每一步选择合适的 LLM/SLM 和推理强度。
准确率:Drex Router 为 87.6%,Jev Router 为 86.4%。
试用:https://t.co/sosFYHDDet
评论 DREX,即可额外获得 5 美元的 API 额度 https://t.co/YOKMA5jOBp
原文
Introducing Drex Router. A small model that picks the right LLM/SLM and reasoning effort for every step your agent takes. Accuracy: Drex Router 87.6% vs. Jev Router’s 86.4% Try it: https://t.co/sosFYHDDet COMMENT DREX and get extra $5 in API credits https://t.co/YOKMA5jOBp