原帖引用 · AI 翻译
Drex Router 官方网站
模型在不到 90 毫秒内做出决策,速度足以在几乎任何 LLM 调用前加入一个路由器。
@NaceAI 刚刚推出 Drex Router。它会读取提示词和你的模型列表,然后使用一个基于 Gemma 构建的 12B 模型,在约 57 至 87 毫秒内返回所选模型。
在 Nace 用 1,400 道常识类考试题进行的测试中,Drex Router 的得分为 87.6%,每 1,000 道题的费用为 0.10 美元;竞争对手 Jev Router 的得分为 86.4%,费用为 1.09 美元。
只返回模型名称的路由器,无法告诉你它的选择是有把握的,还是像抛硬币一样随机。Drex Router 会返回每个候选模型的概率,并附上一段简短的理由,
原文
A model decision in under 90 ms is fast enough to put a router in front of almost any LLM call. @NaceAI just launched Drex Router, and it reads the prompt and your list of models, then returns its pick in about 57 to 87 ms, using a 12B model built on Gemma. In Nace’s tests on 1,400 general-knowledge exam questions, it scored 87.6% for $0.10 per 1,000 questions, while rival Jev Router scored 86.4% for $1.09. A router that only returns a model name can’t tell you a confident pick from a coin flip. Drex Router returns a probability for every candidate plus a short reason,
隆重推出 Drex Router。
一个小型模型,可为你的智能体执行的每一步选择合适的 LLM/SLM 和推理强度。
准确率:Drex Router 为 87.6%,Jev Router 为 86.4%
试用:https://t.co/sosFYHDDet
评论 DREX,即可额外获得 5 美元的 API 额度 https://t.co/YOKMA5jOBp
原文
Introducing Drex Router. A small model that picks the right LLM/SLM and reasoning effort for every step your agent takes. Accuracy: Drex Router 87.6% vs. Jev Router’s 86.4% Try it: https://t.co/sosFYHDDet COMMENT DREX and get extra $5 in API credits https://t.co/YOKMA5jOBp