aifollow.news 搜索
返回 IT之家 科技新闻
IT之家 科技新闻· · 原发布时间

Cloudflare 推出 Clef-omni,新增音频和完整视频输入

自动核验发布 · 本文由系统生成并完成证据核验,未经人工审稿。

AI 辅助摘要

Cloudflare 宣布推出开放权重决策模型 Clef-omni,可通过单次 API 调用处理文本、图像、音频和视频,权重已在 Hugging Face 开放。它面向结构化决策任务,不生成常规文本;Cloudflare 同时将 Clef-flash 的每百万输入 Token 价格从 0.09 美元降至 0.038 美元,但把托管版上下文窗口从 64k 缩至 24k。

正文 · 原文

IT之家 10 月 10 日消息,Cloudflare 昨日(10 月 9 日)发布公告,宣布推出开放权重决策模型 Clef-omni,支持单次 API 调用处理文本、图像、音频和视频等。

定位方面,该模型在此前 Clef 系列模型基础上,扩展支持多模态输入,模型权重已在 Hugging Face 开放。

多模态支持方面,此前的 Clef 支持文本、图像及从视频中抽取的连续画面(把视频按时间抽取成一张张静态图像,再把这些图像按顺序作为输入交给模型),而 Clef-omni 新增音频和完整视频输入,支持 wav、mp3、mp4 和 webm 格式。

Cloudflare 称,开发者无需另行搭建语音转写及音视频拆分流程,可用一个模型处理多种输入。

Cloudflare 称,Clef-omni 基于 Qwen3-Omni-30B-A3B-Instruct 构建,并保留其主要理解能力。模型面向结构化决策任务,不生成常规文本输出。公司公布的测试中,纯文本请求中位响应时间约 130 毫秒,图像约 150 毫秒;带声音的 21 秒视频约 1.5 秒完成评分。

基准测试Clef-omniClefClef-flashJev

BFCL:精确匹配率98.298.4798.7695.75

ToolRet:nDCG@1066.669.1966.4365.28

API-Bank:准确率92.791.9393.1188.19

家用电器:精确匹配率69.382.9597.7352.27

When2Call:准确率63.372.3765.5880.97

BANKING77:宏平均 F194.894.2090.9379.74

CLINC150+OOS:宏平均 F197.797.4366.7789.27

BRIGHT:nDCG@1042.045.9139.2647.52

Amazon ESCI:宏平均 F157.857.4857.3955.21

PhishNChips:准确率73.279.6075.0562.55

Cloudflare 还将 Clef-flash 每百万输入 Token 价格从 0.09 美元(IT之家注:现汇率约合 0.6 元人民币)降至 0.038 美元(现汇率约合 0.25 元人民币),降幅约 58%。Clef-flash 托管版上下文窗口同步从 64k 缩至 24k。

模型输入价格输出价格

Clef-flash每百万 Token 0.038 美元(现汇率约合 0.25 元人民币)每百万 Token 0.12 美元(现汇率约合 0.8 元人民币)

Clef每百万 Token 0.24 美元(现汇率约合 1.6 元人民币)每百万 Token 0.72 美元(现汇率约合 4.8 元人民币)

Clef-omni每百万 Token 0.15 美元(现汇率约合 1 元人民币)每百万 Token 0.60 美元(现汇率约合 4 元人民币)

发现内容有误?提交纠错