aifollow.news
Back IT之家 科技新闻
IT之家 科技新闻· · Original publication time AI score54

AGIBOT releases WITA-Omni robot interaction model with touch input and action outputMachine translation

智元发布 WITA-Omni 机器人交互模型,支持触觉输入与动作输出

AI-assisted summary

AGIBOT has released WITA-Omni, which takes audio, video, touch and robot state as inputs and produces actions and expressions. The company says it can listen and respond while driving movement, with interaction response times as fast as about 400 milliseconds and averaging about 600 milliseconds. It also uses audio and visual cues to decide whether to respond, without a wake word.

Article · Original

The article text is unavailable in this language; an existing version is shown.

IT之家 11 月 10 日消息,“智元 AGIBOT”公众号今天(10 日)晚间发文宣布,智元正式发布 WITA-Omni(硅光动语全模态大模型)。

根据官方介绍,该模型也是行业首个具身全模态端到端交互大模型。WITA-Omni 基于机器人本体感知数据深度训练,除了音视频输入输出,还新增支持触觉、本体状态等输入,以及机器人动作、表情等输出,让机器人第一次拥有为物理世界而生的“交互大脑”。

基于流式全双工架构,WITA-Omni 可做到边听、边想、边应、边动、边做表情,减少传统串行处理中的等待。交互响应最快约 400 毫秒、平均约 600 毫秒,较业内平均水平快近 3 倍。

同时,全模态拒识让机器人交互不再需要唤醒词,全程自然对话。系统结合对话朝向、视频、音频、声纹、唇动、姿态、语义和上下文,决策当前发言是否需要回应。面对多人交谈或环境广播等干扰时,极大降低误触发,让机器人更懂“看场合”。

WITA-Omni 支持上百种语言和方言的免切换自由交流,并结合全双工架构,实现了流式同声传译(语言传译 & 方言传译),以及双向互译。

WITA-Omni 情感表现力更加拟人。倾听时,机器人能够通过细腻的表情和自然的头部动作给予回应;表达时,结合参数化的面部表情、富有感染力的声音与协调的肢体动作,生动呈现开心、惊讶、激动、悲伤、满意、痛哭、认真与自信等几十种情绪。每种情绪还能展现不同强度:同样是开心,既可以浅浅一笑,也可以开怀大笑,让对话更真实、更有温度。

WITA-Omni 不仅能说、能看、能动,还能画。例如,想讲一个复杂产品时,或想给孩子讲一个科普小知识时,WITA-Omni 会智能决策,将一言难尽的内容在面部屏幕实时可视化出来,让用户一目了然。

此外,WITA-Omni 能够持续感知周围环境、用户状态及其变化,自主思考、决策并采取行动,在恰当时机主动发起互动。官方宣称,机器人也能有自己的“小心思”:见到贵宾,会主动欢迎、伸手握手;收到点赞,会开心回应;看到用户挥手告别,也会立刻挥手相送。

据IT之家此前报道,今年 7 月,WITA-Omni Preview 模型以 85.21 分综合成绩登顶登顶 DailyOmni 全模态理解榜单,超过千问、Gemini、豆包、英伟达等国内外领先模型,并在八项细分指标中的六项取得第一。

相关阅读:

《全球第一,智元 WITA-Omni Preview 具身大模型登顶 DailyOmni 全模态理解榜单》

Found an error? Send a correction