Original post · AI translation
Rohan Paul@rohanpaul_ai
看起来这是一个很出色的机器人领域开源成果。
机器人技术的一大难题是：摄像头无法告诉机器人它捏得有多紧，或者抓握是否正在打滑，但指尖传感器可以。
Robbyant 发布了 LingBot-Touch，这是一个开源模型（Apache 2.0），它将指尖传感器的读数转换为机器人控制软件可用的信号，从而赋予机器人触觉。
Robbyant 用相同的触觉数据为 LingBot-Touch 训练了 3 个大小相同的编码器（每个都有 5.46M 个参数）。训练到 4,000 小时时，在触觉→视频检索任务上，预测潜在空间中被遮蔽部分的 JEPA 版本取得了 49.3% 的 top-5 准确率。MAE 版本仍低于 9%。VAE 版本得到 3.1%，比它在 1,000 小时时的表现还差。
我认为原因在于数据本身。手指只会按压少数几个位置，因此每帧的大部分数值都接近零，而非零读数又有噪声。重建这些数据意味着复制零值和无人能预测的噪声；JEPA 只预测表征，因此可以把两者都排除在外。论文指出，稀疏性和低信噪比是他们选择 JEPA 的原因。
稀疏性也影响了训练。如果从第 1 步起就遮蔽 80% 的触觉感测单元，很多片段中就没有可见的接触信息，梯度也会爆炸，因此他们在前 300 步中将遮蔽比例从 40% 逐渐提高到 80%。目标来自一个在 4 个深度提取特征的 EMA 编码器，沿用了 V-JEPA 2.1 的做法。
为了单独考察多来源数据的影响，他们保持每种传感器自身的数据不变，只加入其他模态的数据。在目标传感器的数据不变的情况下，多来源模型在 8 个传感器—任务组合中的 7 个上取得了提升，表明来自异构传感器的数据能直接使每种传感器受益。
· UTC+8