深度阅读页面

Fable 5.2吃掉机器人?「手感」这块,还得靠具身原生基模来补全

聚焦当前文章的核心观点、信息脉络与延展阅读入口,为用户建立更顺畅的单篇内容阅读体验。

Fable 5.2吃掉机器人?「手感」这块,还得靠具身原生基模来补全
AG体育文章详情展示图

Fable 5.2吃掉机器人?「手感」这块,还得靠具身原生基模来补全

编辑:陈陈、杜伟 又一次,通用大模型在机器人操作领域展现出了惊人的潜力。今天,Anthropic 最新旗舰 Fable 5.2 亮相了! 官方演示中,由该模型控制的机器人可以轻松地完成解魔方、拧瓶盖、画机器人等一系列操作任务。 另外,在公开的 RoboDojo 基准测试中,Fable 5.2 也取得了 64.9% 的成绩。Anthropic 称,这一表现不仅超过了使用相同测试框架的其他前沿模型,也超过了大多数专门为机器人控制而开发的 AI 系统。 从两个多前的 GPT-6 Astra 到现在的 Claude Fable 5.2,它们秀出的花式操作能力,让行业看到了通用大模型驱动机器人的更多可能。 但演示中的成功和仿真测试中的高分,是否就意味着机器人已经掌握了真正通用的物理操作能力? 当机器人「伸出手」,面对一个需要精细操作的任务,考验才刚刚开始。 以拧瓶盖为例,机器人手指要准确找到抓握位置,施加合适的力度,并根据瓶盖转动、指尖打滑的程度及时调整动作。几毫米的位移、细微的受力变化,都决定了一次操作能否成功。 视频链接:https://mp.weixin.qq.com/s/6u78vpxsU_QIch-8oIywog 要完成这类精细操作,机器人需要视觉、空间和触觉等多种物理模态协同工作。对此,具身智能的一条重要技术路线是从机器人本体和真实物理交互出发,构建面向物理世界的具身原生基础模型。 在国内,蚂蚁灵波正沿着这一方向推进。 团队围绕机器人的物理感知、理解和操作需求,持续构建具身原生的模型体系。 今日发布的触觉基础模型 LingBot-Touch,便是这条路线在高精度灵巧操作领域的一次具体实践 。 过程中,团队收集近 5000 小时的真实触觉数据, 覆盖了磁触觉、压阻式和视触觉三种不同的传感技术,让模型学习不同传感器背后共同的接触规律。这些触觉表征还能够接入不同的机器人动作模型,在不同灵巧手和真实操作任务中复用。 项目主页:https://technology.robbyant.com/lingbot-touch 技术报告:https://github.com/Robbyant/lingbot-touch/tree/main/paper GitHub 地址:https://github.com/Robbyant/lingbot-touch Hugging Face:https://huggingface.co/collections/robbyant/lingbot-touch 魔搭社区:https://www.modelscope.cn/collections/Robbyant/LingBot-Touch 为此,LingBot-Touch 围绕异构触觉数据预训练、统一表征学习和下游动作模型接入,构建了一套完整的技术方案。 下面从几个关键环节展开。 5000 小时真实数据 让不同机器人的「手感」可以共享 触觉看似只是感知接触,真正要将它做成通用基础模型,却远比想象中复杂。 机器人执行不同操作时,对触觉的需求并不相同。指尖捏取一颗玻璃弹珠,需要精准捕捉细微的接触位置和力度变化;手掌托举较大物体,则需要掌握不同区域的受力分布。不同操作部位、不同任务,对传感器的感知精度、覆盖范围和体积都有不同要求。 目前,触觉传感器存在多种技术路线,LingBot-Touch 本次重点覆盖了三类:视触觉、磁触觉和压阻式触觉。 视触觉通过内部摄像头观察弹性表面的形变,可以捕捉接触位置和轮廓等细节;磁触觉通过软质磁性材料形变引起的磁场变化感知接触和受力;压阻式触觉则通过材料受压后的电阻变化,测量不同位置的压力分布。 三类传感器感知的都是手指与物体接触时产生的物理变化,但底层测量原理和信号表达方式截然不同。不同设备的感测单元数量、空间布局和采样频率也存在差异。 这给触觉基础模型带来了一个难题:如何让不同传感器采集的数据能够共同参与训练? 如果针对每一种传感器分别训练专用触觉模型,一款机器人积累的经验就很难直接迁移到另一款机器人上。即使动作模型已经具备较强的操作能力,也可能因为更换传感器,就需要重新适配触觉信号的处理方式。 团队要解决的是,不同硬件、不同任务积累的触觉经验,如何转化为可以复用的基础能力。 为此,团队设计了一套多分支编码、共享主干的架构,并采用 JEPA(Joint-Embedding Predictive Architecture)思路,针对触觉信号开发了 Tactile-JEPA 训练方法。 首先要解决的是不同传感器之间的空间对齐问题。 不同触觉传感器的 Taxel(触觉感知单元)数量、排列方式和空间分辨率都不相同。如果直接将这些数据输入同一个 Transformer,模型很难知道不同传感器上的某个感知单元究竟对应手指的哪个位置。 团队因此建

about image
觉得有用?分享给朋友

让更多人看到这篇内容