随着具身智能训练对数据需求的不断放大,通过仿真 合成数据 弥补数据缺口已成为行业当前 共识和 重要课题。近日,北京人形机器人创新中心(后称北京人形)与北京市建筑设计研究院(后称北京建院)联合打造的 高保真 铰接物体数字资产数据集 ArtVIP(Articulated-object digital assets with Visual realism, modular Interaction, and Physical fidelity)正式发布,该数据集实现了对高复杂度铰接物品的高精度仿真,在还原物品视觉外观的同时,以高保真度复现了物品物理特性,并且开源了6个支持全场景交互的虚拟机器人训练场。除开源已有场景提升行业模型训练效果外,北京人形同时可针对不同场景不同物品提供定制化建模服务,为具身智能快速落地提供平台支撑。
项目主页: https://x-humanoid-artvip.github.io/
huggingface: https://huggingface.co/datasets/x-humanoid-robomind/ArtVIP
随着具身操作训练的快速进展,机器人 在执行精准抓取拿放等动作方面已经有了长足进步 ,行业攻坚的重点转向了针对复杂物体的灵巧操作。但在此前,主流开源仿真资产数据集如 PartNet-Mobility、BEHAVIOR-1K 等在物体 模型 复杂度上难以达到要求,特别是针对转椅、抽屉、冰箱等带有可活动关节的物体,始终缺乏成熟方法生成或制作此类数字资产,导致模型由仿真走向现实的 Sim2Real 训练和部署 存在巨大鸿沟。
为解决该问题,北京人形与北京建院共同合作,将双方的机器人仿真经验与数字化建模能力相结合,由前沿的具身智能需求作为牵引, “ 让现实物品在数字世界中重新觉醒 ” 。
ArtVIP构建了 全球最 精细 的 复杂铰接物体库,包括26类共206种高精度可动物件,实现了对橱柜、 烤箱 、折叠椅、抽屉、电风扇、剪刀等不同特性铰接结构状态的精准仿真。通过海量高复杂度物品覆盖,支持训练具身智能模型获得处理机械结构变异性的泛化能力。
针对物理参数的细节参数调整,让 ArtVIP 实现了高物理一致性,能够充分参考物品的刚度 、 阻尼 、摩擦力、质量、转动惯量、碰撞体积等参数,模拟不同物品的在被操作或运转时的物理特性。如办公转椅受侧向力时,各轮组会依据地面摩擦系数差异自动形成转向序列差;具备阻尼或弹簧特性的 烤箱 开口打开至特定角度,在仿真场景内操作或受力后的反馈与现实中完全一致,甚至冰箱门也与现实中一样在关门时有 相应 的磁吸效果。高精度动力学还原使 具身智能算法 能够 习得符合现实的力控制策略,为开门、推椅等需精细力觉反馈的任务提供可靠训练环境。
除常见的有固定形态的刚性物体外,北京人形 构建的 数字资产平台 支持行业领先的 刚体 – 流体 -柔性体全 物质形态 仿真 。冰块在水杯中因水流改变漂动方向,衣物等柔性物体的折叠与褶皱,甚至衣物在洗衣机滚筒内的旋转翻转 , 均可被仿真复现 ,助力 机器人训练液态容器搬运、柔性物体整理等传统仿真无法支持的高阶任务,大幅扩展具身智能操作边界。
不同于常见仿真资产仅支持简单场景,ArtVIP 开放6大数字孪生机器人训练场,方便用户直接进行使用,包括中式客厅、厨房、卧室、起居室等常见环境,以精准建模完全还原真实场景内的全部物体以及视觉氛围感,充分考虑光照及材质等不同条件,如实木地板的深浅木纹在自然光下呈现差异化 漫反射 ,电视屏幕镜面反射随角度实时变化,显著提升视觉感知训练的 真实性 。
对具身训练更重要的是,ArtVIP场景内所有物品均支持交互,实现环境级物理-视觉联动机制,构建闭环交互生态。
例如,在仿真环境内点按电灯开关后,基于 光线追踪 技术,系统实时计算全场景光学响应,根据光源方向及角度调整环境可见度。该机制可在具身智能模型训练中建立“操作-环境反馈”的因果认知,显著提升复杂场景下的连续决策能力。
根据 同期公开的论文 《ArtVIP: Articulated Digital Assets of Visual Realism, Modular Interaction, and Physical Fidelity for Robot Learning》,通过CLIP空间可视化显示, 相比于其他主流仿真数字资产, ArtVIP 中数据分布与真实世界对齐度提升了47%。仅靠 ArtVIP 仿真数据训练的 Diffusion Policy 模型,直接操控真实 Franka 机械臂 以零样本迁移方式在物理世界中 完成关门任务,成功率 即可达到 30% , 当混合 少量 真机数据训练 后 ,开门任务成功率 迅速大幅跃 升至80% 。实验结果 证明了 ArtVIP 作为数字资产,可支撑具身模型完成高复杂度物体的交互训练,为具身智能大规模训练建立全新 范式 。
当前 ArtVIP 已在 Hugging Face 开源,面向高校、研究机构以及行业研究者提供支持。除已有的数字资产内容,团队还开源了包含建模流程、关节参数调优方法在内的数字资产建模流程,且支持无缝接入仿真软件 Isaac Sim。开发者可直接基于已有环境训练,也可基于标准化流程快速生成新铰接物体资产,持续扩展高质量仿真训练环境。通过统一行业仿真资产标准,激发社区共建数字孪生库,彻底改变传统仿真资产 碎片化 现状,推动具身智能训练从“作坊式开发”迈向“工业化协作”。
面向应用落地,团队还将提供可针对不同场景不同物品提供定制化建模服务,支持工业产线、物流园区、特种作业等不同场景的精准数字化复现。该服务使人形机器人在实际应用部署前能在仿真环境中预演精密装配、高危设备操作等任务,将产线停机试错成本降低80%,为 智能制造 、 智慧物流 等场景的高效落地提供基础。
ArtVIP 的发布,将极大改善困扰具身智能训练的 Sim2Real 问题。通过向全球研究者和开发者提供了一套高质量、标准化、可复用的铰接物体数字资产库,以及一套成熟的生产建模服务,改变此前仿真资产匮乏且低质的现状。通过低成本、高拟真的仿真资产,ArtVIP 将显著改善具身智能模型训练缺乏数据的问题,并同时降低人形机器人等 智能体 在训练真实环境部署时的风险和试错成本,助力其在工业、服务等高价值或高危场景的安全高效落地。未来,北京人形机器人创新中心将持续推进此类共性技术平台建设,为我国人形机器人产业的核心技术攻关与规模应用提供坚实支撑。
获取ArtVIP:
数字资产: https://huggingface.co/datasets/x-humanoid-robomind/ArtVIP
项目主页: https://x-humanoid-artvip.github.io/
</div>
维权提醒:如果你或身边的朋友近五年内因投顾公司虚假宣传、诱导交费导致亏损,别放弃!立即联系小羊维权(158 2783 9931,微信同号),专业团队帮你讨回公道! 📞立即免费咨询退费