为加速机器人技术的发展，开拓更丰富的具身智能应用，智元机器人今天正式宣布推出自主研发的大型仿真框架AgiBot Digital World，为机器人操作提供灵活的仿真数据生成方案、预训练的大规模仿真数据和统一的模型评测标准，同步开源海量仿真数据！

▎关于AgiBot Digital World：https://agibot-digitalworld.cn

AgiBot Digital World作为一款专为机器人操作技能研究与应用设计的仿真框架，集成了海量的逼真三维资产、多样化的专家轨迹生成机制和全面的模型评估工具。通过高保真地模拟训练场景，全链自动化地生成数据，AgiBot Digital World可以实现一系列的具身仿真服务。

具体来说，凭借丰富多样的物体、场景和机器人模型所构建的大规模、高精度的三维资产库，结合高度逼真的视觉渲染和精确的物理模拟，以及任务与场景的自动化生成，AgiBot Digital World可以惟妙惟肖地模拟各种机器人训练场景。同时，仿真框架打造的多种专家轨迹生成策略，配合域随机化、数据增强等手段，能够自动生成多样、鲁棒的大规模专家轨迹数据，并且建立了贯穿专家轨迹生成、模型训练、基准测试、部署验证的完整评估流程。

同时，智元机器人开源上线海量规模的仿真数据集AgiBot Digital World Dataset，涵盖5大类场景、180+品类具体物品、9种常见材质、12种核心技能，具有质量高、泛化快、任务多样、应用灵活的特点！这是继去年12月份百万真机数据集开源项目AgiBot World之后，智元机器人在具身智能数据方面的又一开源行动，助力全球具身智能机器人领域发展！

▎数据开源地址：https://huggingface.co/datasets/agibot-world/AgiBotDigitalWorld

01、高保真模拟训练场景，帮助机器人预训技能

高度真实、多样的三维资产

生动自然的视觉效果

除了照片般真实细腻的观感外，还有真实世界的物理效应。比如当黄色小车被轻轻放到盒子里的一瞬，碰到的篮子和蓝色小车也随之晃动。尤其在腕部相机视角下，这样的交互细节特色尤为明显。

细腻传神的物理效应

3.自动生成任务与场景

AgiBot Digital World引入多模态大模型，支持基于资产库自动生成操作任务，以及基于指定任务自动生成操作场景和物体布局。此功能可以根据实际训练需求，灵活创建多样化、复杂度可调的仿真任务与仿真环境，实现数据闭环。
比如在书房中，想从桌面任务转向立面操作，那么可以一键召唤取书任务，系统将自动捕捉到环境中的书架。

桌面任务转向立面操作

如果当前环境无法满足任务需求，比如缺少特定物体，那么系统也可自动调用资产库补充物体，或切换至适配场景。

自动调用资产库补充物体

02、全链路自动化生成数据，提供海量学习资料

AgiBot Digital World致力于实现全链路自动化的数据生产，具身智能数据生成引擎可以提供包括真机操作数字孪生、具身智能体自动生成和仿真遥操作等多元化的专家轨迹生成策略，同时结合域随机化和数据增强技术生成多样、鲁棒的专家轨迹数据，提升模型泛化能力。

1.多元化专家轨迹生成策略

真机操作数字孪生：支持真实机器人操作轨迹数据1:1映射到仿真环境中，用于生成更丰富的数据标签以及为数据增广提供专家示例轨迹。

具身智能体自动生成：在大规模机器人专家轨迹数据驱动的端到端操作之前，主流机器人学习领域普遍通过专用的模块化小模型解决特定的问题，AgiBot Digital World将多模态大模型与模块化机器人操作小模型结合构造机器人操作智能体，自动化生成机器人操作轨迹。 

仿真遥操作：对于智能体难以处理的复杂任务，提供人机交互界面，允许操作者在仿真环境中通过遥操作的方式获取专家演示数据。

2.域随机化与数据增强提升泛化性

仿真过程中，具身智能数据生成引擎可以进行丰富的环境光照、物体材质、物理属性域随机化，同时支持多种操作轨迹增强方式，以生成具有多样性和鲁棒性的专家轨迹数据，增强模型在真实环境中的泛化能力。
通过调整任务、物体实例、场景、布局、光照、纹理、物理参数等多样数据标签，数据生成引擎可以调整被操作物体及环境的纹理、光照、遮挡物密度等设置，生成涵盖各类分布外情形的增强数据，实现数据分布的实时监测和控制。

生成各种情形增强泛化

3.自动化生成大规模数据集

数据生成引擎可以支持包括多视角RGB-D图像、触觉信息、机器人状态信息在内的等多模态数据，用于策略学习。

生成多模态数据

依托自动化的任务和场景生成机制，AgiBot Digital World可以快速构建大规模、可扩展的机器人操作专家轨迹数据，与真实机器人操作轨迹数据互补，提升数据的多样性和模型的泛化性，并降低数据成本。 

快速构建大规模、可扩展专家轨迹数据

同时，作为一款具身智能大型仿真框架，AgiBot Digital World建立了贯穿专家轨迹生成、模型训练、基准测试、部署验证的完整评估流程，支持对机器人的端到端模型进行全面测试。尤其在有了海量数据后，虚实交织的数据飞轮将极大程度地加速具身智能的开发和应用。

仿真Benchmark中验证端到端Policy

03、开源海量仿真数据，加速具身智能发展

AgiBot Digital World可以高效支持机器人在多元化场景的应用，仿真数据涵盖5大类型场景：家居、商超、办公、餐饮和工业。

AgiBot Digital World Dataset物体数字资产分布

AgiBot Digital World Dataset操作任务分布

其中，家居场景最为丰富，占比36%；商超紧随其后，占比21%；其余场景各占14.3%。当中，物体细分为家用电器、衣物配饰、日杂用品等9大品类，包含超过180种具体物品，充分满足多样化需求。材质方面则是涵盖木质、地毯、石制等9种主要材料，提供丰富的选择。此外，数据还囊括12种核心技能，如抓、放、插、倒等，灵活应对各种任务。

智元机器人此次开源的海量仿真数据具有一系列特点：

质量高：提供的机器人操作数据质量高，可供端到端模型可靠训练。

泛化快：可支持实现光照、干扰物、平面位置、高度、背景和物体类别的快速泛化，提升模型在各种环境下表现。

任务多样：包含多个步骤的长程任务以及多技能组合的短程任务，适用于多技能训练和多任务泛化执行。

应用灵活：通过12种核心技能组合，数据集能灵活应对各种复杂任务，提升机器人操作的适应性和效率。

这些数据为各类场景应用提供了坚实的开发基础和广泛的应用可能性，助力实现多技能训练和多任务泛化执行。

接下来，AgiBot Digital World还将进一步开放扩展，适配更多的机器人本体和执行器（包括夹爪、灵巧手）；并融合更多模态，包括深度噪声传感器仿真、触觉传感仿真等。

智元多机器人仿真

触觉传感器仿真

在过去一年，具身智能领域迎来了爆发式发展，大规模机器人操作数据的作用功不可没。智元机器人推出的AgiBot Digital World，支持快速生成海量高质量的操作数据，通过与真机数据搭配，可以更加高效、全面地构建高质量具身训练数据集，加快具身智能发展！