DexCap——斯坦福李飞飞团队泡茶机器人：带灵巧手和动作捕捉的数据收集系统(含硬件改进VIVE)

2023年7月，我司组建大模型项目开发团队，从最开始的论文审稿，演变成目前的两大赋能方向

1. 大模型应用方面，以微调和RAG为代表
   除了论文审稿微调之外，目前我司内部正在逐一开发论文翻译、论文对话、论文idea提炼、论文修订/润色/语法纠错、论文检索
2. 机器人(具身智能)方面，我们1月份开始攻机器人、Q2组建队伍、Q3成功复现UMI和DexCap「是国内最早复现这两模型的团队或之一，为帮助更多个人更好的学习/转型/复现、更多公司更好的赋能自身业务，且同时寻找更多合作伙伴，故推出：，另，我司七月还可以帮采购DexCap全套硬件(且过程中可帮调试/复现)——详见下文2.1.2节」
   24年6月起，开始为工厂赋能(当月一月谈的三个工厂合作意向)

总之，经过过去近一年的努力，在今年创业的第十年，我司从教育为主，变成了「科技为主 教育为辅」，主做大模型应用、机器人(具身智能)、解决方案​​​

而对于其中的机器人，无论是我、我合伙人孙老师、Y博士(我司机器人方向的合伙人)，还是整个机器人开发团队，对具身智能的发展都充满无比的信心，誓要全力加速赋能各个典型的工业场景，毕竟科技就是最直接的生产力

本文中的DexCap一开始是在此文《》中的，考虑到

• 一方面，经过我司七月的一系列实践得知，相较Moblie Aloha、UMI「其中，UMI详见：」，对于某些特定的场景，必须需用到灵巧手时，则不得不上DexCap
  其实如DexCap作者所说，DexCap和UMI都是通过便捷的设备采集人手操作数据，他们的区别在于UMI借助夹爪，而DexCap是手套
  DexCap和UMI的核心想法都是在不需要借助机器人的情况下采集数据。然而，人类的行为数据有一个问题是，如果不用高精度捕捉技术的情况下，是很难精确的获得3D轨迹的。所以DexCap和UMI都引入了SLAM
  DexCap的侧重点是，通过可穿戴设备在不影响人们自然使用的情况下，获取行为数据，比如说，你是超市的收银员，可以戴着手套继续工作，而不需要手里握着两个夹子。握着夹子会影响部分工作，例如不能灵活地操作硬币
  
  且我们当时的复现与二次开发的速度还可以的(做了仿真+通用化改写)
• 二方面，我们准备把DexCap的源码也做下分析，以方便更广大的朋友
  且如果想把源码分析做得好，也是有很多技巧的，具体的技巧在之前一些文章里也表达过，比如不只是给每一行加上注释就行了，而且一次性贴的代码千万不要太长，避免视觉疲劳
  
  多一些文字类的说明、解释，比好过直接贴一大段代码(哪怕这大段代码每行都有注释)
  总之，尽可能在源码分析的过程中，让读者明确整个代码库的框架、分析思路，有主线从而避免全是各种接踵而至的细节

故把DexCap独立出来成本文

1.1.1 以前收集数据：从远程操作、基于视觉到运动捕捉

首先，对于数据的收集上，通过上面介绍的斯坦福mobile aloha/UMI可知，模仿学习最近在机器人领域取得了相当大的进展，特别是通过使用人类示范数据进行监督训练

• 常用的一种收集数据的方法是通过远程操作机器人手执行任务 比如mobile aloha。 然而，由于需要真实的机器人系统和缓慢的机器人运动，这种方法在扩展上是昂贵的
• 另一种方法是在操作过程中直接跟踪人手的运动而不控制机器人。 当前系统主要是基于视觉的，使用单视角摄像头。 然而，除了跟踪算法能否提供关键的准确的三维信息以供机器人策略学习之外，这些系统还容易受到在“手-物体”交互过程中经常发生的视觉遮挡的影响
• 对于收集灵巧操纵数据，运动捕捉(mo-cap)是一种比基于视觉的方法更好的选择。 运动捕捉系统提供准确的三维信息，并且对视觉遮挡具有鲁棒性。 因此，人类操作员可以直接用双手与环境进行交互，这样做快速且更容易扩展，因为不需要机器人硬件
  
  比如对于下图这个例子而言，人类以固定的手势握住杯子把手。VR 头戴设备使用的基于视觉的手部跟踪方法由于遮挡严重而无法准确跟踪手指位置。DexCap 更有能力收集手部与物体的交互数据

进一步，为了将手部运动捕捉系统扩展到机器人学习的日常任务和环境中进行数据收集，一个合适的系统应该具备便携性和长时间捕捉的鲁棒性，能够提供准确的手指和腕关节姿态，以及三维环境信息，可问题是

1. 大多数手部运动捕捉系统不具备便携性，依赖于校准良好的第三视角摄像头，虽然电磁场(EMF)手套解决了这个问题，但无法跟踪世界坐标系中的6自由度(6-DoF)腕关节姿态，这对于末端执行器(比如手指)的策略学习很重要
2. 像基于IMU(Inertial Measurement Unit，惯性测量单元，主要用来检测和测量加速度与旋转运动的传感器)的全身套装这样的设备可以监测腕关节位置，但容易随时间漂移

除了硬件挑战外，还存在算法挑战，用于机器人模仿学习的动作捕捉数据。 尽管灵巧的机器人手使得直接从人类手部数据中学习成为可能，但机器人手和人类手之间的尺寸、比例和运动结构的固有差异需要创新算法

1.1.2 DEXCAP如何解决：便捷式动作捕捉、学习算法DEXIL、人机交互校正

为了分别解决硬件层面、算法层面的挑战，24年3月，李飞飞团队(Chen Wang、Haochen Shi、Weizhuo Wang、Ruohan Zhang、Li Fei-Fei、C. Karen Liu)分别开发了一种新的便携式手部动作捕捉系统DEXCAP，和一种模仿算法DEXIL(DEXIL允许机器人直接从人类手部动作捕捉数据中学习灵巧操纵策略)

• 项目地址：DexCap | Scalable and Portable Mocap Data Collection System for Dexterous Manipulation
• 论文地址：DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation

对于系统，DEXCAP作为便携式手部动作捕捉系统，可以实时跟踪手腕和手指运动的6自由度姿态(60Hz)，该系统包括

1. 一个动作捕捉手套用于跟踪手指关节，每个手套上方安装一个相机用于通过SLAM跟踪手腕的6自由度姿态
2. 并在胸部安装一个RGB-D LiDAR相机观察3D环境(注意，手部动作的精确3D信息，例如，6自由度手部姿态、3D手指定位等很重要)

对于算法，为了利用DEXCAP收集的数据来学习灵巧机器人策略，作者团队提出了基于动作捕捉数据的模仿学习方法DEXIL，它包括两个主要步骤——数据重定位和基于点云输入的生成式行为克隆策略训练(data retargeting and training generative-based behavior cloning policy with point cloud inputs)，还可以选择性地进行人机交互式运动校正

1. 在重定位过程中，他们使用逆运动学(inverse kinematics，简称IK)将机器人手指尖重定位到与人类手指尖相同的3D位置
   手腕的6自由度姿态用于初始化IK，以确保人类和机器人之间的手腕运动一致
   
   什么是逆运动学呢？
   简单而言，机器人训练好之后，让它做某个任务时，控制策略会告诉它手指应该到达哪个点位
   从而反过来，机器人可以直接使用inverse kinematic方法计算出每个关节应该转动的角度——使得手指指尖就会移动到目标位置。这样，机器人就能够复现人类手指的行为
2. 然后，他们将RGB-D观测转换为基于点云的表示，继而使用基于点云的行为克隆算法，该算法基于扩散策略「13-Diffusion Policy，详见《》」——相当于是Pointcloud-based Diffusion Policy
3. 在更具挑战性的任务中，当IK不足以弥补人类手和机器人手之间的体现差距时，他们提出了一种人机交互式运动校正机制，即在策略执行过程中，当出现意外行为时，人类可以佩戴DEXCAP并中断机器人的运动，这样的中断数据可以进一步用于策略微调

总之，不同于以下这些

• DIME [3] 使用虚拟现实技术来远程操作灵巧手进行数据收集
• Qin等人 [60,Yuzhe Qin, Hao Su, and Xiaolong Wang. From one hand to multiple hands: Imitation learning for dexterous manipulation from single-camera teleoperation] 使用单个RGB摄像头来跟踪手部姿态进行远程操作
• DexMV [61]、DexVIP [45] 和 VideoDex [69]利用人类视频数据来学习运动先验知识，但通常需要在仿真或真实机器人远程操作数据上进行额外训练

DEXCAP专注于灵巧模仿学习，依赖于 DEXCAP 来收集基于三维点云观测的高质量手部动作捕捉数据，这些数据可以直接用于训练单手或双手机器人的低级位置控制

DexCap为了捕捉适合训练灵巧机器人策略的细粒度手部动作数据，DexCap的设计考虑了四个关键目标：

1. 详细的手指运动跟踪
2. 准确的6自由度手腕姿态估计
3. 以统一坐标框架记录对齐的3D观察数据
4. 在各种真实环境中具有出色的便携性以进行数据收集

1.2.1 追踪手指运动：使用Rokoko动作捕捉手套

经过实验得知，使用电磁场手套，相比于基于视觉的手指追踪系统，在手物交互中对视觉遮挡的鲁棒性方面具有显著优势(论文中对电磁场手套系统和最先进的基于视觉的手部追踪方法在不同操纵场景下进行了定性比较)

如中的作者所说，由于DexCap手套是动作捕捉手套，每根手指上都有一个电磁场传感器，手上的相机用于定位手掌在六自由度空间里的位置

1. 相机下方有一个电磁发射器，每个手指的指尖都有一个电磁接收器。通过电磁场实现毫米级别精度的定位，确定每个手指指尖相对于手掌的三维空间位置
2. 再加上手掌上的相机，可以给手掌相对于胸口的相对位置，那进一步就可以获得手指指尖在相机画面中的相对位置。这个精度由胸口和手腕上的相机，以及动捕手套这套设备共同保证

在他们的系统中，手指运动使用Rokoko动作捕捉手套进行跟踪，如下图所示

1. 每个手套的指尖都嵌入了一个微小的磁传感器(Each glove’s fingertip is embedded with a tiny magnetic sensor)
2. 而信号接收器则放置在手套的背面(while a signal receiver hub is placed on the glove’s dorsal side)
3. 每个指尖的三维位置是从接收器到传感器的相对三维位移来测量的(The 3D location of each fingertip is measured as the relative 3D translation from the hub to the sensors)

1.2.2 追踪6自由度手腕姿态：2个T265追踪相机(一绿、一篮)和一个IMU传感器

除了手指运动外，了解机器人末端执行器在三维空间中的精确位置对于机器人操控至关重要。这需要DEXCAP用于估计和记录人手在数据收集过程中的6自由度姿态轨迹。 虽然基于相机和基于IMU的方法通常被使用，但每种方法都有其局限性

• 基于相机的系统，通常不便携且在估计手腕方向能力上有限，不太适合用于操纵任务的数据收集
• 基于IMU的系统，虽然可穿戴，但在长时间记录会话中容易出现位置漂移

为了解决这些挑战，故开发了一种基于SLAM算法的6自由度手腕跟踪系统，如下图(c)所示

该系统逐一通过

1. 安装在每个手套背面的Intel Realsense T265相机「即两个鱼眼相机的图像(一绿、一篮)」
   从而让其是便携的，可以在第三人称摄像机框架中无需手部可见的情况下跟踪手腕姿态
2. IMU传感器信号(IMU传感器提供了训练机器人策略所需的关键手腕方向信息)
3. SLAM算法构建环境地图
   SLAM可以自动根据建立的地图纠正位置漂移，以实现长时间使用(SLAM can autonomously correct position drift with the built map for long-time use)

以实现对手腕6自由度姿态的一致跟踪

1.2.3 记录3D观察和校准：最顶部一个RGB-D LiDAR摄像机和一个(红色)T265跟踪相机

捕捉训练机器人策略所需的数据不仅需要跟踪手部运动，还需要记录3D环境的观察作为策略输入

为此，DexCap团队设计了一个装载摄像机的背包「如图(a)、(b)所示，为方便大家对照，特把上图再贴一下，如下」

• 在正前面，它通过胸部摄像机支架的4个插槽集成了4个相机，最顶部是一台Intel Realsense L515 RGB-D LiDAR摄像机，顶部下面是3个Realsense T265鱼眼SLAM跟踪相机(分别为红、绿、蓝)，用于在人类数据收集过程中捕捉观察结果
  
  4个相机中
  前两个：最顶部的L515 LiDAR相机，和三个T265相机中最上面的T265相机(红色)固定在相机支架上，这两个相机侧重记录3D观察和校准
  后两个：即两个较低的(即绿色、蓝色)T265相机设计为可拆卸的，并可以固定在手套的背部进行手部6自由度姿态跟踪
• 在正背面，一个Intel NUC(Intel NUC 13 Pro，相当于就是一台带有64GB RAM和2TB SSD的迷你电脑)，和一个40000mAh的移动电源放在背包中，支持长达40分钟的连续数据收集

接下来的关键问题是如何有效地将跟踪的手部运动数据与3D观察结果进行整合

1. 在数据收集开始时，所有跟踪摄像机都放置在支架槽中(即一开始时，所有摄像头都安装在胸前。 在启动程序后，参与者在环境中移动几秒钟，使SLAM算法构建周围环境的地图)，以确保相机框架之间的恒定变换(如上图左侧所示)
   At the beginning of the data collection, all tracking cameras are placed in the rack slots,which secures a constant transformation between the camera frames
2. 然后，他们将跟踪摄像机从支架上取下(一绿、一蓝)，并插入到每个手套上的相机插槽中(如上图右侧所示，绿在右边，蓝在左边)
   相当于完成了从“人”到“机器人”在观察角度上的快速重新定位，如此机器人就可以使用与人类数据收集期间相同的观察相机
   此外，为了在人体运动中确保稳定的观察结果，LiDAR摄像机下方安装了另一个鱼眼跟踪摄像机「在上图中标为红色」

当然，DexCap的硬件设计模块化且成本低廉，不限制相机、动作捕捉手套和迷你PC的品牌或型号，总成本控制在4000美元的预算范围内(不包括机械臂、机器手)

额外补充一下

1. 胸口相机用来定位人体相对于世界坐标系在空间的位置，手腕上的相机用来定位手掌相对于胸口的空间位置，动捕手套来定位手指指尖相对于手掌的空间位置
2. 所以你背着这套东西走，胸口的摄像机可以告诉你人在哪里，手腕上的摄像机可以告诉你手掌相对于胸口在哪里，动捕手套可以告诉你手指相对于手掌在哪里，最终可以获得一个手指在空间中的绝对位置。这个绝对位置是高精度的，这直接保证了当你将机器人推入场景时，只需让机器人进行inverse kinematic(逆向运动学)来完成操作动作

1.2.4 双手灵巧机器人的设计：双机械臂、双LEAP机器手

为了验证通过数据训练的机器人策略是否OK，接下来建立一个双手灵巧的机器人系统

该系统由两个Franka Emika机器人臂组成，每个臂上配备有一个LEAP灵巧机器人手(一个有16个关节的四指手)，如图(b)所示

为了进行策略评估，如上图图(b)所示，人类数据收集中使用的胸部LiDAR相机被从背心上取下，并安装在机器人臂之间的支架上(对于机器人系统，只使用LiDAR相机，不需要手腕相机。 机器人臂和LEAP手都以20Hz的控制频率运行，同时使用末端执行器位置控制和关节位置控制来控制两只机械臂和两只LEAP手，即use end-effector position control for both robot arms and joint position control for both LEAP hand)

接下来，使用DexCap记录的人手动作捕捉数据来训练灵巧机器人策略，然后，会遇到这几个问题

1. 如何将人手动作重新定位到机器人手上？
2. 在双手设置中，当动作空间是高维的时候，什么算法可以学习灵巧策略？
3. 此外，还希望研究直接从人手动作捕捉数据中学习的失败案例及其潜在解决方案

为了解决这些挑战，作者引入了DEXIL，这是一个使用人手动作捕捉数据训练灵巧机器人的三步框架

1. 第一步是将DexCap数据重新定位到机器人的动作和观察空间中
2. 第二步使用重新定位的数据训练(基于点云的扩散策略)
3. 最后一步是一个可选的human-in-the-loop correction机制，旨在解决策略执行过程中出现的意外行为

1.3.1 数据和动作重定向：人手的动作重定向到机器手上

动作重定向

如上图(a)所示，由于人手和LEAP手的尺寸差异很大，而这种尺寸差异使得不好直接将手指运动转移到机器人硬件上，故需要先将人手动作捕捉数据重新定向到机器人实体上，这需要使用逆运动学(IK)将手指位置和6自由度手掌姿态进行映射

先前研究中的一个关键发现是，在与物体互动时，手指尖是手上最常接触的区域(如HO-3D [25]、GRAB [76]、ARCTIC [16]等研究所证明的)。 受此启发，他们通过使用逆运动学(IK)来匹配手指尖位置，重新定向手指运动

相当于在通过DexCap采集到人手操作数据后，需要通过观测从定向和动作重定向将观测数据和动作主体进行切换

1. 观测重定向（Oberservation Retargeting）：机器人使用与人类数据收集期间相同的观测摄像机（RGB-D相机），通过从相机中观测构建3D点云并将其转换到机器人操作空间，将DexCap数据重新定向到机器人实体
2. 动作重定向（Action Retargeting）：为了将人类手指运动传递到机械手（LEAP HAND）上，他们使用指尖逆运动学（inverse kinematic，简称IK，上文有解释），来计算机械手16维的关节位置，在通过IK进一步计算机器人手臂各关节的位置

• 在对应的设置中，动作输出包括两个7自由度机器人臂和两个16自由度灵巧手在d个步骤中的动作，形成了一个高维回归问题
  In our setup, the action output includes two 7-DoF robot arms and two 16-DoF dexteroushands for d steps, which forms a high-dimensional regression problem
  
  类似的挑战也在图像生成任务中进行了研究，该任务旨在回归高分辨率帧中的所有像素值(which aim to regress all pixel values in a high-resolution frame)
• 最近，扩散模型通过其逐步扩散过程，在建模具有高维数据的复杂数据分布方面取得了成功，比如AI绘画
  对于机器人技术，扩散策略遵循相同的思路，从而将控制问题形式化为动作生成任务(For robotics, Diffusion Policy follows the same idea and formalizes the control problem into an action generation task)
  
  总之，一方面，使用扩散策略作为动作解码器，经验证它在学习灵巧机器人策略方面优于传统的基于MLP的架构(比如基于MLP的BC-RNN策略)，如下表中，后5行的效果均高于前4行的结果
  二方面，将DP-perc作为DEXIL的默认模型架构「其中，1 基于点云的学习算法(下表中最后三行的DP-point-raw，DP-point，DP-prec)不需要遮挡mask观测，且都实现了超过60%的任务成功率，2，即使不添加机器人手部点，下表中倒数第三行的DP-point-raw的性能也接近DP-point。这可能是因为点云输入的下采样过程降低了人类手套和机器人手之间的外观差距」
  
  至于图像输入方法，使用ResNet-18 [29]作为图像编码器。 对于基于扩散策略的模型，则使用去噪扩散隐式模型DDIM进行去噪迭代 至于其他模型的选择及其他参数详见下图

在每次机器人动作之后，他们计算机器人当前自我感知与目标姿态之间的距离。 如果它们之间的距离小于一个阈值，认为机器人已经达到了目标位置，并将查询策略获取下一个动作

---

为了防止机器人变得空闲，如果它在规定的步数内未能达到目标姿态，将重新查询策略获取后续动作，一般在实验中将步数设定为10

1.3.3 人机协同校正

通过上述设计，DEXIL可以直接从DEXCAP数据中学习具有挑战性的灵巧操控技能(例如，拾取和放置以及双手协调)，而无需使用机器人数据

然而，简单重定位的方法并未解决人机融合差距的所有方面。例如，使用剪刀时，稳定地握住剪刀需要将手指深入握柄。 由于机器手指与人手之间长度比例的差异，直接匹配指尖和关节运动并不能保证对剪刀施加相同的力

1. DEXCAP数据捕捉机器人操作空间内的人手动作
   比如剪刀剪裁和泡茶任务分别获得了一个小时的DEXCAP数据，分别产生了104和55个演示
2. 室外DEXCAP数据来自实验室外环境
   比如一个小时的室外DEXCAP数据提供了96个演示
3. 使用脚踏板收集human-in-the-loop correction data，用于调整机器人动作或启用远程操作以纠正错误​​​
   human-in-the-loop correction data for adjusting robot actions or enabling teleoperation to correct errors, col-lected using a foot pedal

数据最初以60Hz记录，然后降采样到20Hz以匹配机器人的控制速度，纠错数据直接以20Hz收集

最后，对于机器人的控制而言，采用Position control，以分层结构的方式进行：

1. 在高层次上，学习策略生成下一步的目标位置，该位置包括机器人双臂末端执行器的6自由度姿态和双手16维手指关节位置
2. 在低层次上，操作空间控制器(OSC)[A unified approach for motion and force control of robot manipulators: The operational space formulation]连续地插值将机械臂轨迹移动到高层次指定的目标位置，并将插值的OSC动作传递给机器人执行

根据dexcap提供的，可知

2.1.1 Bill of Materials和CAD Models

相当于上述硬件差不多¥2.6万

至于机器人本身，则是Robot(即机械臂 + 机器手)：2 Franka arms + 2 LEAP hands

价格方面

• 前者是Franka Emika Panda 是德国 Emika 公司推出的高精度轻型机器人，约人民币20万+/个，两个则得40+万
• 后者LEAP 手的完整版价格在 人民币5万上下/个，两个则差不多10万上下

至此，dexcap的全套斯坦福原装配件，差不多总计50万以上

此外，需要打印的物品：

1. 中心摄像机架和标签板
2. 手套摄像机支架 x2（左右镜像）
3. T265 背板 x2（左右镜像）

导出的 STL 文件在这里(The exported STL file is here)

建议以 Z 轴倾斜 45 度以内的角度打印滑槽，以确保打印部件顺畅运行，且请勿水平打印滑槽

If you want to take a look at the original files on OnShape and how they are assembled, they are shared here.

2.1.2 我司可帮忙采购dexcap全套硬件(且过程中帮调试/复现)

对于这些硬件，我司七月在线还真帮过不少公司采购过，规模有大有小，大的比如包括数十万起步的人形机器人，小的比如下面的其中一次采购(里面坑不少，建议大家多注意)，如需帮采购(且过程中帮调试/复现)，可通过 “CSDN私信” 私我

序号所属类别型号1协作机器人Franka机械臂4四指机械手3D打印伺服舵机XC330-M288-T舵机配件5机械臂托架定制6视觉相机系统RealSense T2657Realsense L5158动作捕捉系统Rokoko手套9控制软件10各类配件网线等

如下图所示

• 在dexcap最早的2月份硬件版本中，胸前挂着一个L515相机、一个T265相机，左右两只手套上各戴一个T265相机
• 考虑到英特尔Realsense T265和L515相机已停产，加之T265偶尔会出现姿态漂移
  故他们在后来8月份的新硬件版本中，胸前则换成了一个D435相机、一个VIVE Tracker，且左右两只手套上各戴一个VIVE Tracker「VIVE 追踪器可以提供更准确的追踪」

2.2.1 材料清单

具体清单如下

其中，用一台Windows笔记本电脑或Windows游戏掌机（例如，ROGAllyX（800美元），联想Legion Go（600美元））来设置VIVE追踪器（地图构建）以及流式传输/存储数据

至于机器人本体不变，还是：2 Franka arms + 2 LEAP hands

2.2.2 硬件设置教程

CAD模型需要打印的物品：

1. 3个VIVE支架
2. 2个手套VIVE安装座
3. 1个D435后板
4. 1个Gopro胸部连接器

需要购买的硬件：

1. 平头六角M3螺丝(一个平头六角M3套件应该能提供你所需的一切)
   a. 6 x M3x6mm
   b. 2 x M3x10mm
   c. 2 x M3x16mm
2. GoPro安装螺丝(M5x18mm也可以使用)

为了方便起见，这里提供了一个包含正确打印数量和方向的完整打印板。如果您无法使用完整板材或想查看单个STL文件，请注意

1. 插槽应垂直打印以确保顺畅操作
2. 只有手套VIVE支架需要支撑（最少）
3. 请参阅下方截图以获取推荐的方向和支撑

更多构建指南请参看原链接：

根据上文的描述，可知DexCap-main 是一个用于收集和处理 3D 点云数据的项目，主要用于手势识别和动作捕捉。该项目包含多个脚本和模块，每个模块负责不同的任务，如数据收集、数据处理、可视化等