As we know, VR/AR/MR, 3D or 5D or XD? into the Game, Film, Security, Sports, and Virtual Idols..., in many areas. It will merge with the Blockchain, dNFT, SBTs, or anything in the Crypto age. We collect this information to prepare for the Textverse.org to combined with human's daily exercise to accumulate points to upgrade the DIGI Twins Mirror in the Metaverse.

We want the synchronization between real life and the on-chain data. Like the StepN Game, but not the same. OK, see these pictures:

We will focus on Mocap with a Low Cost, cause we have a Vision, see here: Textverse.org.

动捕技术对比:
技术之一：机械式运动捕捉
机械式运动捕捉依靠机械装置来跟踪和测量运动轨迹。
优点：成本低，精度也较高，可以做到实时测量，还可容许多个角色同时表演。
缺点：使用起来非常不方便，机械结构对表演者的动作阻碍和限制很大。

技术之二：声学式运动捕捉
常用的声学式运动捕捉装置由发送器、接收器和处理单元组成。
优点：装置成本较低。
缺点：对运动的捕捉有较大延迟和滞后，实时性较差，精度一般不很高，声源和接收器间不能有大的遮挡物体，受噪声和多次反射等干扰较大。由于空气中声波的速度与气压、湿度、温度有关，所以还必须在算法中做出相应的补偿。

技术之三：电磁式运动捕捉
电磁式运动捕捉系统是比较常用的运动捕捉设备。
优点：它记录的是六维信息，同时得到空间位置，方向信息。速度快，实时性好，便于排演、调整和修改。装置的定标比较简单，技术较成熟，鲁棒性好，成本相对低廉。
缺点：对环境要求严格，表演场地附近不能有金属物品，否则会造成电磁场畸变，影响精度。系统的允许表演范围比光学式要小，特别是电缆对表演者的活动限制比较大，对于比较剧烈的运动和表演则不适用。

技术之四：光学式运动捕捉
光学式运动捕捉通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。
优点：表演者活动范围大，无电缆、机械装置的限制，表演者可以自由地表演，使用很方便。其采样速率较高，可以满足多数高速运动测量的需要。Marker数量可根据实际应用购置添加，便于系统扩充。
缺点：系统价格昂贵，它可以捕捉实时运动，但后处理（包括 Marker 的识别、跟踪、空间坐标的计算）的工作量较大，适合科研类应用。

技术之五：惯性导航式动作捕捉
通过惯性导航传感器AHRS(航姿参考系统)、IMU(惯性测量单元)测量表演者运动加速度、方位、倾斜角等特性。
优点：不受环境干扰影响，不怕遮挡。捕捉精确度高，采样速度高，达到每秒1000次或更高。由于采用高集成芯片、模块，体积小、尺寸小，重量轻，性价比高。惯导传感器佩戴在表演者头上，或通过17个传感器组成数据服穿戴，通过USB线、蓝牙、2.4Gzh DSSS无线等与主机相联，分别可以跟踪头部、全身动作，实时显示完整的动作。

作者：船长酱
链接：https://www.jianshu.com/p/5b35493c386f

惯性式动作捕捉系统原理

动作捕捉系统的一般性结构主要分为三个部分：数据采集设备、数据传输设备、数据处理单元，惯性式动作捕捉系统即是将惯性传感器应用到数据采集端，数据处理单元通过惯性导航原理对采集到的数据进行处理，从而完成运动目标的姿态角度测量。

在运动物体的重要节点佩戴集成加速度计，陀螺仪和磁力计等惯性传感器设备，传感器设备捕捉目标物体的运动数据，包括身体部位的姿态、方位等信息，再将这些数据通过数据传输设备传输到数据处理设备中，经过数据修正、处理后，最终建立起三维模型，并使得三维模型随着运动物体真正、自然地运动起来。

经过处理后的动捕数据，可以应用在动画制作，步态分析，生物力学，人机工程等领域。

加速度计，陀螺仪和磁力计在惯性动作捕捉系统中的作用

加速计是用来检测传感器受到的加速度的大小和方向的，它通过测量组件在某个轴向的受力情况来得到结果，表现形式为轴向的加速度大小和方向（XYZ），但用来测量设备相对于地面的摆放姿势，则精确度不高，该缺陷可以通过陀螺仪得到补偿。

陀螺仪的工作原理是通过测量三维坐标系内陀螺转子的垂直轴与设备之间的夹角，并计算角速度，通过夹角和角速度来判别物体在三维空间的运动状态。它的强项在于测量设备自身的旋转运动，但不能确定设备的方位。而又刚好磁力计可以弥补这一缺陷，它的强项在于定位设备的方位，可以测量出当前设备与东南西北四个方向上的夹角。

在动作捕捉系统中，陀螺仪传感器用于处理旋转运动，加速计用来处理直线运动，磁力计用来处理方向。通俗易懂地讲——陀螺仪知道“我们是否转了身”，加速计知道“我们运动多长距离”，而磁力计则知道“我们的运动方向”。

在动作捕捉系统中三种传感器充分利用各自的特长，来跟踪目标物体的运动。

惯性动作捕捉技术的优势

技术优势

惯性式动作捕捉系统采集到的信号量少，便于实时完成姿态跟踪任务，解算得到的姿态信息范围大、灵敏度高、动态性能好；对捕捉环境适应性高，不受光照、背景等外界环境干扰，并且克服了光学动捕系统摄像机监测区域受限的缺点；克服了VR设备常有的遮挡问题，可以准确实时地还原如下蹲、拥抱、扭打等动作。此外，惯性式动作捕捉系统还可以实现多目标捕捉。

使用便捷的优势

使用方便，设备小巧轻便，便于佩戴。

成本优势

相比于光学动作捕捉成本低廉，使得其不但可以应用于影视、游戏等行业，也有利于推动VR设备更快地走进大众生活。

总的来说，惯性式动作捕捉技术有着对捕捉环境的高适应性，它的技术优势、成本优势和使用便捷的优势，使得它在影视动画、体验式互动游戏、虚拟演播室、真人模拟演练、体育训练、医疗康复等领域都有着优异的表现。

惯性式动作捕捉系统的劣势及解决

一般情况下惯性式动作捕捉系统采用MEMS三轴陀螺仪、三轴加速度计和三轴磁力计组成的惯性测量单元（IMU， Inertial Measurement Unit）来测量传感器的运动参数。而由IMU所测得的传感器运动参数有严重噪声干扰，MEMS 器件又存在明显的零偏和漂移，惯性式动作捕捉系统无法长时间地对人体姿态进行精确的跟踪。只有解决了这一个问题，才能使惯性式动作捕捉系统在VR行业充分发挥作用。

针对惯性捕捉技术劣势的解决方案

首先对IMU所测得的传感器运动数据做预处理，滤掉原始惯性数据中掺杂的噪声干扰；

然后不断地进行标定和校准，即不断地对各惯性器件进行相应的补偿以解决MEMS器件的零偏和漂移，提高其数据的精确度和可靠程度；

接下来在进行姿态解算，并利用姿态参考系统验证姿态角度数据的精确度，最终实现整个惯性式动作捕捉。

此外，与之不同的是，国内的G-Wearables则采用IK+室内定位技术做主动作捕捉算法，使用惯性式动作捕捉做辅助算法。这套方案中利用室内定位技术对惯性式动作捕捉技术做实时校准，避免了不断校准的麻烦。

IK算法 

IK是Inverse Kinematics的缩写，即反向运动学。在人体分层结构中，关节和骨骼实际构成了运动链，比如肩关节、肘关节、腕关节及其子骨骼就是一条运动链，是整个人体运动链上的一条分支，身体即是利用运动链对运动进行控制。运动分为正向运动和反向运动。已知链上各个关节旋转角，求各关节的位置信息和末端效应器(end effector)的位置信息，这是正向运动学的问题；而己知末端效应器的位置信息，反求其祖先关节的旋转角和位置，这是就是反向运动学。

反向运动学根据决定运动的几个主关节最终角度确定整个骨架的运动，通常用于环节物体，由不同运动约束的关节连接成环节构成的分级结构骨架。分级结构骨架由许多采用分级方式组的环节链构成，包括分级结构关节或链，运动约束和效应器，由效应器带动所有部分同时运动。但必须遵循特定的等级关系，以便在变换时阻止各个部件向不同方向散开。如：投球动作，只规定出球的起始位置、终了位置和路径，手臂等即跟随关节的转动可按反向运动学自动算出。反向运动学方法在一定程度上减轻了正向运动学方法的繁琐工作，是生成逼真关节运动的最好方法之一。

IK算法在动作捕捉系统中的应用

如果己知末端效应器的位置信息，反求其祖先关节的旋转角和位置，这是就是反向运动学。也就是我们通过室内定位技术，获取末端效应器的位置信息，然后利用IK算法推算出祖先关节的旋转角和位置，从而知道运动者的运动信息，再利用运动信息实现实时动作跟踪显示。

利用激光定位技术通过墙上的激光发射器扫描佩戴者佩戴的机身上的位置追踪传感器（即IK算法中的末端效应器），从而获得位置和方向信息。具体来说，该室内定位技术是靠激光和光敏传感器来确定运动物体的位置。若干个激光发射器会被安置在对角，形成一个矩形区域，这个区域可以根据实际空间大小进行调整。每个激光发射器内设计有两个扫描模块，分别在水平和垂直方向轮流对定位空间发射横竖激光扫描定位空间。运动者身上有光敏传感器，通过光敏传感器接收到激光的时间计算出光敏传感器的准确位置。

通过激光室内定位技术获取传感器的精确位置后，即可利用IK算法反向推算出祖先关节的旋转角和位置，从而知道运动者的运动信息。但是由于激光定位过程中可能存在遮挡问题，比如下蹲、拥抱、扭打等动作。于是应用惯性传感器做补充跟踪，即当出现遮挡情况时， IK+室内定位相结合的动作捕捉技术无法完全准确的实现，这个时候利用惯性式动作捕捉技术做补充。反过来可以利用室内定位技术对惯性式动作捕捉技术做实时校准，不需要另行校准，从而解决遮挡问题的同时，也避免了惯性式动作捕捉无法长时间精确工作的弊端。

惯性捕捉技术的应用领域

在影视制作、动漫制作、游戏制作领域的应用

就影视制作而言，惯性动捕设备的加入，不但大大提高了拍摄效率，而且降低了后期处理的难度和成本。

我们知道，光学动捕设备无法兼顾实时性与还原性，甚至一些特殊动作也无法实时还原，同时还会受空间的限制。与之相比，惯性传感器动作捕捉系统就大为不同。惯性动捕不但可识别的场景更多，而且管理起来也更加智能。利用全无线传感器来完成电影拍摄过程中的动作捕捉，丝毫不影响演员的穿戴，而且能够保证演员脚步真实平稳地移动，使运动还原自然流畅，甚至一些大动态动作也能顺利捕捉。作为目前市面上性能卓越、易用精准的动作捕捉系统，基于惯性传感器系统的动作捕捉设备一经上市就颇受青睐。

在动漫制作、游戏制作方面，现在很多游戏制作中角色的动作设置，例如武打游戏里的劈砍等动作，都是通过动作捕捉来获取的。正是因为惯性动捕有着良好的实时性和各种技术优势，所以这项技术在动漫、游戏中得以广泛的应用，它使动画画面更加逼真、自然，游戏角色的行动更为自然细腻，对动画品质的提升大有裨益。

在虚拟现实交互体验、游戏互动领域的应用

真人与虚拟角色的实时互动，是动作捕捉技术的一大应用。例如虚拟演播室、电影实时预演、真人与虚拟游戏角色互动等。

虚拟演播室现在已经很成熟了，在很多电视台的栏目中都可以看到类似的场景，基本操作方式就是先让主持人在绿色的幕布下进行拍摄，再实时地用抠背机把人物扣下来附着到虚拟的场景当中。一般的惯性动捕由于虚拟角色位移的原因，没办法实现主持人与虚拟角色的交互，但随着技术的进步，优秀的惯性动作捕捉设备已经能够做到这一点，不但动捕位移误差极小，而且可以做到来回运动数十米或者随意运动持续十分钟，完全能够满足虚拟演播室内主持人与虚拟角色的互动。

关于这一技术的应用，最新的例证是关于2014年世界杯节目的。CCTV5的“我爱世界杯”和CNTV的“超级世界杯”两档节目都用到了惯性动捕技术。在这两档节目的演播厅内，设置了拟真度极高的虚拟球员，在播出的节目中，虚拟球员和现场嘉宾及主持人进行了很好的实时互动，其演播方式令观众耳目一新。

从更前沿的视角出发，动作捕捉技术真正能够产生革命性价值的领域将会诞生在虚拟现实游戏上。例如，利用惯性传感器实现的动作捕捉和头戴式显示设备结合，可以使游戏从客厅或固定场景向更自由的场景延伸，动作的精度也能产生质的提升。目前，众多游戏界的领军企业都愿意尝试使用惯性传感器动作捕捉设备，而据业内预测，超过70个游戏可能会采用这一设备进行体验。这就预示着惯性动捕技术在未来动捕界会迎来广阔市场前景。

在多人模拟仿真演练领域的应用

惯性动作捕捉系统能够为军队训练和消防演练提供虚拟仿真环境、野外演习、角色扮演训练等。虚拟军事环境仿真可以使大批教员和学员在不进入真实野战环境中即可完成训练，这样就能极大地节省人力物力及其他方面的消耗。目前，惯性动作捕捉技术已经被应用于世界领先的军事模拟训练系统开发中，并且起到了很好的仿真演练效果。

在体育训练及运动分析领域的应用

在动作分析和运动医学研究领域，研究者需要对大量的运动数据进行分析，比如速度、加速度、角速度等。这些数据不但非常庞大，而且经常会被较大的视角、较远的距离、人为理解的偏差等因素影响。惯性传感器动作捕捉系统在原理上彻底解决了上述问题，它可以精确捕捉运动人体的动作细节，为运动员和教练分析运动情况提供依据。在这方面不乏成功的案例出现。例如针对高尔夫运动者的姿势矫正产品MySwing。使用这款产品时，用户把产品夹在球杆上，便可捕捉到挥杆节奏、速度，杆头轨迹、角度等数据，这些数据可以帮助锻炼者改进姿势，提高球技。

另外，利用惯性动捕可以计算出打篮球时的运球次数、传球次数、投篮次数、篮板球数量等；也可计算出打台球时的击球次数、进球概率等，使体育教学与训练进入数字化时代，大幅提高训练水平。同时它使远程教学成为可能，尤其适合具有要求特殊的运动，如帆船、攀岩等。总的来说，利用惯性动作捕捉设备获取的这种实时且准确的分析、评估数据，在提高运动成绩、预防损伤、状态恢复等方面都有很大的帮助。

在医疗健康虚拟体验领域的应用

惯性动作捕捉技术还可以应用到医疗诊断、姿态矫正、复健辅助、运动学和动力学仿真评估等方面，不但效果显著，而且为医疗机构提供了高效、低成本的解决方案。例如，对于骨病患者或行动不便者，惯性动作捕捉系统可提供全身、半身以及个别部位的测量及报告，医生对传感器传输的数据加以分析，可以为患者提供迅速简洁的解决方案。

目前，国内的一些医疗实验室已经开始尝试用惯性动捕开发来帮助癫痫病人进行诊断和康复训练。医生判断病人病情时，传统的做法是靠目测病人的步态和体征来下结论，而动作捕捉的设备则更加精准和智能，它借助数字化的精密测量方式更加客观地进行数据统计和诊断，并提供客观准确的数据来反映病人的治疗效果。

另外，通过对步态的量化分析，惯性动作捕捉技术可以提供实时的运动学和动力学数据，这对假肢的研发、最优安装和安全使用提供较为准确的各项依据。

在工业测量和设计领域的应用

惯性动作捕捉为虚拟工业测量提供精准的数据，为设计用户创造交互式、非侵入式的设计环境，可应用在工作场所设计、汽车测试、航空航天研究等工业测量设计领域，例如在汽车设计领域，研究者可以用它来研究汽车驾驶室内的操控性能、方向盘的距离、进出车门的方便性，以及车身高度等方面；在机械设计领域，它可以用在操作台的安装、洗衣机高度的设计等方面；能够有效地提高生产力并节约生产环境成本。而在生产线的操作上，它也可以为用户提供专业的精确定位，从而解决生产和控制过程中的重复运动的问题。

随着惯性动作捕捉技术的不断完善，它的精准程度越来越高，应用范围也更加广泛。除了以上介绍的七大方面外，惯性动作捕捉还可以在舞台特效、机器人控制、人机工程、化学化工在线仿真、汽车碰撞及震动分析……等领域大有作为。

目前，动作捕捉界市场还是以光学动捕技术为主导，能够利用惯性传感器开发人体全身运动捕捉系统的厂商屈指可数，足见惯性动捕系统有着不可估量的巨大潜力，而以中国诺亦腾公司为首的惯性动捕技术，以技术实力为武器，通过修炼内功，填补了中国市场的空白，并逐步在市场上占领先机。它必将扛起动作捕捉行业的大旗，全面扭转国内动捕行业格局，成为与光学动捕平分天下，甚至更具市场竞争力的重头技术。

打开APP阅读更多精彩内容

We will select this soloution:

惯性捕捉就是利用陀螺仪速度计磁力计之类的玩意计算被捕捉物体的旋转和位移。对场地要求要求较低，穿戴容易，缺点就是精度差，容易受地磁干扰。

视频捕捉基本还是处于研究中的玩意，使用起来最简单，拍段视频，然后自动生成动画数据，精度最差，目前基本没法用。不过这种方案是潜力最大的。

With these ways:

所以通过IKineame这个软件(Ikinema,ikinema orion)，就可以实现动作捕捉功能。成本也就几千块左右，效果其实还行

苹果推出的AR kit 3.0可以通过摄像头捕捉人物动作。各大引擎都目前都支持。效果惨不忍睹，稳定性基本没有，优点就是用起来方便+便宜.

有个新软件，ThreeDPoseTracker，用普通的摄像头就能做动捕

switch那两个手柄

Experiments:

1:准备一台iPhonex

2:下载官方arkit工程

3:按官方规范做好美术资源

连接引擎就可以实时驱动你的角色了。可以使用sequence record录制捕捉的动画数据。

想要更好的效果可以自行增加blendshape数量，只要改下动画蓝图就可以。

unity也一样

https://mediapipe.dev/

类似于mediapipe的pose算法合成出来的,后面的合成算法是我自己写的
Mediapipe是google的一个开源项目，支持跨平台的常用ML方案。项目主页戳这里，可以看到很多常用的AI功能它都支持，举几个常用的例子:

人脸检测
FaceMesh: 从图像/视频中重建出人脸的3D Mesh，可以用于AR渲染
人像分割: 从图像/视频中把人分割出来，可用于视频会议，像Zoom/钉钉都有这样的功能
手势跟踪：可以标出21个关键点的3D坐标
人体姿态估计: 可以给出33个关键点的3D坐标
头发上色：可以把头发检测出来，并图上颜色
这个项目支持很多个平台，例如常见的Android, IOS, Web以及C++，可以方便部署。
不过这个项目使用的编译系统是Bazel，如果要使用的话，还比较麻烦，后面再详细介绍下如何来整合Mediapipe.

作者：videoisfun
链接：https://www.jianshu.com/p/8fa5373cf6b4

六轴imu还是九轴
https://www.bilibili.com/video/BV1JJ411i7AV?spm_id_from=333.999.0.0

高效九轴，抗磁场干扰算法，200HZ输出速率，0.03°动态测量精度，CAN总线和串口实时输出数据的IMU高精度姿态测量模块
https://www.bilibili.com/video/BV12W411N7mF/?spm_id_from=autoNext

imu高精度姿态测量模块使用效果
https://www.bilibili.com/video/BV1HB4y1g7Li/?spm_id_from=autoNext

陀螺仪加速度计MPU6050模块应用！加上卡尔曼滤波果然就不一样
https://www.bilibili.com/video/BV1UL411H77Q/?spm_id_from=autoNext

产品形态：
https://detail.1688.com/offer/651960106582.html?spm=a26352.13672862.offerlist.62.43664b93Bnmg2l

Kinect
Kinect 是 Xbox 360 外接的 3D体感摄影机，如图所示。它利用即时动态捕捉、影像辨识、麦克风输入、语音辨识等功能，使玩家摆脱了传统游戏手柄的束缚，使用自己的肢体来控制游戏。而任天堂Wii、索尼Play Station Move等同类产品，则需要玩家借助一个或者多个设备才能完成体感互动。66


https://www.bilibili.com/video/av87869508
整理一下用到的工具：iPi Recorder/iPi Mocap Studio/LiveAnimation/Vmd Reduction Tool/MMD/Blender 2.8
硬件：Kinect V2
PS：IPI录制的视频可以导出用OpenMMD重新采集一遍，并使用MMD或blender混合到一起，可以用来补充侧身或快速运动等采集不到的动作，虽然IPI的采集精度可以接受了，但是还是会有抖动和范围限制，需要清理数据，再和其他动作混合，希望这个教程对各位有所启发

可以，ipi mocap，iClone + plug-in，lightwave + plug-in都可以通过kinect的深度传感器进行动作捕捉。比较推荐ipi mocap加双kinect。以这个成本算，效果已经相当不错。缺点就是数据采集后的处理比较慢，相当慢。十分钟的采集，大概要用掉整整一天。不过数据处理不耽误做其他事，只要软件开着跑就可以，cpu内存消耗都不大。

kinect是绝佳的动作捕捉设备，对于小团队或个人而言。两到三台机器即可达到很不错的效果，成本可以控制在4000以内。对于开发者，得益于微软到位的支持，Kinect sdk让上手变得容易许多。并且，如果题主不擅长开发，许多第三发软件也可以协助使用者进行动作捕捉，也包括其它答案提到的ipi motion capture studio。

https://www.jianshu.com/p/1e532727a1c8

https://github.com/baolinhu/kinect-gesture

https://brekel.com/
http://mocap.cguse.com/kinect2.html
https://github.com/zju3dv/EasyMocap