谷歌发布MeidaPipe即时运动追踪技术，将AR对象置于运动表面

增强现实技术创造了有趣的、引人入胜的和身临其境的用户体验。无需初始化而实现跨设备和跨平台的AR追踪，这对于大规模地支持AR应用程序十分重要。

谷歌日前发布了基于MeidaPipe的Instant Motion Tracking（即时运动追踪）解决方案。它是以之前发布的MediaPipe Box Tracking解决方案作为基础，而通过Instant Motion Tracking，你可以轻松将有趣的虚拟2D/3D内容放置在静态或移动的表面之上，并允许它们与真实世界无缝地交互。这项技术同时为MotionStills AR提供了动力。除了相关的库之外，谷歌将发布一个用于演示其功能的开源Android应用。在所述应用程序中，用户只需轻触摄像头取景器就可以放置虚拟的3D对象和GIF动画，从而增强真实世界的环境。

1. Instant Motion Tracking（即时运动追踪）

Instant Motion Tracking（即时运动追踪）解决方案可允许你将虚拟内容无缝地放置在真实世界中的静态或运动表面之上。为了实现这一目标，团队以旋转和平移矩阵的形式提供了具有相对尺度的六自由度追踪。然后，在渲染系统中使用所述追踪信息将虚拟内容叠加在视频流中，从而创建沉浸式AR体验。

Instant Motion Tracking（即时运动追踪）的核心是将摄像头的平移和旋转估计解耦，并将两者视为独立的优化问题。这种方法可以在无需初始化或校准的情况下实现跨设备和跨平台的AR追踪。团队首先利用摄像头发出的视觉信号来寻找确定3D camera的平移。这包括估计目标区域在帧间的明显二维平移和相对比例。所述过程可以用一个简单的针孔相机模型进行说明：这个模型将图像平面中的对象平移和缩放与最终的三维平移相关联。

通过寻找追踪区域从视图位置V1到V2的相对大小变化，团队可以估计出camera距离的相对变化。

接下来，从内置的IMU传感器获取设备的三维旋转。通过结合平移和旋转数据，团队可以以相对尺度追踪目标区域的六自由度。所述信息允许你在任何搭载摄像头和IMU功能的系统放置虚拟内容，无需校准。有关Instant Motion Tracking的更多详细信息请参阅这篇论文。

相关论文：Instant Motion Tracking and Its Applications to Augmented Reality

2. 用于Instant Motion Tracking的MediaPipe管道

Instant Motion Tracking的管道示例如下所示，它由四个主要模块组成：Sticker Manager模块、Region Tracking模块、Matrices Manager模块和Rendering System模块。每个组件都由MediaPipe计算器或subgraph组成。

Sticker Manager接受来自应用程序的贴图数据，并根据用户点击和每个贴图对象的用户手势控制生成初始锚定（追踪区域信息）。然后将初始锚定发送到 Region Tracking模块以生成追踪锚。Matrices Manager将所述数据与设备的旋转矩阵相结合，并生成作为模型矩阵的六自由度姿态。在集成任何用户指定的变换（如asset缩放）后，最终姿势将转发到Rendering System，以渲染叠加在摄像头帧的所有虚拟对象并生成输出AR框架。

3. 使用Instant Motion Tracking解决方案

通过利用MediaPipe跨平台框架，Instant Motion Tracking解决方案十分易于使用。摄像头帧、设备旋转矩阵和锚定位置（屏幕坐标）作为输入，MediaPipe graph为每个帧生成AR渲染，从而提供引人入胜的体验。如果你希望将Instant Motion Tracking库与自己的系统或应用集成，从而在任何搭载IMU和摄像头传感器的设备中部署自己的AR体验，请访问这个文档。

4. 用3D贴图和GIF来增强世界

Instant Motion Tracking解决方案允许你将3D贴图和GIF动画带到增强现实体验。GIF将在平面3D Billboard之上进行渲染。通过将动画内容融入真实世界，这可以带来有趣的沉浸式体验环境。

MediaPipe Instant Motion Tracking已经为PixelShift.AI提供帮助。这家初创公司主要是利用尖端视觉技术促进视频内容创建，通过在取景器中无缝追踪虚拟角色来实现逼真的体验。借助Instant Motion Tracking的高质量姿态估计，PixelShift.AI正在支持VTuber使用Web技术创建混合现实体验。值得一提的是，所述产品将于今年晚些时候向更广泛的VTuber社区发布。