苹果新AR/VR专利提出『多人同时定位与映射』SLAM技术解决方案

SLAM （Simultaneous Localization and Mapping）是指即时定位与地图构建或同时定位与映射。就本质而言，SLAM是一种利用传感器馈送和/或IMU读数来构建未知环境的映射结构，并实时确定设备位置和方向的过程。

SLAM可以回答两个非常重要的问题：我在哪儿（定位）？我周围有什么（三维场景重建）？对于需要合理地将虚拟对象叠加到现实世界的增强现实而言，这种技术显然非常合适。所以，诸如HoloLens，Magic Leap和影创等AR头显都无一例外地采用了SLAM技术。

延伸阅读：什么是SLAM，为什么SLAM如此重要

根据美国专利商标局日前公布的一份专利申请，苹果同样在积极地为未来的增强现实设备研发SLAM技术。

在名为“Multiple User Simultaneous Localization And Mapping (多人同时定位与映射）”的专利申请中，苹果主要描述了针对增强现实的多人SLAM技术。

这家公司在专利背景中写道：“目前市场存在各种针对单名用户或单台设备的SLAM技术。但行业同样需要允许多名用户在物理环境 ********* 享虚拟对象的SLAM技术。”

具体而言，由于物理空间的追踪和定位不一致，今天的AR体验大多局限于单名用户，所以如何为AR带来社交性和协作性是一个挑战。例如，如果一名用户可以在自己的AR视图中将一个虚拟花瓶放到物理桌面，但其他用户的AR视图可能会显示成虚拟花瓶漂浮在半空中。

为了支持多人AR体验，设备必须能够获取关于环境的一致映射和其他设备的一致定位。

在下面的苹果专利图中，两名用户正在同时感知同一个计算机生成现实环境。

为了获得一致的AR体验，用户#A手持的设备#400A可以根据由第一图像传感器捕获的物理环境图像来获得第一组关键帧，并执行SLAM以生成定义第一组关键帧的关键帧相对位置的映射；用户#B手持的设备#400B可以根据由第二图像传感器捕获的物理环境图像来获得第二组关键帧，并生成定义第二组关键帧的关键帧相对位置的映射。

在一个实施例中，设备#400A和设备#400B可以结合诸如运动传感器、深度传感器和方位传感器等附加传感器的数据和相应的传感器参数来执行SLAM。

接下来，设备#400A接收第二组关键帧，并将接收到的关键帧定位到映射。设备#400B接收第一组关键帧，并将接收到的关键帧定位到映射。

在一个实现中，设备#400A和设备#400B各自根据一致的算法合并来自对方的物理环境映射，从而提供一致的映射结果。苹果特别指出，通过由用户设备本地维持和合并关于物理环境的映射，这消除了对中央用户设备的需要，同时允许任何用户设备加入或离开多用户SLAM环境。

这时，如果用户#B在增强现实体验中添加了一个虚拟对象（如虚拟花瓶），设备#400B将相应地根据视图生成一个锚定。其中，锚定定义虚拟对象相对于关键帧的位置。

用户#A手持的设备#400A可以接收#400B的锚定，然后根据早前合并生成的一致映射及接收的锚定显示包含所述虚拟对象（如虚拟花瓶）的计算机生成现实环境。

不仅只是这样，设备#400A同时可以根据设备的方向以符合用户#A视角感知的效果呈现由用户#B添加的虚拟对象（如虚拟花瓶）。

苹果在一个示例中写道：“所述方法基于锚点和映射在同一个位置显示包括虚拟对象的计算机生成现实环境。通过所述方法，第一电子设备和第二电子设备的计算机生成现实体验可以更加一致，因为虚拟对象是相对于相同的关键帧定位，并且在每台设备的各自映射中包括或以其他方式使用相同的关键帧。例如，在第二电子设备视图中放置的虚拟花瓶同样会放置在第一电子设备的视图中，而且虚拟花瓶可以以符合用户视角感知的效果呈现。”

这家公司最后总结道：“将相同的关键帧和锚点合并到同一映射中有助于确保花瓶在两个计算机生成现实体验中实现更为一致的定位。”

相关专利：Apple Patent | Multiple User Simultaneous Localization And Mapping (Slam)

名为“Multiple User Simultaneous Localization And Mapping (多人同时定位与映射）”的苹果专利申请最初在2020年7月提交，并在日前由美国专利商标局公布。需要注意的是，这只是一份专利，尚不确定苹果是否会或于合适商业化所述的发明技术。