移动增强现实跟踪注册技术概述
发布时间：2022-04-02
摘要随着移动设备软硬件性能的不断提高，将增强现实技术与移动终端相结合已成为国内外研究的热点问题.三维跟踪注册技术是移动增强现实中的关键技术之一.文中综述了移动增强现实中的三类跟踪注册方法: 基于传感器、基于机器视觉和基于混合的跟踪注册，并对各方法的特点进行了详细的探讨和比较.最后对移动增强现实跟踪注册技术进行了总结与展望.
关键词移动增强现实; 跟踪注册; 移动设备
0 引言
增强现实( Augmented Reality，AR) 技术[1]是在虚拟现实的基础上发展起来的新技术.它结合了计算机图形图像技术、空间定位技术、可视化技术以及交互技术等，通过将计算机生成的虚拟物体、场景或系统提示信息叠加到真实的场景中，从而实现对真实环境的增强，给用户一个全新的感官体验.增强现实的最大特点就是能够实现虚实结合和三维注册以及实时交互.目前，增强现实技术已经在娱乐、商业、军事、医疗等方面得到广泛应用.
随着计算技术、增强现实技术以及移动设备软硬件技术的迅猛发展，增强现实的应用开发不再局限于 PC 端，国内外学者逐渐把研究的 目 光 转 向 了 移 动 增 强现实上[2-3]. 移 动 增 强 现 实 ( Mobile Augmented Reality，MAR) [4-5]就是增强现实技术在移动设备终端上的有效应用.早期的移动增强现实系统多选择 PC 作为应用运行平台，用户需要携带必要的头盔显示器或数据手套等装置，影响了应用的便携性.随着平板电脑、智能手机等手持设备的出现，再次给移动增强现实应用的发展提供了一条崭新的途径.这些手持移动设备不仅便于携带，而且具备快速的处理器、高像素级的 CCD/CMOS 摄像头、较大存储空间等[6]诸多优点.所以，通过手持移动设备与增强现实相结合，可以摆脱传统增强现实在人机交互性、便携性等方面的缺陷，让用户获得更好的增强现实体验.
1 移动增强现实的主体架构
移动增强现实系统与传统增强现实系统的基本过程相同[7]，其主要包括 4 个功能模块( 图 1) : 1) 场景信息获取; 2) 对场景信息跟踪注册; 3) 场景融合绘制; 4) 增强信息显示.
为实现虚拟与真实场景的完美结合，增强现实系统中的虚拟场景需通过跟踪注册方法与真实场景保持精确的对准关系.将虚拟场景显示在现实世界准确位置的定位过程称为注册.在此过程中要求系统从当前场景中获得真实空间的实时数据，包括观察者的位置、头部角度、运动情况等来决定如何按照观察者的当前视场重新建立坐标系并将虚拟物体显示到正确位置，这叫做跟踪.
绘制的虚拟物体需要被准确地放置在场景中，并应与周边不同深度的景物实现交互，确保正确的遮挡关系和交互关系.场景融合绘制模块要能够实现有效的遮挡处理、碰撞检测以及渲染绘制[8].
在诸多移动设备中，平板电脑和高性能的移动智能手机逐渐成为增强现实技术的主流载体.以移动智能手机为例，实现增强现实应用的架构方式主要分为 2 种: 独立架构方式和客户端/服务端( C /S) 架构方式.目前，部分功能强大的智能手机，能够完全脱离 PC 端对以上 4 个功能模块进行独立处理.如果将上述 4 个功能模块中的一部分任务交给服务器解决，由智能手机和 PC 分别承担处理任务的方式称为客户端/服务端架构方式，该方式可以提高系统的运行效率.
2 移动增强现实的跟踪注册的难点
移动增强现实系统的关键技术之一在于进行精确的跟踪注册.系统对跟踪注册的精度要求较为苛刻，同时用户对视觉上的误差非常敏感，即便微小的跟踪注册误差也会影响用户的增强现实体验.因此，跟踪注册的实时性、精确性、鲁棒性以及稳定性将直接决定增强现实系统的成败[9-11].如何提高增强现实的跟踪注册精确性一直是增强现实技术研究的重点和难点.
尽管当前移动智能设备的配置不断提高，但其计算能力和存储能力相比较 PC 而言依然有不小的差距.要实时地对真实场景进行识别和跟踪注册，对移动智能设备而言还有很大的挑战性.基于 PC 端的传统跟踪注册方法不能直接移植到移动端，亟需对原有的跟踪注册算法进行优化改进，提高其运算效率以及降低对存储空间的要求.同时，高效的新方法的提出也尤为重要.所以，如何在保证跟踪注册高精确性情况下确保 AR 系统的实时性和鲁棒性，也是亟待解决的问题.
针对目前移动智能设备的不足，很多移动增强现实系统依然采用“客户端/服务器”的架构方式.由于这种方式需要无线网络进行数据传输，所以在对用户位置高效跟踪定位以及渲染绘制等复杂计算时，还应解决移动智能端与不同设备运算的协同以及对场景真实、高效渲染时传输数据的冗余问题.
3 移动增强现实的跟踪注册技术
当前研究人员将移动增强现实跟踪注册技术分为 3 种: 基于传感器的跟踪注册技术、基于机器视觉的跟踪注册技术、混合跟踪注册技术.
3. 1 基于传感器的跟踪注册技术
目前移动智能设备各方面性能得到了不断提升和优化，基本满足了移动增强现实的开发条件.基于传感器的移动增强现实系统开发技术逐渐成熟，其开发涉及移动智能设备中的多种传感器，跟踪注册技术一般也是建立在这些传感器的基础上.Rolland 等[12]总结了基于传感器的几种跟踪注册技术，其中包括磁场跟踪注册技术、机械式跟踪注册技术、声学跟踪注册技术、光学跟踪注册技术、GPS 跟踪注册技术以及惯性跟踪注册技术.基于传感器的跟踪注册技术开发增强现实应用系统[13-17]的方法由来已久，基于该技术的移动增强现实系统大多根据 GPS 定位技术获得当前位置信息，并由方向传感器确定移动智能设备摄像头朝向以及指南针确定的视角朝向，通过移动智能设备的摄像头对准现实场景，使得虚拟增强信息叠加在移动智能设备显示屏上.哥伦比亚大学的 Feiner 等[18]开发了第一个户外移动增强现实应用，实现了校园导航功能，该应用通过磁力计、GPS 和倾角计实现了跟踪注册.2010 年，SPRXmobile 公司推出全球第一款增强现实手机浏览器 Layar [19]，同类型的典型应用还有美国的 Wikitude 公司开发的一款比较著名的移动增强现实应用 Wikitude [20]世界浏览器，分别如图 2 和图 3 所示.英国朴次茅斯大学[21]在安卓手机系统上实现了一个基于位置和传感器方法的“AR 城市”移动增强现实应用，实现了较好的导航功能.
相关知识推荐：论文抄袭检测方法
基于传感器跟踪注册的移动增强现实利用内置的多种传感器即可完成跟踪注册，相对基于机器视觉跟踪注册方法来说具有减少计算量等优点.正是因为该方法一般采用 GPS 和电子罗盘等传感器完成跟踪注册，而这些传感器又容易受到外界环境因素的干扰，所以其在跟踪注册过程中存在传感器抖动的问题.
3. 2 基于机器视觉的跟踪注册技术
在增强现实系统中，基于机器视觉的跟踪注册技术是在计算机视觉的基础上发展起来的，它是通过设备上的摄像机对视频图像进行处理得到跟踪信息，并根据这些跟踪信息确定所要添加的虚拟物体在真实环境中的位置等信息.基于机器视觉的跟踪注册技术原理相对简单，在利用图像处理技术和计算机视觉技术结合进行注册的同时能够动态地纠正造成的误差[22]，是目前增强现实跟踪注册技术领域的主流技术.基于机器视觉的跟踪注册技术主要有两种，一种是基于标识( marker) 的跟踪注册技术，另一种是基于自然特征( natural characteristics) 的跟踪注册技术.
3. 2. 1 基于标识的跟踪注册技术
基于标识的跟踪注册技术是目前 AR 系统中最成熟的注册技术，该跟踪注册技术具有较高的鲁棒性和较低的处理能力要求，其方法的使用由来已久.基于标识的跟踪注册技术是先在现实场景中放置人工标识，然后利用摄像机对图像中的标识进行识别，同时结合摄像机标定原理，完成虚拟信息的跟踪注册.其跟踪注册系统工作流程如图 4 所示.
当前人工标识的识别方法主要有基于图像匹配的标识识别和基于编码特征的标识识别[23]两种.早期的标识都是黑白平面的正方形标记，基本形状多为正方形，如 ARToolKit [24]、ARTag [25-26]、ARToolKitPlus [27]、 ARStudio [28]、 VisualCode [29] 等 标 识. ARToolKit 是由美国华盛顿大学的 HTL 实验室设计开发的 AR 跟踪注册软件包，该标识最初是用于传统 PC 端增强现实中的，在 2002 年，奥地利格拉茨大学的 Kato [30]成功将 ARToolKit 移植入到 WindowsCE 中，实现了 ARToolKit 在移动智能端的增强现实应用.在之后出现的移动增强现实应用中，依然有部分应用[31-32]使用该标识进行跟踪注册.ARTag 标识与 ARToolKit 标识的三维注册方法大体一致，不同之处在于其设计上使用 CRC 编码技术，使其对光照及遮挡仍具有一定的鲁棒性. ARToolKitPlus 标 识 受 到 ARTag 标识启发，是针对移动设备上的增强现实开发的工具包，可以较好地应用在移动终端上[33].ARToolKitPlus 标识相较于 ARTag 标识而言，其边框宽度是可变的，而且识别率更高，但是标识在被遮挡时不能完成三维跟踪注册.ARStudio 标识是背景为黑色正方形、内部为白色规则多边形的图案，由于其在实际应用中比较复杂，所以很少会被使用，不适合移动端的应用.瑞士苏黎世理工学院的 Rohs [29]针对手持设备设计了 VisualCode 标识，其采用类似二维条码方式设计标识，扩大了可识别标识的数量，但是它仅能提供三自由度的摄像机姿态信息，虚拟物体的注册位置精度不够高. 以上所述标识系统如图 5 所示.
罗马尼亚布加勒斯特政法大学[34-35]提出了一种 QR 码的标识跟踪系统.基于 QR 码具有大容量、纠错能力强、自动编码等优点，包括虚拟信息在内，可以通过透视变换矩阵得到相关的物理位置信息.但是 QR 码标识不足之处在于其识别效率较低，识别角度较小，在复杂场景中使用存在一定局限性.当前很多应用[36-37]都证明基于 QR 码的增强现实能够较好地应用于移动智能终端.上海大学 Li 等[38]设计了由 16 个圆点组成的正方形边框作为 Cop-Tag 标识( 图 6) ，它采用投影不变式规则中的椭圆不变式、线性不变式和交叉比规则对标识进行检测和识别.该标识不仅减少了标识的存储空间，并且解决了增强现实系统中标识遮挡后无法三维注册的问题.由于该标识的识别依赖于直线的宽度和圆点的大小，所以识别率会受到摄像机与标识之间距离的影响.南京理工大学的夏德芳等[39]提出了利用水漫填充法和外接矩形的几何特征快速检测标识 4 个角点，设计了基于海明编码特征的人工标识，提高了标识的识别速度，具有一定的抗局部遮挡性能.实验表明利用该标识能够很好地在移动端实现增强现实效果，并有良好的实时性和有效性，其设计的人工标识如图 7 所示.
阿尔及利亚的 Mohamed [40]设计了一种正十二边形的 3D 标识，该标识的每个面上都有 ARTookit 设计的标识( 图 8) .该标识在一定程度上与 2009 年上海大学的 Hu 等[41]设计的基于 ARTookit 的 3D 正方体标识相类似.Mohamed 设计的标识解决了不同观察视角情况下的遮挡问题，但由于该标识在真实场景中占据空间较大，所以它不适合在复杂场景使用.沈阳工业大学的刘嘉敏等[42]提出了一种基于三角形的图案标识.该标识是一个等边三角形的标识，其内部是一个矩形图案，标识如图 9 所示.相较于 ARTookit 标识而言，该标识在不同复杂背景和不同光照强度条件下识别率较高.
沈阳工业大学的 Liu 等[43]提出了一种三角彩色标识的目标实时跟踪注册方法，标识如图 10 所示.该颜色标识上可以使用不同的颜色，满足标识颜色的多样性要求，但是在标识尺寸相对图像尺寸较小时，将无法实现准确的跟踪注册. 阿 尔 及 利 亚 的 Belghit 等[44]也设计了一种彩色标识，标识如图 11 所示.该标识的 4 个角上分别是 4 种不同的颜色，左下角表示真正目标的检测.该标识的检测受场景中相似颜色的影响，而且在标识被遮挡情况下无法完成跟踪注册.Chuang 等[45]设计了一种 ArUco 颜色标识，该标识可以在室内和室外使用，在手持设备上可以很好地完成三维注册，其标识如图 12 所示.
上述部分标识并没有研究人员将其应用到移动端，而且由于移动智能设备的自身条件限制，若将这些标识跟踪注册方法应用到移动智能设备上还应根据具体需要进行适当的优化，以便更好地在移动端实现跟踪注册.目前，出现了一些基于自定义标识的移动增强现实应用[46]，这些自定义标识的出现预示着标识设计正朝着生动、多样化的方向发展.
基于标识的跟踪注册技术使用人工标识跟踪注册方法，该方法不需要重建真实场景，跟踪注册计算复杂度较低，能够达到较好的实时性以及精确性，比较适合用于资源受限的移动智能设备.但是在真实环境中放置标识会影响真实环境的完整性以及自然性，这将降低用户的增强现实体验.同时，在跟踪注册过程中还存在漂移和标识遮挡问题.
3. 2. 2 基于自然特征的跟踪注册技术
基于自然特征的跟踪注册技术实现原理与基于标识的跟踪注册技术本质上是相同的，不同之处在于基于自然特征的跟踪注册技术不需要预先放置标识物，它直接利用真实场景中的一些自然特征来提取基准点，进行跟踪注册.基于自然特征的跟踪注册技术主要是通过相应算法的方式进行跟踪注册，目前常用的算法有 SIFT( Scale-Invariant Feature Transform ) 算 法[47]、FAST ( Features from Accelerated Segment Test) 算法[48]、SURF( Speed-Up Robust Features) 算 法[49]、ORB ( Oriented FAST and Rotated BRIEF) 算法[50]、BRISK( Binary Robust Invariant Scalable Keypoints) 算法[51]、Freak( Fast retina keypoint) 算 法[52]、 BRIEF ( Binary Robust Independent Elementary Features) 算 法[53]、LLDB ( Learning-based Local Difference Binary) 算法[54]等.由于移动智能设备自身的不足，所以在对算法的实时性、鲁棒性以及计算效率方面有着更高的要求，表 1 对上述算法进行了比较.同时，这些算法都有各自的优缺点，最初大多用于 PC 端，并不适合直接用于移动端的增强现实开发应用中.
目前，基于自然特征的跟踪注册技术逐渐成为主流，亟需研究人员提出更好的跟踪注册算法.很多研究人员将上述一些算法进行结合或者加以改进，较好地在移动智能设备上完成了 AR 系统的跟踪注册[55-58].
格拉茨科技大学的 Wagner 和剑桥大学的 Reitmayr 等[59-60]对 SIFT 算法进行了改进，使其更适合在移动端上应用，同时基于分类的自然特征点完成匹配，成功开发了第一款基于自然特征点的移动增强现实虚拟注册方法.瑞尔森大学的 Ufkes 等[61]提出了使用 ORB 二进制特性和光流法相结合的方法.该方法使用 ORB 算法对视频图像特征进行检测匹配，同时利用光流法进行姿态跟踪，实现图像特征的跟踪注册，并通过相应的实验证明该方法可以有效提升系统的运行效率，拓展了其跟踪范围，但会受到光照因素的影响.厦门大学的肖斌等[62]提出了一种基于 ORB 和 KLT 的移动增强现实三维注册算法，该算法分为离线和在线 2 个阶段，2 个阶段都使用 ORB 进行特征提取和匹配，提高算法效率.同时对 KLT 算法进行了改进，实现对特征位置的预测跟踪，保证了系统的实时性和匹配性能.韩国首尔 Chung-Ang 大学的 Kim 等[63]通过将 FAST 算法与 SIFT 算法相结合，实现特征点的检测，并通过测试证明该方法相对 SIFT 算法和 SURF 算法提高了检测效率.
北京理工大学的桂振文等[64]提出了一种智能手机上的场景实时识别算法.该算法对 FAST 算法进行了改进，首先构建一组不同尺度的高斯滤波图像，剔除噪声引起的变化剧烈像素点，再对不同尺度图像进行降采样处理形成三阶高斯金字塔，最后通过稳定点查找算法，减少特征点匹配时间.该算法能有效地运行在智能手机上，适合在实际应用中使用.意大利乌迪内大学的 Martinel 等[65]提出的方法主要有 3 个模块: RPR 检测器模块、匹配模块和 AR 显示模块，并使用 SURF 算法结合 RANSAC 单应性矩阵输出对当前 RPR 与全局特征的候选目标 RPR 进一步提取，完成了注册. 2015 年，Zhang 等[66] 提出 DoPRIEF( selective Difference of Patch Robust Independent Elementary Features) 算法，DoP-RIEF 算法跟踪过程分为 4 个阶段: 1) 特征提取; 2) 特征分布拟合; 3) 特征选择; 4) 分类更新.该算法具有较高的特征匹配速度、精确度以及鲁棒性优点，并通过实验表明该算法能够很好地适用于移动增强现实应用.
基于自然特征跟踪注册方法直接利用真实环境中的特征进行跟踪注册，弥补了基于标识跟踪注册方法需放置标识物的缺陷，具有更广阔的应用前景.由于基于自然特征的移动增强现实跟踪注册方法依赖于算法的实现，同时这种方法计算复杂性较高，所以采用适当的算法是完成跟踪注册的关键.
3. 3 基于混合的跟踪注册技术
混合跟踪注册技术就是利用两种或两种以上的三维跟踪注册技术来确定物体的姿态和位置，这样可以集多种方法的优势于一体，取长补短，有效地解决单一跟踪注册技术无法全面解决增强现实应用中的跟踪注册难题，实现更好的增强现实效果.首先使用电子罗盘与 GPS 进行初步定位，然后再利用视频检测方法实现更精确的跟踪注册.这种技术也是目前国内外很多大学和研究机构人员看好的跟踪注册技术之一.目前基于混合的跟踪注册技术结合方式有多种形式: 机器视觉结合惯性传感器、机器视觉结合 GPS、机器视觉结合多种传感器等.当前的研究工作多集中于机器视觉与 GPS 跟踪注册结合，实现基础定位导航和增强现实效果.
目前基于混合跟踪注册的移动增强现实多应用于智能导航信息服务方面.Choi 等[67]开发了一个导游移动 AR 系统———智能小册子.该系统通过 GPS 获得用户准确的位置信息，提供用户特定信息.它使用 2 个二进制特征描述符( BRISK 和 Freak) 相结合完成图像特征匹配，实现更精确的注册.沈阳科技大学的秦勇旭等[68]在安卓系统上实现了一个校园导航的移动增强现实应用系统.该系统包括 3 个功能模块: 1) 用户位置模块: 利用高德地图 API [69]实现用户导航，获得目标建筑精确位置以及通往路径; 2) 标记检测模块: 建筑物上的标记由 ARToolKit [70]设计，在获得建筑物数据和精确位置后，通过摄像机对建筑物上特定标记物进行跟踪注册，标记物上的确切数据将实现在导航界面上; 3) 三维显示和校园指南模块.——论文作者：刘佳1，2 王强1，2 张小瑞1，2 陆熊3
