增强现实技术在智能手机上的应用

of University of Electronic Science and Technology of China Apr. 2010 2010年4月 Journal

增强现实技术在智能手机上的应用

陈 靖，王涌天，郭俊伟，刘 伟

(北京理工大学光电学院 北京 海淀区 100081)

【摘要】智能手机技术的快速发展为增强现实技术脱离体积庞大的PC机、头盔显示器等设备的限制，向户外和无线化发展成为可能，并由此推动了智能手机增强现实技术的产生。该文系统地阐述了该领域的最新研究进展，针对智能手机增强现实技术发展所要解决的问题进行了深入的分析和探讨，并展望该技术所面临的挑战和未来的发展前景。

关 键 词 增强现实; 移动增强现实; 智能手机; 跟踪定位

中图分类号 TP391 文献标识码 A doi:10.3969/j.issn.1001-0548.2010.z1.020

Augmented Reality Technology Applied on Mobile Phone Platform

CHEN Jing , WANG Yong-tian, GUO Jun-wei, and LIU Wei

(School of Optoelectronics, Beijing Institute of Technology Haidian Beijing 100081)

Abstract The mobile phone provides a perfect interface platform which can make augmented reality system extricate itself from the heavily and awkward personal computer and head-mounted display devices and bring augmented reality (AR) to the outdoor and wireless application fields. In this paper, the newly research progress is introduced in detail. Meanwhile the key technical problems, technical challenging and the future research work are also analyzed.

Key words augmented reality; mobile AR; mobile phone; registration

增强现实(AR)是在虚拟现实技术基础上发展起来的一种新兴计算机应用和人机交互技术。该技术在教学培训、古迹数字重现、医疗研究与解剖训练、精密仪器制造与维修、远程机器人控制、军事和娱乐等领域有着广泛和深远的应用前景。早期的AR系统均采用桌面计算机或工作站作为系统运行平台，采用透视式头盔显示器作为融合显示设备。基于早期构架的AR系统限制了用户的运动范围，无法应用于户外环境。随着移动计算设备和网络技术的急速发展，虚拟现实与增强现实技术在网络和各种移动设备上的研究和应用也日益广泛，针对移动增强现实系统的研究和应用也应运而生。

早期的移动增强现实系统要求用户随身佩戴便携式计算机、电源、头盔显示器、摄像机、人机交互设备以及各种跟踪定位装置，如GPS、电子罗盘等。美国哥伦比亚大学研制的户外AR系统“The

[1]

Touring Machine”、美国海军研究中心研制的战场

增强现实系统BARS[2]以及南澳洲大学开发的

[3]

“Tinmith”是移动增强现实系统的早期典型代表。

该类系统体积庞大笨重、造价高昂、存在安全隐患、不易长期携带及维护，对用户的实际使用带来诸多不便。

小型手持式移动设备(如掌上电脑PDA、智能手机)的兴起，为移动增强现实系统的发展提供了崭新的技术途径。目前大多数的主流手持移动设备都内置了百万像素以上的摄像头，并集成了如红外通信接口、蓝牙无线接口以及无线局域网卡等高速无线通信网络设备。在一些高端的移动设备中，还内置了与通信基站协同工作的GPS定位设备。选择小型手持移动设备作为增强现实技术的新载体，将其与增强现实技术相结合，能够使增强现实系统脱离体积庞大的PC机或工作站、摄像设备、头盔显示器等的限制，实现图像采集、计算与显示的整合，在移动性、便携性以及人机交互性方面具有较强的优势。

收稿日期： 2009 − 11 − 15

基金项目：国家863计划(2007AA01Z325)；国家自然科学基金 (60903070、60673198、60827003)；教育部长江学者和创新团队发展计划(IRT0606) 作者简介：陈 靖(1974 − )，女，副研究员，主要从事虚拟现实与增强现实、计算机视觉方面的研究.

增 刊 陈 靖 等: 增强现实技术在智能手机上的应用 81

将智能手机作为AR技术的开发应用平台，已成为新一代AR技术的必然趋势。

1 mobile phone-AR技术的发展现状

目前，诺基亚公司、西门子公司、索尼公司、德国的lunatic公司、IBM公司，以及美国、英国、日本、德国、奥地利、瑞典、新西兰、澳大利亚等国的大学及研究机构都在从事mobile phone-AR技术的研究工作。

文献[4]开发的“Batportal”系统，采用超声波跟踪设备定位PDA，以及用户的位置和方位信息，实现2D与3D信息的可视化显示，为增强现实技术在PDA上的应用提供了前期探索，并证明了其可行性。文献[5]开发了首款基于商用PDA且能够在PDA的内部处理器上独立运行的增强现实系统。“Invisible train”是该系统在由多人参与的AR交互游戏方面的典型应用[6]

。文献[7]开发了面对面的基于手机的双人协作AR应用系统，该系统采用基于标识的跟踪定位技术，利用蓝牙技术进行P2P的数据通信，用户通过手中的手机控制虚拟的乒乓球。

基于人工标识的跟踪定位方法受环境光照、遮挡的影响，无法应用于人工不可控的户外场景。为使手持式增强现实系统能够应用于环境复杂且无法被人工干扰的场合，需采用更加智能的跟踪定位方式。自2007年起，研究人员开始将基于自然特征的跟踪算法移植或应用于智能手机的研究工作，SURF以其较常用的鲁棒特征提取算法被应用于智能手机中[8]。对SUFR算法进行改进，降低了算法所需的存储空间，实现了其在智能手机上的应用。文献[9]提出了一种在智能手机上跟踪并识别自然特征的算法，并成功应用于基于Symbian系统的Nokia N95手机以及基于Windows Mobile系统的Moto Q9手机，达到10 帧/s左右的处理速度。

2 mobilephone-AR技术的核心问题

将AR技术应用于移动设备终端，会受到移动设备处理器、内存等硬件的约束。目前手机芯片在处理速度、存储容量以及色彩显示等方面仍无法与计算机相比拟。将AR技术应用于手机，就需要综合考虑采用何种系统主体结构框架、如何实现快速高效的跟踪定位算法、如何实现大场景范围下的多目标识别与跟踪、如何利用手机与环境进行交互等方面的问题。

2.1 主体结构框架

AR技术的开发和应用一直都是以PC机或工作站作为系统运行平台，其主要原因在于PC机、工作站所拥有的强大计算能力及图形显示能力。而早期的智能手机处理能力和存储空间都较为有限，无法处理在PC上运行的跟踪算法，也无法进行后续的虚实融合效果显示。因此，早期的以及后来的一些mobile phone-AR系统采用的是客户端-服务器(C/S)架构方式[10-12]，如图1所示。

场景

无线 网络

场景增强

客户端

服务器

图1 客户端-服务器系统结构图

该架构的特点是手机只作为图像获取和显示设

备，所有的视觉处理算法都由远程服务器完成，二者间通过无线网络进行数据通信。早在2003年，西门子研究院的AR-Phone项目就采用该架构构建了基于智能手机平台的AR应用系统[10]。该系统通过蓝牙技术将手机所拍摄的图片上传至PC机服务器，由服务器处理姿态估计算法，并将虚实融合的场景图像发送回手机客户端进行效果显示。受限于手机视频处理的功能，系统处理的时间较长，图片上传至最后显示需要2～16 s。

随着手机芯片处理速度的提高，研究人员开始采用客户端与服务器分别承担计算处理任务的方式。文献[11]的系统将渲染和显示部分的处理移植到手机中。文献[12]的系统通过识别用户观察到的目标对目标进行增强，服务器进行目标的初始识别，然后将初始识别结果传至客户端，在客户端实现目标的精确识别和渲染显示。基于C/S结构的系统，作为传统AR技术向智能手机平台的初始过渡，仍然没有脱离PC机。系统的局限性在于目前的无线网络传输无法满足系统实时性能的要求，且传输时间随着用户移动范围的扩大而增大，限制了系统的进一步发展。

近年，研究人员开始着手研究能够使AR技术完全摆脱PC机独立运行于手机上的各种处理方法，并取得了一定的进展。如Mark小组将ARToolKit技术进行改进并完全移植至Symbian手机操作系统中独立运行[13]。

82 电 子 科 技 大 学 学 报 第39卷

2.2 基于智能手机平台的AR跟踪定位算法 针对AR跟踪定位算法的研究已开展多年，形成了相对成熟的算法和框架。但是将AR技术移植到智能手机平台独立运行的研究工作才刚起步。目前，将常用的AR跟踪定位算法移植到智能手机平台是实现mobile phone-AR技术的主要途径。基于人工标识算法移植，文献[5]将ARToolKit软件包移植至Window CE平台，首次实现了能够完全独立运行于移动设备的AR应用系统，如图2a所示。文献[7]将ARToolKit移植至Nokia手机的Symbian操作系统，并成功开发出交互式乒乓球游戏系统，如图2b所示。

a. 独立运行于移动设备的AR应用系统

b. 交互式乒乓球游戏系统

图2 基于人工标志物的智能手机AR系统

为解决基于视觉的跟踪定位算法的鲁棒性以及稳定性问题。目前也有研究人员利用硬件跟踪定位设备进行AR跟踪定位。MARA是由Nokia公司开发的城市导游系统[14]，它利用诺基亚6680款手机作为增强现实系统的运行平台，采用加速计、倾角仪以及GPS实现手机的绝对姿态跟踪定位，并通过蓝牙无线接口向手机发送测量数据信息，如图3所示。

文献[15]中的PAC-LAN是一个多人城市游戏系统，用户的空间位置由RFID技术定位。在游戏进行的真实环境中布置多个RFID接受器，再在每个用户的智能手机中安装一个RFID发射器，即可确定用户的空间位置。图4a为一个玩家在城市的一个角落放置RFID接收器；图4b为整个游戏的路线图。与GPS不同，RFID不受地形和高大建筑物遮挡的影响，可以在环境中布置多台发射设备。

a. 诺基亚6680款手机

b. 跟踪设备

图3 诺基亚6680款手机及其跟踪设备

a. 玩家放置RFID接收器

b. 城市游戏线路图

图4 使用RFID进行空间定位的PAC-LAN城市游戏系统

配备RFID发射器的智能手机在市场上还不多见，但蓝牙技术已成为智能手机中的必备技术。因此，采用蓝牙定位也成为一些系统的选择。文献[16]构建了一个博物馆导览系统，该系统在博物馆内均匀布置蓝牙发射器，每个蓝牙发射器的有效覆盖范围可至一些特定展品。当用户接近某一展品时，用户手持的手机将接收到发射器发送的蓝牙信号，并

增 刊 陈 靖 等: 增强现实技术在智能手机上的应用 83

由此估计用户的当前位置信息，如图5所示。

图5 使用蓝牙RFID进行空间定位的博物馆导览系统

此外，文献[17]构建了LightSense系统，可利用固定在智能手机背面的LED灯及环境中的灯光传感器跟踪手机的空间位置。在该系统中，用户面对的是固定在玻璃板上的可以透射的平面地图或者地铁路线图，玻璃板的后面是灯光传感器或定位摄像机。当用户持手机对着地图表面移动时，定位摄像头通过分析所拍摄图像的灰度变化区域判断手机所在的位置，如图6a所示，并通过蓝牙技术将与该位置和姿态所对应的虚拟信息传给手机进行显示，如图6b所示。

a. 系统工作示意图

b. 用户操作结果图

图6 使用LED灯和ArtoolKit标志点进行空间

定位的桌面投影增强现实系统

2.3 大场景范围的多目标识别

当mobile phone-AR被用于大范围环境(或场景)进行跟踪和增强时，系统不需要随时跟踪手机的三维位置，而只需识别出当前场景中的目标，并将相应的虚拟信息叠加显示在图像中即可。因此，目标识别以及图像检索技术是必不可少的。文献[18]中，由GPS初步确定用户的空间位置，由服务器在数据库中找出与该位置相关的几个待识别物体，然后通

过比较图像相似度达到识别物体的目的。文献[19]对系统中的物体识别算法进行较大改进，使用SIFT特征进行物体识别，得到了更高的识别率。文献[16]采用神经网络方法对所拍摄的博物馆展品进行识别。文献[20]利用手机平台对SURF算法进行改进，采用模式识别的方法识别校园内的建筑物，并进行信息注解。 2.4 交互式AR系统

目前的智能手机AR系统多为单用户-单设备工作模式。系统中，用户与其周围真实环境间不存在任何交流，更不存在多用户间的协作交互。而手机的主要用途之一是实现多用户间的信息交流与共享。因此，近几年研究人员着手开发基于多人交互、用户与环境交互的智能手机AR系统。该交互系统除了要解决mobile phone-AR系统需要解决的基本问题之外，还要解决交互对象之间的数据传输和通信问题。目前有很多技术可以用作通信媒体，如蓝牙技术、WLAN(无线局域网络)和GPRS等。AR Tennis系统[8]是第一个交互式AR系统，该系统包括两部诺基亚手机、ARToolKit标志点、一个木桌及两位用户。如用户可以进行简单的打网球游戏，当网球与球拍接触时手机就会震动，提示用户击球成功。系统使用蓝牙技术传输多用户间的位置和姿态信息。文献[11]的系统允许用户实现较简单的工件装配任务，整个装配过程通过服务器协助控制，所用的通信方式为WLAN。

2.5 数据通信和传输

无论是基于C/S式的系统还是完全由智能手机独立运行的多用户系统，都要进行数据的无线通信和传输。在C/S模式的系统中，客户端和服务器间的数据传输需通过GPRS、GSM、Wi-Fi或3G网络完成。对传输网络的选择首先要考虑用户所处的应用环境支持何种网络；其次要考虑网络的通畅性、带宽、传输速度以及传输距离等因素。3G网络属于最新的网络类型，具有带宽和传输速度优势，但目前只有部分智能手机支持该网络。GPRS和GSM较为常用，但在带宽和传输速度方面无法与3G网络相比。使用蓝牙技术虽然传输速度较慢，但由于大多数手机都支持该技术，因此使用较为广泛。Wi-Fi技术与蓝牙技术一样，也属于短距离传输技术，其无线电波覆盖范围广，但通信质量不尽如人意。当然，无论采用何种无线网络通信，都将不可避免地造成系统处理时间因网络传输而增长，这也是最终要实现智能手机独立于服务器的一个主要原因。

84 电 子 科 技 大 学 学 报 第39卷

3 挑战与展望

虽然目前智能手机AR技术的发展已可实现简单的增强现实应用。但与PC工作平台相比，还面临着诸多的技术挑战，如较低的图像分辨率和图形处理能力，有限的屏幕尺寸和存储空间，缺少浮点运算单元(FPU)，以及使用低端处理器等，都成为该技术普及和实用化的障碍，使未来短时间内，智能手机的性能还无法与PC机抗衡。虽然可以选择C/S构架分担部分计算负载，但无线网络数据传输的延时、较窄的带宽都使该技术还无法达到完全的实时处理能力。智能手机在硬件发展上的滞后使得PC上运行的算法无法被有效移植，进一步拉大了mobile phone-AR技术与传统AR技术在发展速度上的差距。另外，智能手机对于电池的依赖也是影响此类系统发展的一个重要因素。

但是，随着移动终端技术的不断发展和完善，制约AR技术移植至手机平台的种种约束必将成为过去。手机作为人们日常生活的一部分，将发挥其更大的技术优势和作用。而将AR技术与移动终端相结合也必将开启AR领域的一个崭新研究方向。

参 考 文 献

[1] FEINER S, MACINTYRE B, HOLLERER T, et al. A touring machine: Prototyping 3D mobile augmented reality systems for exploring the urban environment[C]// Proceedings of International Symposium on Wearable Computers. Cambridge, UK: IEEE, 1997: 74-81.

[2] JULIER S, BAILLOT Y, LANZAGORTA M, et al. BARS: battlefield augmented reality system[C]//NATO Symposium on Information Processing Techniques for Military Systems. Istanbul, Turkey: [s.n.], 2000.

[3] THOMAS B, CLOSE B, DONOGHUE J, et al. ARQuake: An outdoor/indoor augmented reality first person application [C]//Proceedings of 4th International Symposium on Wearable Computers. Atlanta, Georgia, USA: Springer Verlag, 2000.

[4] NEWMAN J, INGRAM D, HOPPER A. Augmented reality in a wide area sentient environment[C]//Proceedings of the 2nd IEEE and ACM International Symposium on Augmented Reality (ISAR 2001). New York: IEEE, 2001. [5] WAGNER D, SCHMALSTIEG D. ARToolKit on the pocket PC platform[C]//Second IEEE Intl Augmented Reality ToolKit Workshop. Tokyo, Japan: IEEE, 2003. [6] WAGNER D, PINTARIC T, LEDERMANN F, et al. Towards massively multi-user augmented reality, on handheld devices[C]//Proceedings of the Third International Conference on Pervasive Computing (Pervasive 2005). Munich, Germany: IEEE, 2005.

[7] HENRYSSON A, BILLINGHURST M OLLILA M. Face to face collaborative ar on mobile phones[C]//Proceedings of

the Fourth IEEE and ACM international Symposium on Mixed and Augmented Reality. [S.l.]: [s.n.], 2005: 80-89. [8] CHEN W C, XIONG Y, GAO J. Efficient extraction of

robust image features on mobile devices [C]//Int Symp on Mixed and Augmented Reality (ISMAR ’07). New York, USA: ACM, 2007.

[9] WAGNER D, REITMAYR G, MULLONI A, et al. Pose tracking from natural features on mobile phones[C]//7th IEEE/ACM International Symposium on Mixed and Augmented Reality. Washington, USA: ACM, 2008.

[10] ASSAD M, ARMICHAEL D J, CUTTING D. AR phone:

Accessible augmented reality in the intelligent environment [C]//Proceedings of OZCHI. Brisbane, Austrilia: [s.n.], 2003: 232-237.

[11] HAKKARAINEN M, WOODWARD C, BILLINGHURST

M. Augmented assembly using mobile phone[C]//7th IEEE International Symposium on Mixed and Augmented Reality (ISMAR 2008). Cambridge, UK: ACM, 2008: 167- 168.

[12] HILE H, BORRIELLO G. Information overlay for camera

phones in indoor environments[J]. Lecture Notes in Computer Science, 2007, 4718: 68-84. [13] ANDERS H, MARK O. UMAR: Ubiquitous mobile

augmented reality[C]//The 3rd International Conference on Mobile and Ubiquitous Multimedia ACM. College Park, Maryland: ACM, 2004. [14] KÄHÄRI M, MURPHY D J. MARA-sensor based

augmented reality system for mobile imaging[C]//5th IEEE International Symposium on Mixed and Augmented Reality. Santa Barbara, CA: IEEE, 2006. [15] RASHID O, BAMFORD W, COULTON P, et al.

PAC-LAN: mixed reality gaming with rfid enabled mobile phones[J]. Computers in Entertainment, 2006, 4(4): 1-17. [16] BRANS E, BROMBACH B, ZEIDLER T, et al. Enabling

mobile phones to support large-scale museum guidance[J]. Multimedia, IEEE, 2007, 14(2): 16-25.

[17] OLWAL A. Lightsense: enabling spatially aware handheld

interaction devices[C]//IEEE/ACM International Symposium on Mixed and Augmented Reality. Santa Barbara, CA: ACM, 2006.

[18] FRITZ G, SEIFERT C, PALETTAL L, et al. Mobile vision

for tourist information systems in urban environments [C]//International Conference on Mobile Learning. Rome, Italy: [s.n.], 2004.

[19] FRITZ G, SEIFERT C, PALETTAL L, et al. A mobile

vision system for urban detection with informative local descriptors[C]//The Fourth IEEE International Conference on Computer Vision Systems, IEEE Computer Society. Washington, USA: IEEE, 2006.

[20] TAKACS G, CHANDRASEKHAR V, GELFAND N, et al.

Outdoors augmented reality on mobile phone uing loxel- based visual feature organization[C]//ACM International Conference on Multimedia Information Retrieval. New York: ACM, 2008.

编 辑 张 俊