国外“虚拟现实技术发展及演化趋势”研究综述
发布时间：2021-03-15
摘要：虚拟现实技术应用领域广泛，应用综合价值高，掌握其核心技术发展方向非常关键。从20世纪30年代至今，虚拟现实技术历经概念萌芽、技术探索、突破发展和产业应用这4个发展阶段。以关键技术为基础，搭载软件和硬件，根据需求可构造不同沉浸度虚拟现实系统，并应用于国防军事、教育培训、医疗保健、工业制造、娱乐文化等领域。尽管虚拟现实发展可能会面临安全及技术等问题，但它竞争潜力大，未来应用领域会不断拓展。
关键词：虚拟现实技术创新应用趋势
引言
创新引领发展，虚拟现实(VirtualReality，简称VR)的技术创新性使其成为社会关注热点。近几年出现的低成本消费级虚拟现实产品更是将虚拟现实技术迅速推向市场，它在医疗、制造、军事等各行业获得深度开发与应用。核心技术延展性强，应用领域广泛，虚拟现实可能成为下一个技术创新基石。
国外学者虚拟现实技术研究起步较早，他们对虚拟现实技术的认识涉及技术、系统及应用开发等各方面。虚拟现实技术研究起源于计算机图形学，现已扩展到仿真、传感等多个学科领域。虚拟现实依赖于三维(ThreeDimensional，简称3D)立体头部跟踪显示及身体跟踪感应技术，这构成一种身临其境的多感官体验。韦斯(P.L.Weiss)和杰塞尔(A.S.Jessel)表示，借助专门设计的传感器，用户可以与三维图像进行交互，操纵虚拟对象，使用户感知到与真实世界相当的虚拟环境。[1]基于先前的研究，虚拟现实可定义为特定的技术集合。斯莱特(M.Slater)认为虚拟现实的理想定义不仅应包括计算机生成世界，还应包括感知环境的虚拟现实系统。[2]潘(X.Pan)和汉密尔顿(A.F.C.Hamilton)进一步将其简化为可呈现模拟世界的计算机程序。[3]它可被定义为一种高度交互的三维数字媒体环境，用户直观体验模拟环境，获得听觉、触觉及视觉等多感官反馈。
虚拟现实系统的核心是沉浸感、交互感与存在感的高度融合。基于用户中心视角，跟踪反馈用户在3D环境中动作，借助软硬件设备，使用户完全沉浸其中。具体而言，沉浸程度与刺激感官量相关，受模拟环境与现实相似性的影响。交互感强调用户与虚拟环境之间的流畅性人机互动，尽可能模拟用户听觉、视觉、触觉等感官自然反馈。斯莱特和威尔伯(S.A.Wilbur)将存在感界定为处于虚拟环境中的主观心理感觉。[4]鲍曼(D.A.Bowman)和麦克马汉(R.P.McMahan)认同这一说法，他们表示用户在相同三维计算机生成环境中可能会产生不同程度的存在感。[5]换言之，这三个指标水平与融合度越高，则用户体验越真实。
根据虚拟现实技术的发展及演化趋势这一研究主题，以“developmentofvirtualrealitytechnology”“VR”“virtualrealityapplications”“futureofvirtualreality”“virtualrealitysystems”等作为关键词在WebofScience核心数据库进行组合检索，时间截至2018年12月31日。经过数据清洗与整理，共发现5921篇相关文献。如图1所示，虚拟现实技术趋势研究一直处于平稳增长态势，2012年快速成为研究热点，发文量增长较快。其中，美国、中国、英国和德国发文量总和过半达3112篇，反映出这些国家较为重视虚拟现实技术研究，是虚拟现实技术研发中心。
一、虚拟现实技术发展历程
虚拟现实概念由来已久，其他技术诸如计算机科学的成熟促进着虚拟现实技术研发和产业发展。回溯虚拟现实技术的发展历程，总结发现其大致可划分为4个阶段：概念萌芽、技术探索、突破发展和产业应用。以一系列标志性事件为界，虚拟现实从技术研发到产业化经历了里程碑式的发展，阶段性发展特征鲜明。
1.虚拟现实技术1.0——概念萌芽
虚拟现实技术构想的萌芽出现在20世纪30年代，直到20世纪60年代仍处于概念术语确立阶段。虚拟现实构想最早出现在1935年科幻小说家温鲍姆(S.G.Weinbaum)发表的短篇科幻小说中，他描述了小说主人公皮格马利(Pygmalion)在戴上特制护目眼镜后进入另一个世界的奇特体验。[6]这也是最早涉及到听觉、视觉和触觉等虚拟现实感官体验的描述，他是虚拟现实领域的梦想家。时至1957年，电影摄影师海利(M.L.Heilig)将这一构想付诸实践，研发出“SENSORAMA”模拟器。现如今熟知的头戴式显示器(HeadMountedDisplays，简称HMD)前身则出现在1961年，Philco公司工程师科莫(C.P.Comeau)及布莱恩(J.S.Brian)将他们开发出名为“Headsight”简易运动跟踪头戴式显示器。[7]与闭路电视相连，带有显示屏幕与跟踪系统，“Headsight”旨在训练军事人员完成诸如高速飞机着陆、化学危险测试等任务，它开创了利用虚拟现实技术进行学习和培训的做法。基于“SENSORAMA”模拟器，海利在1962年将其丰富成为“SENSORAMA”视频系统并成功申请专利，它能凭借立体声扬声器、三维显示器、震动椅等外部设备刺激用户感官。[8]它并未被成功商业化，但后续很多虚拟现实相关技术发明以此为基础进行拓展研究。1968年，计算机图形学先驱萨瑟兰(I.E.Sutherland)首次开发出一种与虚拟环境相连的头戴式显示器，因其形状相似而被称为“达摩克利斯之剑。[9“]SENSORAMA”和“达摩克利斯之剑”共同之处在于它们都允许用户使用不同的感官来体验虚拟环境，不足之处是他们都无法支持用户与虚拟环境进行交互。
2.虚拟现实技术2.0——技术探索
20世纪70到80年代虚拟现实技术发展速度加快，光学技术和其他触觉设备同步发展，这让用户在虚拟空间中移动和交互成为现实。整合互动艺术与虚拟现实体验，计算机艺术家克鲁格(M.W.Krueger)于1975年开发的“VIDEOPLACE”是第一个交互式虚拟现实平台，这一系列的互动体验被他称之为“人工现实”(ArtificialReality)概念。[10]不同于直接佩戴头戴式显示器，“VIDEOPLACE”使用投影仪及摄像机进行交互行为。1985年，美国国家航空航天局(NASA)所属研发人员费希尔(S.S.Fisher)开始负责虚拟环境工作站(VirtualInteractiveEnvironmentWorkstation，简称VIEW)项目，目标是使空间站远程操作成为可能。[11]依靠NASA强劲科研基础和实力，在费希尔带领下VIEW项目取得很多进展，率先开发出三维音频技术及头部耦合显示技术等许多关键虚拟现实技术。1986年，弗内斯(III.T.A.Furness)研制出一种被称为超级驾驶舱的飞行模拟器。[12]训练座舱创新之处在于拥有计算机生成3D地图、先进的红外及雷达图像，这使飞行员能够实时视听，头盔的跟踪系统和传感器允许飞行员使用手势、语音和眼睛动作来控制飞机。即使相关技术取得重大进展，但仍没有一个概括性术语来描述这个领域，直至1987年兰尼尔(J.Lanier)首次提出“虚拟现实”术语。[13]作为视觉编程实验室(VisualProgrammingLab，简称为VPL)创始人，他致力于研发数据手套和可视电话头戴式显示器等虚拟现实设备，这也是第一家出售虚拟护目镜和手套的公司。虚拟现实概念清晰化，并得到各界认可。
3.虚拟现实技术3.0——突破发展
虚拟现实技术取得突破性进展是在20世纪90年代到2010年期间。瓦尔登(J.Waldern)在1990年伦敦举办的国际计算机图形学大会上首次展示了虚拟现实街机“Virtuality”，用户可在3D环境中获得沉浸式游戏体验。1991年，游戏视频巨头世嘉(Sega)公司宣布开发完成SegaVR耳机，但这款设备从未公开发行。[14]尽管如此，世嘉公司仍为普及虚拟现实做出巨大贡献，研发工程师从硬件着手，突破技术限制，在保证虚拟体验质量的同时降低制作成本。1992年，克鲁兹-奈拉(C.Cruz-Neira)等人利用当时可用技术构建虚拟现实环境CAVE，成功克服用户怀疑及观众中心视角这两大问题。[15]CAVE是一个四周环绕显示屏的立方体，在限制范围内它会随观众移动路径而反馈正确透视和立体投影。任天堂(Nintendo)公司在1995年推出名为“VirtualBoy”的立体视频游戏机。[16]然而当时技术平与设计者超前思维无法匹配，由于缺乏软件支持，这款游戏机仅上市6个月就因未达到销售预期而退出市场。虚拟现实技术的应用范围从军事、娱乐拓展到医学领域，罗斯鲍姆(B.O.Rothbaum)等研究人员在1999年提出使用虚拟现实技术来为越南退伍军人创建战区情景，帮助他们进行创伤后应激障碍(PTSD)暴露治疗。[17]进入21世纪后，得益于图形处理、动作捕捉等其他相关技术突破，虚拟现实技术研究进入高速发展阶段。2007年，谷歌开通了地图街景功能，将街道图像与地图合并，自然显示街道级实景图像。[18]为方便用户导航，谷歌公司于2010年推出3D立体模式街景图像。虚拟现实在这个阶段迅速进步，理论和技术同步跨越幅度较大。
4.虚拟现实技术4.0——产业应用
2012年至今，虚拟现实技术产业化走向新阶段。消费级虚拟现实产品在这一阶段市场反响较大，虚拟现实技术的日渐成熟使产业化应用成为可能。在2012年，谷歌公司上市虚拟现实眼镜设备“GoogleGlass”，Oculus公司发布虚拟现实头戴式显示器“OculusRift”，两家公司在虚拟现实领域展开竞争，掀起虚拟现实技术新一轮热潮。2014年，互联网巨头脸书公司以20亿美元整体收购Oculus公司，首席执行官扎克伯格认为Oculus会成为未来交流平台，预测虚拟现实技术将改变个人网络体验。[19]此次收购事件标志着互联网公司开始涉入虚拟现实领域，虚拟现实技术作为经济驱动因素引起全球关注。同年，三星公司GearVR与谷歌公司GoogleCardboard先后问世，虚拟现实设备可获得性增强，用户更广泛地探索虚拟现实技术可能性。此后到2016年，宏达(HTC)公司开始对外销售HTCVive，索尼公司推出PlayStationVR。虚拟现实头戴式显示器设备领域最具竞争力的领先产品已全部出现，行业发展竞争势头突显，2016年也被视为虚拟现实技术发展的关键一年。2018年，沃尔玛公司开始尝试使用虚拟现实技术进行员工培训，选择10家试点商店，未来将投资17,000个Oculus耳机，使虚拟现实培训成为所有单位的标准。[20]沃尔玛是美国最大的零售连锁企业之一，这个决定将把虚拟现实技术应用推向新的高度。虚拟现实技术应用领域不断拓展，社会和经济价值得到深度挖掘。
二、虚拟现实关键技术
在虚拟现实环境中，用户获得沉浸感，置身于计算机生成世界并与之交互。有效的虚拟现实体验会让用户意识不到真实环境，并专注于虚拟环境中存在对象。集成使用虚拟现实的关键技术，有助于提高虚拟现实体验有效性，达到系统目标。
1.三维建模技术
虚拟现实的核心是构建虚拟环境。三维建模不仅要求虚拟环境真实可信，还强调可交互性，电影、建筑、游戏等不同领域三维建模技术重点与方式存在差异。直到21世纪初期，基于图像的三维建模仍是相对经济灵活且广泛使用的方法，要点在于从二维图像中确立关键控制点后创建三维模型。[21]三维激光扫描点云建模技术精确度比图像建模更高，能够以毫米级精确度来重建三维模型，最大限度还原真实环境。[22]2019年，马赫鲁斯(A.Mahrous)和施耐德(G.B.Schneider)提出在牙科教育和治疗中引入三维建模技术，这既可增强牙科学生可视化学习效果，也可使患者直观了解治疗方法和结果。[23]从数据采集开始，到计算机上完成可视交互的三维虚拟模型结束，这是三维建模的完整过程。
2.三维显示技术
人类所处物理世界是三维空间，但传统显示技术只展现水平和垂直维度形成的二维平面，缺少深浅维度信息。随着光学、电子、激光等技术发展，三维显示技术被引入市场。当前三维显示技术主要可归为4大类：3D电影、舞台全息图、全息投影和体积三维显示。金恩(J.Geng)认为三维显示技术是进入虚拟世界的窗口，用户可以通过该窗口感知与真实世界相同的3D场景。[24]近几年三维显示技术研究重点是解决传统方法障碍，伊利诺伊大学研究员崔(W.Cui)和高(L.Gao)在2017年提出一种用于可穿戴设备的光学映射近眼(OMNI)三维显示方法，核心是将眼睛调节到与双目立体视觉相同距离，缓解眼疲劳和不适。[25]与以前方法相比，此款显示器在适应性、图像动态范围和刷新速率方面具有突出优势。
3.三维音频技术
为了使用户沉浸在虚拟环境中，必须允许用户在三维空间中任意地方感知声源位置。三维虚拟音频的基础在于将听觉信号呈现给用户耳朵，使这些信号与模拟环境中用户所接收的信号等价。在2018年召开的IEEE游戏、娱乐、媒体(GEM)大会上，布罗德里克(J.Broderick)等人强调在虚拟环境中三维虚拟音频对用户重要性，高质量音频可改善用户虚拟体验。[26]他们认为良好的空间音频不仅使用户更深地沉浸在虚拟环境中，而且是用户获取环境信息的重要渠道。高保真但有效的声音模拟是任何虚拟现实体验的基本要素，塞拉芬(S.Serafin)等学者试图找出声音模拟准确性和合理性之间的权衡。[27]当虚拟音频嵌入沉浸式虚拟环境中，在多感知交互条件下静态声音作用可能会失效。这是未来研究重点，声音合成、传播和渲染逐渐成为与虚拟现实技术相关的重要研究领域。
4.体感交互技术
通过动作、声音或表情等身体自然行为来与虚拟环境进行非接触交互，这是体感交互技术。国外学者普遍认为体感交互技术是虚拟现实的关键组成部分，在虚拟现实培训中发挥重要作用。体感交互代表性设备是微软公司2010年公开发布的“Kinect”，它具备动作捕捉、手势与面部表情识别等多种功能，可应用于课程培训、游戏娱乐、虚拟更衣等领域。[28]通过使用“Kinect”，借助三维人体动作捕捉算法，能让用户以自然的方式与他们的身体互动。孟格(Y.Mengüç)等人提出一种用于测量下肢关节运动的软性运动传感装置，可有效改善现有技术在移动性和耐磨性存在的不足。[29]体感交互技术研究重点在于识别精确度与广泛性，增加感官刺激可以增强用户“存在感。”
三、虚拟现实系统分类
虚拟现实系统也可称为虚拟现实平台，旨在创建一个可交互的虚拟环境，便于用户探索无法到达或非真实存在的地方。虚拟现实系统的核心是沉浸感和交互性，提高用户体验感。根据沉浸感与交互性程度及操作方式的差异，国外学者将虚拟现实系统主要分为以下4大类。
1.非沉浸式虚拟现实系统
用户通过键盘、鼠标、操纵杆或触摸屏等设备与虚拟环境进行交互，这种虚拟现实系统通常被称为非沉浸式虚拟现实系统(Non-ImmersiveVRSystem)，又称桌面式或窗口式虚拟现实系统。国外学者关于非沉浸式虚拟现实系统研究集中教育领域，他们致力于探究此系统提高学习效能的作用途径。2008年，李(E.A.L.Lee)和王(K.W.Wong)研究发现，非沉浸式虚拟现实已经在现代教育中得到普及，因为它能够在与现实世界非常相似的虚拟世界中提供实时可视化和交互，这有助于提高教学活动效率。[30]2016年，卡明斯(J.J.Cummings)和贝伦森(J.N.Bailenson)强调关注桌面式虚拟现实系统的低沉浸度，使用比较便宜的设备例如个人电脑就可以运行这种系统。[31]得益于系统价格下降、计算机处理能力飞跃和万维网扩散，非沉浸式虚拟现实系统使用率大大提升。
2.半沉浸式虚拟现实系统
半沉浸式虚拟现实系统(Semi-ImmersiveVRSystem)又称为增强式虚拟现实系统(AugmentedRealitySystem)，将虚拟世界叠加到真实世界上，形成两个世界的无缝连接，从而使用户获得超越现实的虚拟体验。此类系统一般应具备3个基本功能：将真实对象和虚拟对象结合在一起;交互地、实时地运行;同时跟踪真实对象和虚拟对象。2011年，卡尔米尼(J.Carmigniani)等学者系统研究了增强现实技术、系统和应用程序，他们认为增强式虚拟现实系统目的是简化用户生活，把虚拟信息带到他周围的环境中，增强用户对现实世界的感知和交互。[32]2019年，韦达霍德(M.D.Wiederhold)进一步强调这项技术在教育、娱乐、艺术和科学等广泛领域有巨大应用前景，它的全面影响才刚刚开始显现。[33]技术正逐渐追上想象力，国外学者对半沉浸式虚拟现实系统研究也开始转向应用领域。
3.沉浸式虚拟现实系统
沉浸式虚拟现实系统(ImmersiveVRSystem)可使用户完全融入并感知虚拟环境，获得存在感。一般有2种途径实现系统功能：洞穴自动虚拟环境(CaveAutomaticVirtualEnvironments，简称CAVE)和头戴式显示器，同时配备运动传感器以协助进行自然交互。拉瓦尔(S.LaValle)认可沉浸式虚拟现实系统功能，他在2016年出版专著《虚拟现实》中表示一旦用户沉浸在虚拟环境中，他们会产生身临其境的感觉。[34]与非沉浸式虚拟现实相比，克洛克(E.Krokos)等学者发现沉浸式虚拟现实可使用户拥有更好的记忆能力。[35]他们2019年最新研究表明，用户更加关注深度沉浸体验的附加任务，空间意识感对于用户记忆至关重要。这种虚拟环境会变得非常逼真，使用户很难区分虚拟世界和现实世界，但局限性在于可能会使用户产生晕眩感，未来研究应关注这一点。
4.分布式虚拟现实系统
分布式虚拟现实系统(DistributedVRSystem)通过互联网络使多地用户能够实时交互，共享相同虚拟世界。虚拟世界不独立存在，运行于网络连接的多个计算机系统中。早在1995年辛格(S.K.Singhal)和切里顿(D.R.Cheriton)研究发现，分布式虚拟现实系统需要在虚拟环境中准确有效地远程呈现动画实体，远程主机必须实时显示每个用户位置，以支持系统用户之间的交互。[36]进入21世纪后，分布式虚拟现实系统应用研究成为主流。考夫曼(H.Kaufmann)认为分布式虚拟现实系统在教育领域应用较多，方便远程多人学习。[37]国外学者研究证明分布式虚拟现实系统可构建3D协作环境，供分布式用户相互交互，并完成各种协作任务。分布式虚拟现实系统顺应时代新需求，促进用户间沟通和协作，应用潜力有待更多挖掘。——论文作者：杨青/YANGQing钟书华/ZHONGShuhu
相关期刊推荐：《自然辩证法通讯》(双月刊)1979年1月10日创刊，是由中国科学院主管、中国科学院研究生院主办、中国科学院自然辩证法通讯杂志社编辑、出版的国家一级学术期刊。本刊是关于自然、科学、技术的跨学科研究和多维度透视的综合性学术杂志，是联结自然科学、社会科学、人文学科的纽带，沟通科学文化和人文文化的桥梁。
