手势交互虚拟实验对学习体验的影响机制

　　摘要：手势交互作为一种理想的虚拟现实交互技术，其在虚拟实验中的应用能够很好地满足学习者多样化的交互需求并提升交互体验。然而，当前关于手势交互虚拟实验的研究大多聚焦于提高手势识别的准确率、设计开发不同领域的虚拟实验应用等方面，而对学习者在虚拟实验中的学习体验并未进行深入地研究。为了探索手势交互虚拟实验对学习者学习体验的影响机制，利用设计开发的基于Leap Motion的“计算机组成原理”虚拟实验，采用混合研究范式对学习者的沉浸感、学习动机和态度分别进行了测量与分析。结果表明：在手势交互虚拟实验中，学习动机作为中间因素会影响学习者的学习体验;身临其境的感觉和自然丰富的交互体验能够有效增强学习者的物理沉浸，进而提高学习者的学习动机，改善学习者的情感体验并增强其使用意愿，由此来促进学习者学习体验的提升。从改进实践的层面来看，未来应合理设计交互手势，创设高度沉浸的实验环境，优化虚拟实验任务设计，注重对学习反思的引导，以不断提升学习者在心理沉浸和学习效果方面的表现。

　　关键词：手势交互技术;虚拟实验;学习体验;影响机制;学习动机;沉浸感

　　作者：刘革平

　　一、研究背景

　　虚拟实验作为智慧学习环境的重要组成部分，在提高实验教学质量和培养创新人才方面发挥着重要作用。虚拟实验所具有的诸多优点如高仿真性、开放共享性、可扩展性、重复使用性以及高安全性等(杨雪等，2008)，可以补充和延伸课堂教学(王济军等，2011)，支持混合学习(王阿习等，2013)以及弥补远程教育中“实验”的缺失(赵同刚等，2015)。一直以来，虚拟实验在教育教学中的应用都受到国家的高度重视。中共中央办公厅、国务院办公厅印发的《加快推进教育现代化实施方案(2018-2022年)》提出“加快推进智慧教育创新发展，设立‘智慧教育示范区’，开展国家虚拟仿真实验教学项目等建设”。《教育信息化2.0行动计划》中也明确提出“加强职业院校、高等学校虚拟仿真实训教学环境建设，服务信息化教学需要”。我国教育部于2019年11月发布的《教育部关于加强和改进中小学实验教学的意见》提出“对于因受时空限制而在现实世界中无法观察和控制的事物和现象……可用增强现实、虚拟现实等技术手段呈现”。由此可见，加快推进虚拟实验在各级各类教育中的应用是当前教育教学改革的重要任务。

　　目前应用最为广泛的虚拟实验多为基于桌面式的“非沉浸式”虚拟实验，这类虚拟实验大多采用基于WIMP(Windows、Icon、Menu、PointClick)的交互范式。这种范式存在的主要问题是交互过程中输入的带宽太窄，仅支持精确的鼠标点选和离散的按键输入，“二维性”难以操控三维虚拟对象和完成三维交互任务(张凤军等，2016)。因此，采用鼠标键盘交互的虚拟实验中学习者的学习体验不佳，无法发挥出虚拟现实系统的沉浸性、交互性和构想性等优势。手势交互作为一种重要的自然交互方式，它的出现在一定程度上打破了WIMP交互范式的限制，在形式上和空间上极大改善了交互体验(廖宏建等，2013)，不仅能提升交互的沉浸感和效率，而且也能增加交互的真实感。然而，当前关于手势交互虚拟实验的诸多研究大多聚焦于提高手势识别的准确率(王赋攀等，2018;杨贤等，2019;Raees et al.，2019)、设计开发不同领域的虚拟实验应用(吴福理等，2016;Wu & Wang et al.，2019;蒋梦菲等，2020)，而对学习者在虚拟实验中的学习体验仅笼统地描述为“增强用户体验”(袁伟等，2018)，“提高学习兴趣”(杨鲁义，2019)，“激发学习动机”(杜宝江等，2016)等，并未进行深入的研究。鉴于此，本研究利用设计开发的“计算机组成原理”手势交互虚拟实验，从定性与定量相结合的角度探究基于手势交互技术的虚拟实验对学习者学习体验的影响，以期为优化手势交互虚拟实验设计、提升学习者学习体验提供参考和借鉴。

　　二、文献综述与研究问题

　　1.手势交互技术在虚拟实验中的发展

　　随着基于计算机视觉(Molina et al.，2011)、超声波(杨晓东等，2015)、肌电识别(Xu et al.，2019)等技术的发展，手势交互技术正逐渐走向实际应用。手势交互是指用户自然地利用手指、手腕和手臂动作表达其交互意图，主要包括握拳、挥手、点指、手掌转动等(Cabreira et al.，2015)，其本质是一种非接触式的自然人机交互方式。相较于其他交互方式，手势交互具有更广阔的交互空间、更高的灵活度和更加人性化等特点(于汉超等，2017)。虽然手势交互技术最早被应用于游戏和移动设备中，但其巨大的教育应用潜力引起了教育工作者的关注。Johnson认为，手势交互技术将会对教育产生重大影响(Johnson et al.，2011)。近年来，有关手势交互教育应用的研究不断增多且分布在不同领域，例如智能教学系统(刘勉等，2019)、教育游戏(Navarro-Newball et al.，2015)、虚拟实验(Wu & Wong et al.，2019)等，其中以手势交互虚拟实验的研究最为广泛。Nainggolan设计开发了虚拟人体骨骼实验系统，当学习者使用右手点击虚拟骨骼物体时，系统会显示当前骨骼的名称。而且学习者可以利用左手的手势控制摄像机的移动和放大缩小，如握拳向上移动表示放大(Nainggolan et al.，2016)。张晓蓉设计开发了基于手势交互的沉浸式虚拟化学实验系统，学习者需要佩戴上Oculus头戴显示器，使用Leap Motion作为手势输入设备。在实验过程中，学习者可以依据实际操作方式随意抓取、拖放实验仪器，完成实验操作(张晓蓉等，2018)。

　　当前手势交互技术在虚拟实验中的应用与发展十分迅速，其主要原因在于手势交互技术具有其他交互方式不具有的独特优势：(1)改善交互体验。手势交互不需要借助鼠标键盘、手柄等输入设备，允许学习者以自然的方式与虚拟物体进行交互，实现虚拟世界与真实世界之间的无缝连接(Lee & Rhee et al.，2010)。(2)降低认知负荷。手势交互不需要学习者有意识地关注交互过程(Deller et al.，2006)，其操作是基于学习者的日常生活经验(Vuletic et al.，2019)，相较于传统交互方式更加直观，从而大大降低了人机交互的复杂性。(3)促进具身认知。手势交互为学习者的具身参与和交互提供了技术支撑(Sheu et al.，2014)，它可以让学习者通过身体或肢体的运动与虚拟世界中的物体进行交互，实现从离身到具身(Johnson-Glenberg，2018)。已有研究发现，基于手势交互技术的虚拟实验有助于学习者获取知识、掌握动作技能等。Wolski发现，与教师演示、视频教学相比，学习者利用手势交互虚拟实验学习效果最好，尤其是学习迁移能力和问题解决能力(Wolski et al.，2017)。同样，在虚拟学习环境中，手势交互也能够提高学习者的学习效果和运动技能(Hsiao et al.，2017)。之所以会产生这样的效果，可能是因为手势或身体运动会激活负责认知过程的大脑区域(Macedonia et al.，2010)，促进其对科学概念的深度理解(黄红濤等，2018)。

　　2.手势交互虚拟实验中的学习体验研究

　　随着研究的深入，研究者们逐渐开始关注学习者在手势交互虚拟实验中的学习体验(Learning Experience)。当前大部分研究是从人机交互的角度探讨手势交互相较于其他交互方式对学习者学习体验的影响。例如，De Paolis等人的研究发现，当学习者在虚拟环境中使用HTC Vive控制器和Myo腕带两种不同交互方式学习人体解剖结构时，其沉浸感存在显著性差异，学习者使用基于Myo腕带手势交互方式时的沉浸感更强(De Paolis et al.，2019)。Manghisi等人的研究发现，与传统的鼠标键盘交互方式相比，手势交互能够显著增强学习者的参与度(Manghisi et al.，2018)。虽然学界对学习体验的定义尚无定论，但是从体验的内容来看，学习体验是指学习者对学习环境、学习活动和学习支持服务等学习过程中涉及的诸多要素的感知、反应和行为表现(刘斌等，2017)。显然，仅从人机交互角度无法全面说明手势交互虚拟实验对学习者学习体验的影响。因此，为了更全面了解手势交互虚拟实验对学习者学习体验的影响，本研究着重探究学习者在手势交互虚拟实验中的实际经历和感受，尤其是沉浸感、学习动机和态度三个方面。

　　沉浸感是指用户与虚拟环境交互时产生的身临其境的感觉。Sherman等人将沉浸感分为物理/感官沉浸(Physical/Sensory Immersion)和心理沉浸(Mental Immersion)两类(Sherman et al.，2003)。在虚拟环境中，用户利用视觉、听觉和触觉等感官收集信息，经由本体的感知觉系统加工实现自由漫游和操控虚拟对象，从而达到物理沉浸。心理沉浸是指用户在虚拟环境中“深度参与的状态”。这两种类型的沉浸感对提升用户体验有着重要的影响。在虚拟环境中，自由漫游、第一人称视角、真实性以及交互性等都有助于学习者获得沉浸感(Regenbrecht et al.，2002;Mikropoulos，2006)，尤其是交互性(Schubert et al.，2001)。相较于传统的二维交互技术(如鼠标)，具有更高自由度的交互技术在操控虚拟对象上更符合用户的行为习惯(Ware et al.，1988)，沉浸式虚拟环境中交互真实性的增强也能够显著提高用户的沉浸感(McMahan et al.，2012)。还有研究发现，在虚拟实验环境中提供近似真实的交互行为，学习者更可能在学习任务上投入更多的时间和注意力，从而带来更深刻的学习体验(Salzman et al.，1999)。因此，当研究学习者在基于手势交互技术的虚拟实验中的学习体验时，有必要对沉浸感进行测量。

　　探究学习者在虚拟环境中的学习动机是学习体验研究中的另一个重要问题。根据社会认知动机理论，个体的动机通常是情境化的(Linnenbrink et al.，2002)。虚拟现实技术不仅能够最大程度地还原真实情境，而且可以构建现实中不易甚至无法实现的情境(Huang et al.，2010)。因此，利用虚拟现实技术模拟实验能够为学习者提供逼真的实验情境，激发学习者的学习兴趣和学习动机。最近有关虚拟实验的研究也证明了这一点。例如，De Vires 等人的研究发现，虚拟实验能够帮助学习者将理论与实践结合起来，提高学习的积极性和学习动机(De Vires et al.，2019)。Huang等人认为利用虚拟现实技术创设的逼真、互动的学习环境，能够全面提高学习者的学习动机，尤其是提高学习者的内在动机(Huang et al.，2019)。还有研究提及，学习者在利用虚拟现实技术进行空间训练时能够显著增强他们的学习动机(Carbonell-Carrera et al.，2017)。鉴于此，有必要在基于手势交互虚拟实验中对学习者的学习动机进行研究。

　　此外，还有研究发现学习者在虚拟环境中的态度和他们在现实世界中的态度之间存在着重要联系。例如，Asiksoy等人发现学习者在虚拟实验室中进行物理实验的经历能够显著影响他们对待物理课程的态度(Asiksoy et al.，2017)。Pyatt等人发现学习者对虚拟实验表现出积极态度，并且认为虚拟实验能够取代真实实验(Pyatt et al.，2012)。Tussyadiah等人发现用户在虚拟旅行中的沉浸感可能会增加用户访问真实地方的意愿，表明用户在虚拟环境中的感知与他们在现实中的态度和行为之间存在着关联(Tussyadiah et al.，2018)。因此，研究还将调查学习者在使用手势交互虚拟实验时的态度。

　　推荐阅读：虚拟实验项目在模拟电子技术教学中的应用

期刊VIP网，您身边的高端学术顾问

文章名称： 手势交互虚拟实验对学习体验的影响机制

文章地址： http://www.qikanvip.com/lunwen/zonghelunwen/2021/0508/57329.html