深度学习支持下多模态学习行为可解释性分析研究

　　[摘 要] 当前，学习行为分析已成为研究热点。基于大数据技术挖掘学生的学习行为特征，能为学习过程的改善、学习评价的优化提供重要依据。然而，现有研究却存在分析数据类型单一、实时性不强、结果准确度不高、缺乏可解释性等问题。文章从利用深度学习算法进行多模态学习分析入手，采用HDRBM(Hybrid Deep Restricted Boltzmann Machine，深度混合判别受限玻尔兹曼机)神经网络模型，建立多模态学习分析模型，为教育技术领域中利用多模态大数据挖掘学习者行为特征提供了新范式;接着从可解释性分析的角度，阐述利用深度学习算法进行多模态学习行为分析的算法设计与实现过程;通过实验表明，研究中所采用的方法与技术路线对提高学习行为分析的可解释性有较好成效。

　　[关键词] 深度学习; 多模态; 学习行为分析; 可解释性

　　一、引 言

　　人工智能、大数据、物联网等新一代信息技术的迅速发展和深入应用，给社会各领域带来了巨大的变革，同时也对教育教学产生了深远影响，推动新时代智慧教育的产生与发展。当前，基于智慧教育环境的研究重点逐渐从学习平台开发、资源与内容设计、传统普适性研究、应用模式与实证探究等转向基于行为全过程分析的精准助教与评价研究上。学生个体千差万别，其行为表现一定程度上反映了学生的学习风格、心理特征和情感特征，通过智慧课堂感知系统、教学管理平台采集学习行为过程数据，并通过大数据技术挖掘学生行为特征，能为学习过程的改善提供重要依据。

　　目前，已有的学习行为分析大多针对各类在线教学平台采集的数据进行分析，数据来源单一、分析指标简单，学生学习行为研究呈现较大的局限性和割裂感(如Abdelrahman等人[1]、Eradze等人[2]、姜强[3]、黄昌勤[4]等)。随着传感器、可穿戴设备、眼动仪和脑电仪等智能信息技术的发展，学习分析领域有了新的突破，研究者逐渐意识到，只有尽可能捕捉学生学习全过程数据(包括声音、视频、表情、生理等多模态数据)，才能更加全面准确地了解学习过程，挖掘学生学习规律，拓宽学习行为分析研究的深度与广度，多模态学习分析研究应运而生。

　　多模态学习分析通过语音、图形图像、肢体与面部表情等识别技术，充分捕捉或感知各种信息，通过对这些多模态数据的统一表征，从而更准确地判定学情[5]。国内主要以北京师范大学、华东师范大学、华南师范大学等师范大学研究团队为主，从学习科学的角度进行多模态学习分析，研究主要集中于理论探讨(如穆肃[6] 、汪维富[7])、框架搭建(如周进[8]、张琪[9]、牟智佳[10]、李卿[11]等)，较少从计算机科学、数据科学等视角将理论应用于实践，深化研究。

　　国外有关多模态学习分析的研究较国内成熟，研究多结合机器学习方法，围绕学习行为建模、模态传感器建模、算法模型以及新技术的介入等形成系列研究。如挪威科学技术大学的研究者收集了自适应学习活动中学习者的多模态数据，并采用模糊集定性比较分析(fsQCA)方法来描述学习者参与模式与学习绩效的关系[12]。Vicente等人提出了基于物联网技术和可穿戴设备实时监测数据的可穿戴教育物联网(WIoTED)系统，并使用机器学习技术和多模態学习分析方法来构建能够“解释”学生参与度的模型。该研究基于一组相关变量选择决策树和规则系统，获得的规则很容易被非专业人士解释[13]。

　　学习分析多考虑数据的“源息性”问题，收集哪些数据、采用何种方法分析以全面、准确地体现学习者的全部特性[14]。可见，学习分析多关注数据的准确性、全面性，而可解释性在传统技术上很难实现，近几年才越来越受到关注。可解释性，是指可以在观察的基础上进行思考，最终合理地得出事物变化的原因、事物之间的联系和事物发展的规律的一种性质。如Kaur等人采用局部可解释不可知模型(LIME)，通过在本地训练可解释模型，以可解释的方式分析预测模型[15]。有研究者采用LSA(滞后序列分析法)[16]、K-Means算法[17]等解释了学习行为与学习成绩之间的变化关系，有助于研究者对学习行为的过程与机理的了解。

　　本研究基于多模态数据(包括各类学习平台、教室视像信息和各种传感器信息等)，将最大限度采集发生在各种时空维度割裂的学习行为数据结合关联起来，以教育心理学和行为科学为依据，构建能更贴近真实的学习情境的学习行为数据模型。然后在数据模型上提高数据分析的可解释性，使得人们不仅知道分析的结果，也清楚结果产生的原因，从而更有针对性地为学生提供指导与帮助，进而提高学生学习成效。

　　二、基于深度学习算法的多模态

　　学习行为数据分析模型研究

　　学习行为分析是一个复杂的高维的分析过程，传统分析方法对多模态数据分析比较困难，大数据与智能算法的出现，给学生学习特征分析、教育大数据挖掘提供了新方法。本文提出利用深度学习算法进行多模态学习分析，为教育技术领域中利用多模态教育大数据挖掘学习者行为特征提供了新范式。

　　(一)深度学习支持下的学习行为分析模型设计

　　深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对文字、图像和声音等数据的解释有很大的帮助。构建面向多模态学习行为数据的大数据采集框架，采集实时的课堂、实验室和教学平台等时序多模态数据，根据数据模态特征及因素特点，对多模态学习行为数据进行清洗与预处理，再使用智能算法进行浅层特征分析，然后将他们进行归一化与深度融合。依据高维数据处理需求构建一种新型的流形深度学习分析模型，对深度融合的多模态数据进行分析。鉴于HDRBM(Hybrid Deep Restricted Boltzmann Machine，深度混合判别受限玻尔兹曼机)神经网络具有降维、分类、回归、协同过滤、特征学习以及主题建模等优势，集合了目前主流深度学习的特征提取、高精度和速度等优点，是目前最适合处理多模态数据的深度学习框架。因此，本研究中运用HDRBM神经网络处理智慧学习环境下多模态学习行为数据，以此建立多模态学习行为分析模型(如图1所示)，并进行学习者行为特征分析。

期刊VIP网，您身边的高端学术顾问

文章名称： 深度学习支持下多模态学习行为可解释性分析研究

文章地址： http://www.qikanvip.com/jidianyitihua/60641.html