摘要：学习参与度是表征学生学习参与情况的重要指标,其自动识别方法是研究如何精确刻画学习效果变化动因及进行智慧教学决策的基础。现有研究已发现,学习参与度同情感投入、行为投入与认知投入存在直接关系,利用人工智能实现自动评估具有合理性与必要性。但相关研究数量有限,且主要聚焦在基于图像模态的表情识别领域。真实教学情境中的学习参与度识别应基于多模态数据的采集与分析,具体来说,可采用基于众包的方法建立多模态数据集,设计多模态融合的深度学习分析模型,并通过一致性检验完善模型的数据验证,以提高识别的准确率。因此,开展深度学习的实验研究具有较强的应用价值。该实验截选了中国大学MOOC网上的三门不同学科的视频片段,招募50位被试进行自主学习,每隔3秒自动记录被试脸部图像、脑电波数据和学习日志,初步建立了含3万余条面部表情图片和脑电波数据的多模态数据集,并基于后期融合策略及卷积神经网络结构中的ResNet架构,构建了一个多模态融合深度学习模型,进行模型训练。实验结果显示:该模型对未知被试的学习参与度预测的准确率可达87%,基于多模态的学习参与度识别方法,要优于基于单模态的学习参与度识别方法。

关键词：深度学习 学习参与度识别 人工智能 多模态融合 注意力 

单位：深圳大学师范学院教育信息技术系; 广东深圳518060