基于深度神经网络的协作学习交互文本分类方法 摘要：有效的协作学习可显著改善教学质量，而对协作学习过程的实时分析、监控和干预是促进协作学习行为有效发生的关键，这有赖于对协作学习交互文本的精准分类为避免人工编码和传统机器学习方法分类效果欠佳的不足，采用基于深度神经网络的卷积神经网络（CNN）、长短时记忆（LSTM）、双向长短时记忆（Bi-LSTM）等模型构建面向协作学习交互文本的分类模型，以Word2Vec作为词向量，提出了包含数据收集整理、文本标签标注、数据预处理、词嵌入、数据采样、模型训练、模型调参和模型评价等步骤的协作学习交互文本自动分类方法以知识语义类、调节类、情感类、问题类和无关信息类等作为交互文本的类别划分，对51组大学生所产生的16047条协作学习交互文本进行分类后发现：Bi-LSTM模型的分类效果最好，其整体准确率为77.42%；各文本分类模型在问题类、无关信息类交互文本上的准确率较低；CNN模型和LSTM模型在问题类交互文本上的分类效果更佳该方法在面向协作学习的知识掌握度评估、学习活动维持、消极学习情绪干预、学习预警与提示等方面具有较高的应用价值关键词：协作学习，深度学习，深度神经网络，交互文本，文本分类基金项目：国家自然科学基金青年项目“基于教育知识图谱的协作学习交互分析关键技术研究”（61907003）；北京师范大学教育学部2019年度学科建设综合专项资金资助（2019QNJS010）。
一、引言协作学习是指学生以小组形式参与，为达到共同的学习目标，在一定的激励机制下最大化个人和他人习得成果而互助合作的一切相关行为（黄荣怀，2003）协作学习因不受时空限制、灵活有效的优势而成为学习的重要方式其作为促进学生问题解决、知识建构和合作交流等高阶技能发展的重要手段，显著提高了教育的质量和效果（琳达哈拉西姆等，2015）Dillenbourg等（2007）指出，不应泛泛地研究“协作”，而应深入地研究“交互”，因为交互是理解协作学习本质的关键目前，许多研究通过对交互文本的分类来分析学习者的交互行为、认知、情感倾向以及批判性思维如柴阳丽等（2019）将协作学习交互文本分为信息共享、协商讨论、综合评论、新问题的产生、新问题的讨论、新问题的总结等六个类别，据此提出对话改进策略冷静等（2018）把协作学习者的批判性思维编码为五类，即辨识、理解、分析、评价和创新，进而发现参与协作学习有助于学生批判性思维的提高由此可见，对协作学习交互文本进行精准、高效地分类是提升协作学习效果的重要基础，且对于教师的实时反馈和干预也具有重要意义和价值然而，已有研究在对协作学习中的交互文本进行分类时，大多采用人工编码或传统机器学习的方法。
例如，郝祥军等（2019）在对4844条协作学习交互文本进行分类时，首先对编码人员进行编码规则培训，而后采用两人一组背对背的方式进行编码，并对编码结果进行一致性检验，最后再通过协商确定有争议文本的编码Zhang等（2019）选取一元语法（Unigrams）、二元语法（Bigrams）和文本长度等作为交互文本的特征，依据学习者贡献类型将协作学习交互文本划分为提问、引用、立论和阐述等四类由此可见，已有的协作学习交互文本分类方法的人工依赖性较强且在分类结果的产生上具有滞后性，还会因未能对交互过程文本进行语义层面的特征表示而导致分类准确率较低因此，如何对协作学习交互文本进行精准分类是目前亟待解决的问题随着自然语言处理（Natural Language Processing，NLP）技术的日渐成熟，利用计算机对人类特有的书面形式和口头语形式的自然语言信息进行处理和加工的能力不断增强（冯志伟，1997）研究表明，基于深度神经网络和预训练词向量的文本分类方法表现优良（宗成庆等，2019）深度神经网络（Deep Neural Network，DNN）是有多个隐藏层的多层感知机（Multi-Layer Perceptron，MLP），由输入层、隐藏层和输出层组成（Seide et al.，2011）。
深度神经网络能够从大量的原始数据中自动提取高层特征并有效表征输入空间，使得其在多个领域表现良好（Sze et al.，2017）因此，本研究采用深度神经网络构建协作学习交互文本分类模型，以对协作学习过程中产生的交互文本进行实时精准分类，进而为协作学习的实时分析和监控提供支撑二、文献综述1.协作学习交互文本分类研究对交互文本进行分类，不仅有助于快速了解学习者在进行交互时的言语特征、行为特征、交互模式和进展状况，还能够捕捉学习者在进行交互时的情感倾向和知识建构模式在协作学习领域，相关研究主要围绕协作学习的言语交互类型和交互行为类型展开例如Rafaeli等（1997）对协作学习过程中的言语交互类型进行分析后，将其分为单向交互、双向交互和互动式交互，其中单向交互是指一位学习者发出信息而其他学习者没有应答；双向交互是指一位学习者发出信息后其他学习者发出应答信息；互动式交互是指一位学习者发出信息后，其他学习者应答并引起下一轮的交互此外，针对交互过程中的行为特征，也有研究从信息交流序列、知识建构和学习资源等视角出发，采用人工编码的方式对交互行为进行分类例如Capponi等（2010）基于交互行为的序列特征将协作学习中的交互行为分为信息交换、矛盾冲突、协商、达成共识、忽视他人意见、问题解决、帮助信息、教师评价等八类。
Hou等（2011）把协作学习的知识建构行为分为知识相关类、任务协调类、社会交往类、跑题类等四种Lee等（2011）收集11位研究生在为期6周的异步协作学习过程中产生的662条文本数据，将其分为社会协调、学习资源、学习资源整合利用等三类2.协作学习交互文本的分类方法研究除采用人工编码的方法外，也有研究采用机器学习算法对协作学习文本进行分类例如，Xie等（2018）基于57名美国大学生在为期16周的课程学习中产生的4083条讨论记录，使用逻辑回归（Logistic Regression）和自适应增强（AdaBoost）算法将其分为领导者信息和常规信息，以识别学生在学习过程中的领导力行为，基于这两个算法自动编码结果的F1值分别为68.6%和72.2%Liu等（2017）基于6650名K-12教师在学习平台OPOP上持续4个月参与协作学习所产生的17624条数据，以词频-逆向文件频率（Term Frequency-Inverse Documnt Frequency，TF-IDF）作为词向量进行文档表示，并使用朴素贝叶斯算法将其分为技术描述、技术分析、技术反思、个人描述、个人分析和个人反思等六类，以实现对教师反思思维等级的预测。
Tao等（2018）开发了包含可视化协作学习交互文本自动分析功能的主意线索地图工具，可根据贡献类型，利用支持向量机、朴素贝叶斯等算法将交互文本自动分为提问、引用、理论描述和阐述等四类，以帮助学生监控任务进展、个人贡献度和协作网络关系，从而达到提升学习效果的目的综上所述，目前对协作学习交互文本的分类多采用人工编码和传统机器学习算法两种方式在使用人工编码方式进行文本分类时，人工依赖性强且无法进行实时分类；在采用传统机器学习算法进行文本分类时，选取的文本特征较为单一，且难以捕捉文本上下文语义信息，导致文本分类准确率较低3.计算机领域文本分类技术研究现状传统机器学习领域中的文本分类方法主要包括三个步骤，即特征工程、特征选择以及分类算法选择（Kowsari et al.，2019）在特征工程中多选用词袋、词频-逆向文件频率、词性标注、名词短语（Lewis et al.，1992）等作为文本特征为剔除特征工程中的噪声，需要进行特征选择，所采用的主要方法有去停用词、L1正则化（Ng，2004）和互信息（Cover et al.，2012）等常用的机器学习分类算法有逻辑回归、朴素贝叶斯和支持向量机等然而，传统机器学习中的文本分类方法存在数据稀疏、计算资源浪费大等问题。
深度学习算法因其能够避免由于数据稀疏、人工提取特征而导致的偏差，被广泛应用于文本分类任务中（Zhang et al.，2015）基于深度学习算法的文本分类方法优化研究主要从词向量的表示和分类模型的构建两个方面对原有方法进行改进例如，Kim（2014）基于Google新闻预训练所获得的1000亿个Word2Vec词向量，通过变化词向量的形式（即随机初始化、单通道传统Word2Vec、单通道训练后的Word2Vec、双通道词向量）构建了4个卷积神经网络（Convolutional Neural Networks，CNN）变体模型，并在电影评论（二分类）、斯坦福情感资料库（五分类）、斯坦福情感资料库（二分类）、主客观句库（二分类）、顾客商品评论（二分类）、MPQA两极评论（二分类）等6个数据集上进行文本分类实验，发现各模型分类结果的F1值在45.0%到89.6%之间Lai等（2015）为避免人工设计文本分类的特征和规则，构建了双向循环神经网络（Recurrent Neural Network，RNN）和最大池化层的组合模型，使用RNN模型提取文本的上下文信息，并基于最大池化层自动提取对文本分类起关键作用的词语，并在20-Newsgroups、Fudan Set、ACL Anthology Network和Sentiment Treebank等4个公开数据集上进行了分类实验，其分类结果的F1值在32.70%到93.12%之间。
Li等（2018a）提出了基于优化的TF-IDF和加权Word2Vec的文本表示模型，并结合卷积神经网络对文本进行分类，实验语料为网易新闻语料库（六分类）的24000篇新闻和复旦文本分类语料库（八分类）的7691篇新闻，其分类结果的F1值分别为95.85%和96.93%Vargas-Caldern等（2019）基于波哥大市民在6个月内产生的263万余条推特文本数据，使用Word2Vec作为词向量，进行文本聚类以发现有共同话题的市民Jang等（2019）基于12万余篇新闻文章和29万余条推特文本数据，使用Word2Vec作为词向量，CNN作为分类器对数据进行是否相关的二分类研究，并对两种词向量训练方式（即Continuous Bag-of-Words和Skip-Gram）的分类精度进行了比较，结果表明使用Continuous Bag-of-Words词向量训练方式的新闻文章分类结果的F1值为93.51%，而使用Skip-Gram训练方式的推特文章分类结果的F1值为90.97%此外，也有研究者通过构建更优的神经网络模型来提升文本分类模型的效果例如，Joulin等（2016）提出采用FASText方法进行文本分类，结果表明其具有训练速度快、耗能较低等优点。
Felbo 等（2017）提出了基于Embedding层、双向长短时记忆（Bidirectional Long Short-Term Memory，Bi-LSTM）模型和注意力机制的DeepMoji模型，将Embedding层和Bi-LSTM作为输入以得到文档的向量表征，再将向量输入到softmax层以得到在各分类标签上的概率分布，进而获得分类结果Yao等（2019）采用图卷积网络（Graph Convolutional Networks，GCN）模型，通过构建包含词节点和文档节点的大型异构文本图，并利用Co-occurrence信息对全局词语进行建模的方式，基于对节点的分类得到文本分类结果表1 协作学习交互文本的类别划分及示例类别子类编码子类描述示例0-知识语义类0-1阐述知识内涵问题解决的策略包括算法式和启发式0-2进行举例。