《[大数据及其在教育中的应用]大数据技术和应用》由会员分享，可在线阅读，更多相关《[大数据及其在教育中的应用]大数据技术和应用（12页珍藏版）》请在金锄头文库上搜索。
1、大数据及其在教育中的应用大数据技术和应用 ZHUANTIYANTAO专题研讨大数据及其在教育中的应用文陆笪璟摘要现在对大数据的定义有三种，分别从数据体量、复杂性程度、价值这三个角度来界定, 反应了大数据三个最关键的特征。大数据在教育领域的关键应用是教育数据挖掘和学习分析。以后要加强多个的数据库整合，充足利用在线数据开展教育舆情分析等研究，在确保数据安全的前提下和专业数据企业开展合作。关键词大数据数据挖掘学习分析一、大数据的定义和类型1. 定义“大数据”概念第一次发明出来是在2021年9月4日，谷歌成立10年前际，自然推出了大数据专辑，包含八篇大数据专题文章加上一篇编者按。即使该专辑并没有直接提
2、出大数据的定义，不过从互联网技术、网络经济学、超级计算、环境科学、生物医药等多个方面介绍了海量数据带来的挑战。概括而言，科学研究产生的数据集越来越大，而且数据越来越复杂，使得研究人员全部转向依靠数据挖掘工具、在线的团体合作和复杂的可视化技术。每十二个月的研究数据聚合起来形成了大数据资源，依靠研究者本身去花大量精力统计和管理数据已经跟不上发展，科学研究数据的长久管理和维护需要有大机构的支持。不过政府、社会机构对此还没有充足认识，文化还跟不上数据的发展。这组文章的目标是引发各方面对数据管理和分析的重视，指出充足利用数据实际上是需要额外建设大量基础设施、需要经费和资源支持、需要建立标准、需要工具和培
3、训、需要专业的数据支持服务的。1现在对大数据的定义有三种，分别从数据体量、复杂性程度、价值这三个角度来界定什么是大上海教育科研数据。第一次提出大数据的定义而且估量大数据的商业价值的是全球著名咨询企业麦肯锡。2021年麦肯锡全球研究院公布了大数据：创新、竞争和生产力2的下一个新领域研究了数据和文档的规模，同时。分析了处理这些数据能够释放出的潜在价值。麦肯锡对大数据的定义是从数据集的“大致量”入手的：大数据是指那些规模大到传统的数据库软件工具已经无法采集、存放、管理和分析的数据集。麦肯锡有意采取了主观的定义，没有定义多大的数据集才是大数据，因此这个定义中的“大”是动态的概念。她们的假设是，伴随技术
4、的进步，伴随时间的推移，符合大数据界定的数据集大小也将增加。还有，不一样部门对大数据的界定也可能不一样，这取决于她们通常见什么软件，和某个特定产业的数据库是多大的。在考虑这些原因后，很多部门的大数据规模将从几十个TB 到多个PB 。维基百科采纳了麦肯锡的定义，认为大数据是一组庞大而复杂的数据集的集合，大且复杂到难以用现有的数据库管理工具或传统的数据处理应用来处理。3中国学界也采取了这一定义4。德勤咨询技术责任人罗伯特福莱对大数据的5SHANGHAI JIAOYU KEYAN专题研讨ZHUANTIYANTAO来自日常生活，尤其是互联网企业的服务。谷歌天天要处理24PB 的数据，Facebook
5、天天更新的照片超出1000万张10，生成300TB 以上的日志数据，baidu天天大约要处理几十个PB 的数据11。感知数据。传感网或物联网的蓬勃发展是移动大数据的又一推进力。进入移动互联网时代后，平台的感知功效和基于位置的服务普及产生了大量感知数据，各个城市的视频监控每时每刻全部在采集巨量的流媒体数据，工业监控也是大数据的主要，和互联网数据产生了重合。科学试验是科技人员设计的，怎样采集数据、处理数据事先全部已想好了，不论是检索还是模式识别，全部有一定的规律可循。12而网络大数据和感知数据有很多不一样于自然科学数据的特点，包含多源异构、交互性、实效性、社会性、突发性和高噪声等，不仅非结构化数据
6、多，而且数据的实时性强，大量数据全部是随机动态产生。因此通常而言，社会科学的大数据分析，尤其是依据Web 数据做经济形势、安全形势、社会群体事件的预计，比科学试验的数据分析更困13难。需要新的技术来处理分析这些新统计的事件。“复杂性程度大”入手的。她在2021年提定义是从出，过去对大数据的界定关键基于规模，而实际上，规模并不是常规数据和大数据的关键区分。她对大数据的定义是：有用的数据源排列数量巨大，使有用的查询很困难，而且，复杂的相关关系使得排除很困难。大数据的第一个属性是复杂性，大不是数量大，而是复杂性更大。比如一架飞机上有10万个传感器，产生的数据流要查询起来很困难，但它的规模可能没有想象
7、的那么大，1小时的飞行中产生的数据不到3G 。而有些数据集很大，比如媒体流，生成量很大，不过它的结构并不复杂，现在的搜索引擎和数据库工具能够很快将它解析出来。因此媒体流只是数据数量大，但复杂性程度却没有飞机传感器产生的数据那么大。大数据的另一个属性是极难删除，使得隐私成为共同关注的问题。比如，从收费公路数据中清除和某个汽车司机相关联的全部数据几乎是不可能的，假如删除的话，传感器计数的汽车数量将不再和个人的计费统计匹配，也和企业收到的款项不平衡。5中国学者李国杰也指出，大数据往往以复杂关联的数据网络这么一个独特的形式存在。6迈尔-舍恩伯格在大数据时代一书维克托中关键从“价值大”的角度来定义大数据
8、，她认为大数据是当今社会所独有的一个新型的能力：以一个前所未有的方法，经过对海量数据进行分析，取得有巨大价值的产品和服务，或深刻的洞见。大数据是大家在大规模数据的基础上能够做到的事情，而这些事情在小规模数据的基础上是无法完成的。7上海推进大数据研究和发展行动计划对大数据的概念做了较全方面的概括：大数据有三层内涵：一是数据量巨大、多样和类型多样的数据集；二是新型的数据处理和分析技术；三是利用数据分析形成价值8。2. 类型大数据能够依据区分为三种类型。科研数据。以数据为中心的传统学科因组学、蛋白组学、天体物理学和脑科学等 的研究产生了越来越多的数据。比如，用电子显微镜重建大脑中的突触网络，1立方毫
9、米大脑的图像数据就超9过1PB 。自然杂志最早提出大数据概念也是源于非结构化的文本和图像数据、来自多个的数据、大量的数据。3. 对多个问题的了解大数据的门槛到底是多少？多大的数据才达成大数据的门槛是一个随时间改变的概念，在2021年麦肯锡企业对大数据做界定时，因为当初传统数据库有效工作的数据大小通常来说在10-100TB ，所以10-100TB 通常成为大数据的门槛。国际数据企业2021年发表第一份全球大数据技术和服务市场汇报时也把大数据的规模阈值设在100TB 。14伴随数据库分析技术的发展，大数据的门槛也在提升，现在通常认为PB 级以上数据是大数据。15而依据麦肯锡企业的界定，大数据的阈值
10、还和行业部门相关。据麦肯锡企业对美国全部1000人以上的企业或单位的数据库估量，截至2021年，美国积累的教育数据为269PB ，大约为卫生数据的62%，只有制造业的16%，平均到每个教育单位的数据为319TB ，其中大量是视频和音频数据16。现在最大的教育国际比较研究PISA 项目标结果数据库只有多个G ，假如把已6SHANGHAI JIAOYU KEYAN科学研究中产生的大量数据。互联网数据。多年来大数据的飙升关键还是上海教育科研ZHUANTIYANTAO经实施的5轮数据加起来，再加上计算机辅助测试搜集的原始数据，加上个案研究拍摄的视频数据，也只有几百个G 。因此在教育界，TB 级的数据就
11、能够算大数据了。只要数据库规模足够大就是大数据了吗？大数据=海量数据+复杂类型数据。用传统的算法和数据库系统能够处理的海量数据不算大数17人口普查数据库、经济普查数据库、教育比如，据。专题研讨结束时的学生问卷来评价，Hung, J. L. 等开发了一个在线课程评价方法，经过分析一个学生K-12在线课程的学生学习日志，一共有7539名学生在883门注册课程中的23854527份学习日志，结合学生人口特征数据、课程结束时对学生开展的课程评价问卷调查，对学生进行分类，发觉高危学生和高表现的特征，预计学生的成绩，并研究学生表现和对课程满意度的关系。19教育数据挖掘最早也是最普遍的应用是预计学，多年来，
12、教育数据挖掘的应用已经越生表现来越广泛了，介绍将教育数据挖掘的目标概括为20以下4个方面：调查数据库、心理测验数据库等等，全部有严格的结构，即便各级数据、历年数据累积起来达成了较大的规模，但全部是用传统算法和数据库技术就能够处理的，不能算是大数据。大数据的关键特征是什么？大数据的关键特征被概括为4个V ：体量大，速度快，类型杂，价值大，还有些人提出真实性、复杂性。笔者认为，从大数据的定义来看，体量大、关系复杂、价值大是大数据最关键的特征。二、大数据在教育领域的关键应用美国联邦政府教育部技术办公室2021年4月10日公布经过教育数据挖掘和学习分析改善教和学：问题介绍，指出在教育中有两个特定的领域
13、会用到大数据：教育数据挖掘和学习分析。教育数据挖掘应用统计学、机器学习和数据挖掘的技术和开发方法，对教学和学习过程中搜集的数据进行分析，教育数据挖掘检验学习理论并引导教育实践。学习分析应用从信息科学、社会学、心理学、统计学、机器学习和数据挖掘的技术，来分析从教育管理和服务过程中搜集的数据，学习分析创立的应用程序直接影响教育实践。181. 教育数据挖掘早期的教育数据挖掘关键是网站日志数据的挖掘，现在新的计算机技术支持的交互式学习方法和，为量化和搜集学工具生行为数据带来了新的机会。尤其是愈加集成、愈加模块化和愈加复杂化的在线学习系统提供了更多类型的数据，其中包含了数据挖掘算法需要的很多变量。教育数
14、据挖掘能发觉这些数据中的模式和规律，探索建立预计模型，让我们重新发觉和预计学生怎样学习。比如，过去对在线课程的评价关键经过课程上海教育科研元认知和态度*经过创立把学生的知识、动机、结合在一起的学生模型来预计学生未来的学习行为。*发觉或改善学科领域的模型，这些模型能够概括要学习的内容特点和优化的教学步骤。*研究学习软件能够提供的对不一样教学法支持的效果。*经过建立综合了学生模型、领域模型和软件教学模型的计算模型，推进有关学习和学生的科学知识。2. 学习分析学习分析关键包括学业分析、行为分析和预计分析的研究和应用。介绍采纳了Johnson et al 对学习分析的定义，指的是对学生学习过程中产生的
15、大量数据进行解释，目标是评定学业进步、预计未来表现、发觉潜在问题。数据来自学生的显性行为，如完成作业和参与考试；还有学生的隐性行为，如在线社交，课外活动，论坛发帖，和其它部分不直接作为学生教育进步评价的活动。学习分析模型处理和显示的数据帮助老师和学校更加好地了解教和学。学习分析的目标是使老师和学校发明适合每个学生需要和能力的教育机会。21学习分析技术对于学生、老师、管理人员、研究人员和技术开发人员均含有主要价值。对于学生而言，能够从学习者行为角度了解学习过程的发生机制，并用来优化学习，以基于学习行为数据的分析为学习者推荐学习轨迹，开展适应性学习、自我导向学习。对于老师和管理人员而言，能够用来评定课程和机构，以改进现有的学校考评方法，并提供更为深入的教学分析，方便老师在数据分析基础上为学生7SHANGHAI JIAOYU KEYAN专题研讨ZHUANTIYANTAO部门统筹考虑处理的问题。现在，“和社会科学相关的大数据问题，比如舆情分析
