《大数据数据挖掘技术应用研究》由会员分享,可在线阅读,更多相关《大数据数据挖掘技术应用研究(5页珍藏版)》请在金锄头文库上搜索。
1、大数据数据挖掘技术应用研究大数据数据挖掘技术应用研究 2019/12/09 摘要:大数据时代数据挖掘技术在多个领域都有所应用,数据挖掘技术将高性能计算、机器学习、人工智能、模式识别、统计学、数据可视化、数据库技术以及专家系统等多个方面的知识融合在一起,能够快速在海量信息中挖掘出潜在的、有价值的内容。那么,在大数据时代下究竟该如何应用数据挖掘技术呢?文章笔者将对数据挖掘的基本方法进行分析,探讨该技术的应用策略。关键词:大数据时代;数据挖掘技术;应用数据挖掘是一门新兴的学科,其诞生于20世纪80年代,其主要面向商业应用的人工智能研究领域,从技术角度来说,数据挖掘就是从大量的复杂的、不规则的、随机的
2、,模糊的数据中获取隐含的,受众事先没有发觉的、有潜在价值和知识的过程。1数据挖掘的基本分析方法在数据挖掘技术应用过程中,分析方法可以说是其最为基础和核心的内容,借助科学可靠的算法才能更好的实现数据挖掘,理清数据中潜在的各种规律,使所挖掘的数据作用得到最大限度的发挥,通过不同的分析方法,可以解决不同的问题,当前最为常用的数据挖掘方法主要有聚类分析、特征数据分析法、关联性分析等。下面,笔者将结合自身的理解和认识,对不同分析方法进行详细的论述。1.1聚类分析法所谓的聚类分析就是将各种数据对象按照其作用、功能及特性等进行聚类分组,然后形成板块,这样可以快速的将毫无逻辑的数据变成具有一定联系性的分组数据
3、,然后再对这些分组数据进行分析和利用,进一步挖掘出具有一定价值的数据,发挥数据的作用价值。但是需要注意的是该数据分析方法虽然可以快速的对数据进行分组,但是其缺陷也十分的明显,即难以较好的结合数据类别、属性等对数据进行分类,因此该分析方法应用比较多的领域主要是心理学、统计学和数据识别等领域。1.2特征性数据分析法在大数据时代下,网络数据每秒钟都是快速更新,数据爆炸式发展已经成为时代发展的趋势,数据资源的普及和应用范围可谓是越来越广泛,但是面对网络爆炸式数据,如何快速的搜寻出使用者所需要的数据,发挥相关数据的作用和价值就是一件值得思考的事情了,而特性分类逐渐发展成为当前数据整理分类的主要内容。在应
4、用特征性数据分析方法时,还有多种方法是通过计算机来实现虚拟数据分类的,专业的计算机工作者可以寻找数据之间存在的普遍规律然后完成数据的特性分析,在此基础之上进行下一步的分类。1.3关联性分析法网络上的数据形形色色,千奇百怪,有的数据发布者为了保护数据往往会实施各种加密方法使得数据具有一定的隐蔽性,这样可能就很难通过普通的数据分析法对相关数据进行挖掘和利用,而要解决该问题则可以通过关联性分析法完成对于数据信息的关联性识别,进而快速的获取有效数据,帮助人力完成对各种数据分辨的任务,相较于其他的数据分析方法来说,这种分析方法实际上带有很强的目的性,因此往往适用于对数据精准度要求相对比较高的信息管理工作
5、。2数据挖掘技术的应用实际应用中数据挖掘技术的具体流程就是先通过对海量数据的保存,然后对保存好的数据进行分析、整理、选择和转换等。数据的准备工作是数据挖掘技术的基础前提,前期准备工作的好坏也直接决定了数据挖掘技术的效率及质量。在数据准备工作完成之后工作人员需要进一步对数据进行挖掘,在挖掘的基础之上对数据进行评估,然后达到应用目的。数据挖掘技术可以应用于多个方面,其挖掘的结果可以参与到政府、企业和个人的决策中,数据挖掘的社会价值得到了最大限度的发挥,其不断改变着人们的生活方式,而文章结合笔者自身的工作经验,尝试分析数据挖掘技术在高校中的应用,其具体如下所示。2.1数据挖掘技术在高校管理中的应用高
6、校管理涉及到了多个方面的内容,如学生在校的学习和生活中都涉及有管理方面的内容,数据挖掘技术在高校管理中的内容主要包含有高校招生录取、贫困生选择以及优秀学生和班干部的评比等工作。从高校管理的角度来说,其每年的招生工作是学校可持续发展的重要环节,招生质量高低直接影响到了高校教学质量以及未来的发展动向,而将数据挖掘技术应用到高校的招生管理工作中,可以快速有效的对学生高考成绩、志愿填报方式以及生源地基本情况等进行多方面的信息整合与汇总,这样可以更加科学的对学生情况进行评估,为学校选取更久优质的生源,促进高校的长远发展建设。数据挖掘技术应用的具体步骤就是通过对数据的收集和预处理,建立相关的数据模型,然后
7、借助分类算法,提取和挖掘最为有价值的信息,对所挖掘的数据进行存储,以备后期使用,贫困生选择以及优秀学生和班干部评选中也可以应用这种方式进行数据挖掘处理。2.2数据挖掘技术在高校课堂教学评价中的应用教学评价是教育教学工作的重要组成部分,其能够帮助教师深入的了解学生的学习情况,分析教学中存在的不足,并在后期的教学中及时的进行调整,这样能够有效的提升教育教学质量,而在高校课堂教学中评价也是不可或缺的。数据挖掘技术在高校课堂教学评价系统中的应用主要也是借助关联分析法,对各种数据进行挖掘和利用。在实际工作中首先需对数据进行预处理,数据的预处理是数据挖掘技术的关键所在,如果预处理操作不当则会直接影响到数据
8、挖掘技术的应用效率。数据预处理中需要将教师的基本信息、教学所教授课程以及教师的职称、学历、学生信息以及学生课表相关的信息进行数据初始记录,然后再实际教学中对相关数据进行分析处理,达到科学合理评价的目的。2.3数据挖掘技术在高校学生信息管理系统中的应用在互联网技术的支持之下,高校学生信息管理系统得以成功的构建,该管理系统有助于学校各种重要信息的公布和搜索,该系统中管理要素主要是学校的领导、专业课教师、学生以及家长。信息系统的主要功能则应当包含,对不同的用户设置不同的使用权限;针对学生的基本信息以及浏览管理网站的记录要做到明确记录;各个学院不同专业的学生课程则应当可以公布并允许学生根据实际情况修改
9、的信息;学生成绩管理的录入和修改等功能。数据挖掘技术在高校学生信息管理系统中的应用主要借助的是决策树的方法。2.4数据挖掘技术在高校图书馆信息系统中的应用图书馆是高校的重要组成部分,图书馆内拥有海量图书资源其对于学生的学习发展有着极为重要的促进作用,那么在教育教学中该如何有效发挥这些图书资源的作用,使其能够为学生所用呢?数据挖掘技术的诞生给图书馆资源的应用提供了更加广阔的空间,如数据挖掘技术可以快速的对图书馆内不同类型的图书资源进行分类处理,了解学生的图书借阅情况,以及当前学校图书馆现有资源利用的基本情况,分析哪些图书在学生心目中最受欢迎,这样也可以为图书馆未来的发展建设提供更加可靠的方向,一
10、定程度上来说,数据挖掘技术使得及图书馆资源得到了最大程度的优化整合,高校图书馆的价值得到了有效的发挥。3数据挖掘技术应用注意事项大数据时代下数据挖掘技术虽然在高校的多个领域得到了有效的应用,给高校师生的学习和生活提供了较多的便利,但是数据挖掘技术在实际应用中还有较多需要注意的事项,首先要保证数据的安全性,防止数据被泄露,高校数据涉及到了多种师生信息,这些信息一旦被泄露,可能会给师生的正常生活带来一定的困扰,因此在数据挖掘技术应用过程中,要注意做好信息的存储与处理工作,降低数据泄露风险。同时,数据挖掘技术在应用过程中对于计算机设备以及技术人员的应用能力水平也有一定的要求,如果计算机设备落后,技术
11、人员的应用水平比较差,因此在应用数据挖掘技术之前,还需及时的更新落后的计算机设备,保证各项设备软件都是最新的,同时还需定期对技术人员进行培训,这样也可以更好的发挥数据挖掘技术的作用价值。总之,数据挖掘技术是计算机网络技术进步的重要表现,其能够高效快捷的从海量数据中挖掘出人们想要的隐藏信息,该技术在金融、管理、教学等多个行业都有所应用,其推动了相关产业的发展,解决了传统技术搜索中存在的不足,满足了人们多元化的信息需求,而未来大数据挖掘技术的应用面必将会越来越广泛。参考文献1鄢泽然.大数据时代的数据挖掘技术与应用J.现代营销(经营版),2019(2):122.2刘铭,吕丹,安永灿.大数据时代下数据挖掘技术的应用J.科技导报,2018(9):73-83.3李华,张井玲,刘婷婷.大数据时代下数据挖掘技术的应用研究J.现代信息科技,2019(13):132-133,136.4曹诚诚.大数据时代的数据挖掘技术分析J.数字技术与应用,2017(12):202-203.