《大数据环境下的数据挖掘技术分析及若干研究》由会员分享，可在线阅读，更多相关《大数据环境下的数据挖掘技术分析及若干研究（4页珍藏版）》请在金锄头文库上搜索。
1、大数据环境下的数据挖掘技术分析及若干研究技术在快速进步，现今时期内的网络正在深入生活，网络体现出重要的意义。从本质上看，大数据不仅代表了日益增长的数据量，同时也表现出更复杂的数据关系。增长的过程中，达到特定规模的数据量将会发生质变。大数据的具体类型包含了视频和文本等信息【1】。对于信息搜集以及处理等，也应当确保更快的处理速度。大数据环境下，数据挖掘的相关技术具备了独特的技术优势，然而同时也面对新阶段的技术挑战。面对新阶段的新环境，有必要给出数据挖掘的特定技术流程以及技术方式。结合现阶段面临的挑战，给出完善思路。一、数据挖掘在大数据环境下的重要价值面对信息化的新时期，各行业都不可缺少数字化技术作
2、为支持。最近几年，互联网正在快速普及，在这种基础上也诞生了云计算和物联网的相关技术。在当前形势下，全球范围内的网络技术正在加快发展，爆炸式的数据增长趋势也因此变得更明显。信息化冲击着各个行业，传输信息的方式也在相应改变。信息化形势下，对于信息形成、信息运用以及信息共享都可以做到有效的整合【2】。在企业发展中，大数据起到了不可忽视的作用，同时也汇聚了各个层面的物力和人力。从信息化角度看，企业在整合处理各类的数据时都需要借助电子化的方式。针对大量的资源和信息，应当符合交互式的处理方式和数据传输方式。数据化处理可以为企业提供精确的决策依据，因此也创造了更高层次的生产效能。云计算方式能够用来处理实时的
3、数据，从而减少了整体投入。随着技术进步，云计算技术正在变得更成熟。与此同时，云计算也配备了信息化的新式平台。这样做，在根本上确保了信息化的效能提高。在当前时期内，大数据代表着全新的发展阶段。这是因为，大数据技术可以用来筛选数据、存储数据或者调用数据，这些步骤和流程都不必耗费额外的资源。从行业本身来看，数据交换以及信息交易的总数都变得更大，因此也构建了规模更大的数据库。针对存储量很大的数据库，应当经过筛选和分类，提取必需的信息数据。这样做，就可以为各类用户提供必需的信息。由此可见，大数据环境中的数据挖掘具备更高的价值，有必要深入探析数据挖掘的相关技术方式【3】。二、现今阶段的技术难点从技术构架来
4、看，数据库表现出更复杂的技术架构，因而也增加了整体数据库的管理难度。在传统模式下，数据库能够用来处理较低层次的数据，然而针对较高层次的信息数据并不能给予很好的处理。最近几年，数据总量正在增大，数据库管理也相应改变了常用的流程和模式。近些年，分布式的全球数据库也被创造出来，在这种形势下亟待扩展整体的处理规模，以此来适应现今阶段的数据处理。然而应该注意：传统数据库仍缺乏相应的分区和类型，非结构化的倾向十分明显。从实时性来看，数据处理中的实时性需求正在变得更强，用户希望获得实时的处理方式和技术。最近几年，数据库表现出智能性和商业化的整体趋势，因此也相应提高了实时性的需求。针对各类型的信息，用户都有必
5、要给予实时的解析和处理。大数据的整体背景有别于传统背景，这是因为智能式的商业处理方式正在被推广采用。因此，如果仍沿用常用的处理流程，那么很难符合新阶段的实时处理需要【4】。从硬件和软件的存储方式看，传统类型的软硬件也不再满足需求。现今时期内，数据处理达到了更大的总量。与此相应，在信息保存的过程中也应当符合更高层次的精确性需求。数据量不断增大的状态下，只有配备高性能的软硬件，才能够给予必要的保障。实际上，软件更新的整体速度仍较慢，无法适应现有的形势。从技术分析的具体方式看，传统方式的数据分析特指结构化的分析。经过分析之后，就可以归纳得到全面的体系，确保实效性的处理。然而，大数据形势下的各行业数据
6、总量都变得更大，因此也挑战了常用的分析方式。三、数据挖掘的技术优势首先，数据挖掘符合了更强的实效性，满足实时的处理。信息技术的新时期内，不同类型的数据也蕴含了更多的知识价值。大数据环境下，数据分析更多表现为线性处理，这种趋势符合了新阶段的处理需求。如果选择了大数据这种处理形式，那么优先选择数据挖掘的相关技术方式。这是由于，数据挖掘可以运用于流处理的过程，从而也确保了批量式的处理。针对大数据而言，业务处理也在客观上需要设置实时性的处理框架，以此来满足实效性的新需要。其次，在动态环境下，数据挖掘设置了特定的索引类型，能够符合动态变化的环境。从关系数据库的角度看，索引可以加快整体的检索速度。然而，传
7、统类型的数据检索只设置了较少的几类索引【5】。近些年来，大数据的具体种类正在不断增多，这种形势下创建的索引就必须具备更简洁的特征，同时也必须符合高效化的整体要求。在数据挖掘中，索引形式是多样的，并且可以实时调整。因此，大数据环境中的索引形式应当更新，这样做才能便于提高实时查询的效率。第三，大数据环境中的数据挖掘还具备丰富的先验知识。传统模式的数据分析通常选择了关系型的信息存储，这种模式隐含了先验知识。具体而言，在探求特定对象的属性时，首先就需要明确可以取到的数值范围。在进入分析之前，有必要初步了解这种取值范围。然而，大数据包含了更多的非结构性信息，因此在客观上也要求构建与之匹配的内部数据关系。
8、数据是实时性的，因此并不具备先验知识。针对这种问题，数据挖掘也可以给予妥善的处理。四、具体技术实现在新的环境下，数据挖掘技术受到了更多行业的认可和接受，同时也逐渐扩展了应用范围。大数据环境下，数据挖掘具体可以划分为数据遗传、神经网络算法、粗糙集的算法、决策树算法等类型。现今社会中的信息呈现爆炸的趋势，数据挖掘因此也逐渐具备了独立性，构成了独立学科。用户运用分类技术，就能够针对特性类型的数据和信息予以分类，然后进入数据挖掘的过程中。由此可见，数据挖掘更加符合了大数据的特定环境和背景【6】。具体而言，数据挖掘的方式和技术手段包含了如下：1.构建矩阵模型存储大数据过程中，应当构建精确的矩阵模型。在建
9、模的基础上，才能够适当运用数据挖掘的方式。针对不同来源的数据，也需要给出各异的处理方式。传统处理方式下，通常构建单一的数据库，用来存储信息并且分析信息。实际上，这种方式在具体落实时也很困难，因为不同类型的信息包含了繁杂的内容。大数据环境下，依照数据挖掘的思路，相关人员可以尝试构建相关的数据模型。这样做，就能够在根本上确保通用性，数据模型也能够容纳更多的数据内容。矩阵模型属于三维模型，模型具备立体性，因此更加便于数值分析。2.设置关联规则如果要顺利进行数据挖掘，那么先要挖掘关联规则。从特定属性来看，关联规则通常是隐含在属性内部的，是不可以预知的。对于此，只能依照选择的统计方法来实现。从兴趣度的角
10、度看，关联规则通常取决于置信度和支持度这两个指标。为了达到平衡，用户就应当给出最小的置信度和支持度数据。数据挖掘的具体方式可以用来实现可靠的关联规则，建立必要的存储模型，用这种方式来集中表达关联规则。3.聚类算法的运用针对高维的空间，通常可以构建特定的聚类算法。为了详细区分不同类型的超图，数据挖掘选择了区分投影的方式。选择这种方式，能够细化不同类型的算法，进而也提高了算法整体的精细度。利用数据挖掘，实现了更优的超图划分，聚类计算得到的结果也表现得更加精确【7】。结论大数据背景下，数据库更需要数据挖掘作为支持。通过数据挖掘，能够筛选并且获得可利用的数据信息，满足新阶段的用户需求。经济在不断增长，
11、然而与此同时资源消耗的总量也相应变得更大。大数据可以用于多领域的数据挖掘，因此也在根本上改变了原有的处理过程和处理方式。面对剧烈的市场竞争，数据挖掘的新方式也可以用于更广的领域，同时也起到了更大作用。未来的实践中，相关人员还需要结合大数据的特定背景，不断修正并完善现今阶段的数据挖掘手段。只有这样，才可以为各行业提供必要的决策依据，服务于数据挖掘的整体质量提高。参考文献【1】朱东华,张嶷,汪雪锋等. 大数据环境下技术创新管理方法研究. 科学学与科学技术管理,2013（04）:172-180.【2】王兰成,刘晓亮. 网上数字档案大数据分析中的知识挖掘技术研究. 浙江档案,2013（10）:14-19.【3】李海林.大数据环境下的数据挖掘课程教学探索.计算机时代,2014（02）:54-55.【4】卢建昌,樊围国. 大数据时代下数据挖掘技术在电力企业中的应用. 广东电力,2014（09）:88-94.【5】黄取治. 大数据环境下O2O 电商用户数据挖掘探讨. 湖南科技学院学报,2015（05）:122-124.【6】杜钢虎. 大数据时代背景下数据挖掘技术刍议. 电子技术与软件工程,2015（14）:221.【7】田祥宏,陈正宇. 大数据环境下的高维数据挖掘技术研究. 自动化与仪器仪表,2016（03）:100-101.主要从事计算机应用技术教学与数据库技术的应用研究。
