大数据创新课程总结报告

《大数据创新课程总结报告》由会员分享，可在线阅读，更多相关《大数据创新课程总结报告（12页珍藏版）》请在金锄头文库上搜索。

1、n* * * * *创新课程兰州理工大学计算机与通信学院2015年秋季学期修习总传報告专业班级：计算机科学与技术13级4班姓 名：尚磔学号：132404 0 7指导教师：土艳成绩：错误!未定义书签。错误!未定义书签。数据分析与处理概述11数据分析。错误!未定义书签。1 .2数据处理2。算法理论错误!未定义书签。错误!未定义书签。三、算法实现错误!未定义书签。2o 1随机森林算法。错误!未定义书签。2o 2高斯混合模型错误!未定义书签。四、仿真试验结果及分析错误!未定义书签。3o 1随机森林算法 3.2高斯混合模型。错误!未定义书签。错误!未定义书签。错误!未定义书签。4o I随机森林算法 4.

2、 2高斯混合模型五、结束语错误!未定义书签。参考文献错误!未定义书签。数据(Data)是对事实、概念或指令的一种表达形式，可山人匸或自动化装置 进行处理。数据经过解释并赋予一定的意义之后，便成为信息.数据处理(data process i ng)是对数据的采集、存储、检索、加工、变换和传输。本文介绍了多种数据分析与处理的方法，数据分析是指用适、“1的统汁分析方 法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研 究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据 分析可帮助人们作出判断，以便采取适当行动。数据处理的基本口的是从大量的、 可能是杂乱无章的、

3、难以理解的数据中抽取并推导出对于某些特定的人们来说是 有价值、有意义的数据。关键词：数据处理、数据采集、存储、检索一、数据分析与处理概述越来越多的应用涉及到大数据，这些数据的属性，包括数量，速度，多样性 等等都是呈现了数据不断增长的复杂性,所以，数据的分析方法在数据领域就显得 尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于此，数据分析的 方法理论有哪些呢？lo 1数据分析Pred i ctiv e Analyti c Capabi 1 ities （预测性分析能力）数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可 视化分析和数据挖掘的结果做出一些预测性的判断。D

4、ataQu a lit y andM a st e r D a t aM a nageme n t （数据质量和数据管理）数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和丄具 对数据进行处理可以保证一个预先定义好的高质量的分析结果。An al y tic Visua 1 i z at i on s （可视化分析）不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的 要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果.SemanticEn g i nes （语义引擎）我们知道山于非结构化数据的多样性带来了数据分析的新的挑战，我们需要 一系列的工具去解析，提

5、取，分析数据。语义引擎需要被设计成能够从“文档” 中智能提取信息.DataMi n ingAl g orithms （数据挖掘算法）可视化是给人看的,数据挖掘就是给机器看的。集群、分割、孤立点分析还有 其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量， 也要处理大数据的速度。假如大数据真的是下一个重要的技术革新的话，我们最好把精力关注在大数 据能给我们带来的好处，而不仅仅是挑战。lo 2数据处理数据处理时代理念的三大转变:要全体不要抽样，要效率不要绝对精确，要相 关不要因果具体的大数据处理方法其实有很多，但是根据长时间的实践，笔者总 结了一个基本的大数据处理流程，整个处理流

6、程可以概括为四步,分别是采集、导 入和预处理、统计和分析，以及挖掘。采集数据的采集是指利用多个数据库来接收发自客户端的数据，并且用户可以通 过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据 库MySQL和Oracle等来存储每一笔事务数据，除此之外,R e d is和M o ngo D B这样的NoSQL数据库也常用于数据的采集。在数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成 千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量 在峰值时达到上白万，所以需要在采集端部署大量数据库才能支撑。并且如何在这 些数据库之间进行负载均衡和

7、分片的确是需要深入的思考和设计。统计/分析统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的 海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方 面，一些实时性需求会用到EMC的G r ee n P 1 um、Or a c 1 e的E xa d a t a,以 及基于MySQL的列式存储I n fobri g ht等,而一些批处理，或者基于半结构化数 据的需求可以使用Hadoo p。统讣与分析这部分的主要特点和挑战是分析涉及的数 据量大，其对系统资源，特别是I/O会有极大的占用。导入/预处理虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分

8、析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者 分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一 些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部 分业务的实时汁算需求。导入与预处理过程的特点和挑战主要是导入的数据量大, 每秒钟的导入量经常会达到白兆，甚至千兆级别。挖掘与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题， 主要是在现有数据上面进行基于各种算法的计算，从而起到预测的效果，从而实现 一些高级别数据分析的需求。比较典型算法有用于聚类的KMeans、用于统计学 习的SVM和用于分类的Naiv

9、e B aye s ,主要使用的匸具有H adoop的Mahout 等.该过程的特点和挑战主要是用于挖掘的算法很复朵，并且讣算涉及的数据量和 计算量都很大，还有，常用数据挖掘算法都以单线程为主二、算法理论2.1随机森林算法在机器学习中，随机森林(Random Fo r e s t s )是一个包含多个决策树的分类 器，并且其输出的类别是由个别树输出的类别的众数而定。由Le o Br eima n 和Ade 1 e Cutler发展、推论出的算法。这个术语是19 9 5年山贝尔实验室的T in K am Ho所提出的随机决策森林(random de c i s ion for e sts)而来的

10、。这个方法 则是结合 Bre i m a ns 的Bootstrap aggregating想法和 Ho 的” ra n d om subsp a c e method以建造决策树的集合。随机森林算法过程：根据下列算法而建造每棵树：1。用N 来表示训练例子的个数,M表示变量的数目。2o我们会被告知一个数 m ,被用来决定当在一个节点上做决定时，会使 用到多少个变量。m应小于M3.从N个训练案例中以可重复取样的方式，取样N次，形成一组训练集(即 bootstrap取样)。并使用这棵树来对剩余预测其类别，并评估其误差。4 .对于每一个节点，随机选择m个基于此点上的变量。根据这m个变量,计算其最佳的

11、分割方式。5.每棵树都会完整成长而不会剪枝（Pruning）（这有可能在建完一棵正 常树状分类器后会被采用）。2. 2高斯混合模型高斯混合模型和k-mea n s其实是十分相似的，区别仅仅在于GMM引入了概率。高斯混合模型属于统汁学习的模型中的概率模型所谓概率模型，就是指我们要学 习的模型的形式是P（Y X）,这样在分类的过程中，我们通过未知数据X可以获得Y 取值的一个概率分布，也就是训练后模型得到的输出不是一个具体的值，而是一系 列值的概率（对应于分类问题来说，就是对应于各个不同的类的概率），然后我们 可以选取概率最大的那个类作为判决对象（算法分类soft assig n men t ）高斯

12、 混合模型的学习过程就是训练出儿个概率分布,对样本中的数据分别在儿个高斯 模型上投影，就会分别得到在各个类上的概率，然后我们可以选取概率最大的类 所为判决结果.三、算法实现31随机森林算法Trainin g tre e 1/10 0。Tr a ining tr e e 1 0/1 00o .Training t ree 2 0 / 1 0 0 .T ra i nin g t re e 30/ 1 00o .Trai n i ng tree 40/ 1 00.Training t ree 5 0 /10 0 .Tra i ning tr e e 6 0 /10 0 .。T raini n g t

13、ree 70/1 0 0 o .Trai n ing t r ee 8 0 / 100.Tr a ini n g tree 9 0/100o 。Tra i n i n g tree 1 00/100 。Classif i er dis t ributi o n s ：18 8 15 nod e s w e re e mpty an d had n o cla s si f i e r .Classifi e r with id= 1 was used at 0 no d e s CI a ssifi e r with i d =2 was used at 6 685 no d e s.Clas

14、si f i er with id = 3 was u sed a t 0 nodes Cl a ssi f i e r with id=4 was used a t 0 nod e s 3. 2高斯混合模型for (i=0; i K_M0DELS； i+) K_M0D ELS 为预先定义的模型数/ / c alcu late t he vect o r , v 二 (X u )for ( j = 0 ; j dist2 = v 0 * v 0+v 1 *v 1+v 2*v2；/ z o t ：this is o n ly equa1to mah alanobi sdistance/ / w

15、h enc ov a ria nee m atrix = vl/ (v = s c al a r va r i ance for a 1 1 ch a nnel s )mod e -m a h 2 = mo d el-di s t2 / mo d el v ar；/即为马兹距离/ / see if X is clo s e e n o ug h t o this modeli f(mod el-? mah2 ( SFSq u a r ed)brea k ；/ / the c urrent pi x el matches one of the K models/ / SFSquared是预定义的值四、仿真试验结果及分析