大数据的基本概念和简介

《大数据的基本概念和简介》由会员分享，可在线阅读，更多相关《大数据的基本概念和简介（2页珍藏版）》请在金锄头文库上搜索。

1、大数据简介和应用大数据简介：大数据是规模非常巨大和复杂的数据集，传统数据库管理工具处理起来面临 很多问题，比如说获取、存储、检索、共享、分析和可视化，数据量达到 PB、 EB或ZB的级别。大数据有三个V, 是数据量(Volume),数据量是持续快速 增加的；二是高速度(Velocity)的数据I/O；三是多样化(Variety)数据类型和 来源。随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。支撑大 数据以及云计算的底层原则是一样的,即规模化、自动化、资源配置、自愈性。 大数据的处理流程数据采集数据统计分析数据挖掘1. 数据采集：利用多种轻型数据库来接收发自客户端的数据，并

2、且用户可以通过这些数据 库来进行简单的查询和处理工作，具有并发性高的特点。经常使用的产品有： MySQL， Oracle， HBase， Redis 和 MongoDB 等，并且这些产品的特点各不 相同2. 统计分析：将海量的来自前端的数据快速导入到一个集中的大型分布式数据库或者分布 式存储集群，利用分布式技术来对存储于其内的集中的海量数据进行普通的 查询和分类汇总等，以此满足大多数常见的分析需求。会面临：导入数据量 大，查询涉及的数据量大 ，查询请求多的挑战。3. 数据挖掘： 基于前面的查询数据进行数据挖掘，来满足高级别的数据分析需求，这一步 面临算法复杂，并且计算涉及的数据量和计算量都大的

3、难题。一般使用R/SAS 等统计软件。 大数据在各个领域的应用咨询业：IBM对50000名咨询顾问的档案建立了数学模型，从而计算机可以 对不同的项目自动挑选出最合适的团队。广告业：硅谷的最优边界公司对网上广告提供了优化服务，对每一条网上广 告都可以计算出反应率和投资收益率市场营销业：UMBRIA公司通过数值计算选择博客网站上应该跳出来的广 告产品，通过向量数学，可以确认汉堡王的广告的确对年轻人的目标客户最 有效媒体业：纽约的 INFORM 公司运用几何学原理将文章根据单词和词组进行 转换，存入虚拟图书馆，然后根据读者档案挑选出最适合读者阅读的文章提 供给读者社交网络：社交网络产生了海量用户以及

4、实时和完整的数据，同时社交网络 也记录了用户群体的情绪，通过深入挖掘这些数据来了解用户，然后将这些 分析后的数据信息推给需要的品牌商家或是微博营销公司。 IBM的大数据战略基于“3A5步”动态路线图，IBM提出了 “大数据平台”架构。该平台的四 大核心能力包括Hadoop系统、流计算(StreamComputing)、数据仓库(Data Warehouse)和信息整合与治理(Information Integration and Governance)。如下图所示。自括BL面左礼高迈廿 丰匕冈脸号巧昭釧斤 .Web和数字廿桁等和用显佳兰可视化记 合，板克、提脈尹肓分析应用程席BI/探剽他能住f

5、亍业隔刃内容撮吿可收比曲用应曲廿折廿折和洱予杭和应用桎序 加迤器.加快实现怖 值壬連度IBM大数据率台应用程臨幵岌廿朽施数唏礼激增旳 大型数歸.获得实时加連器HadoopIBM大数据平台和应用程摩框架很经讦豆薮旳方式廿 折PB騷B?结枸化fo 非结t?比依尸(I息整合与治厘云计鬥|移初应用丨安全性:击连数三d旱井管理信、怠生時同朋厂利冃走进旷数伺库內 分析和运营分析, 提共蕊入,逅春2012 IBM CinMraton；多重挑战及我们的应对首先，如何将数据信息与产品和人相结合，达到产品或服务优化是大数据商 业模式延展上的挑战之一。张夏天认为，大数据对算法和计算平台的挑战加 大，计算开销大增。总量上升，质量下降，这是大数据带来的重大挑战。 其次，数据大爆炸下，怎样挖掘这些数据，也面临着技术与商业的双重挑战。大数据时代，很大程度上将通过数学建模来实现数据的采集分析和挖掘，我 们将发挥数学建模的专业特长，培养数据分析能力和团队协作能力，了解不 同数据的背景知识，应对挑战和机遇。