《1_大数据的时代背景教学教案》由会员分享，可在线阅读，更多相关《1_大数据的时代背景教学教案（55页珍藏版）》请在金锄头文库上搜索。
1、1,大数据时代的 数据挖掘与商务智能,郭崇慧 教授 大连理工大学 管理科学与工程学院 系统工程研究所,2,数据是宝贵的财富，其中蕴含大量有用的（有助于管理和决策）信息和知识。 计算机和通讯技术的发展，使数据量急剧增加，人类进入大数据时代。收集、传输、存储、整合、分析与挖掘数据的各项技术快速发展。 大数据时代，数据分析与数据挖掘作为一门信息技术，其兴起主要是受数据积累的增长和对数据分析的需求的驱动。,3,在大数据时代，我们共同探讨数据分析与数据挖掘的思想、方法和应用前景。 尽量向大家介绍数据分析与数据挖掘的全貌，给一些资料性的信息。 由于数据分析与数据挖掘涉及的方法广泛，软件、工具、公司太多，
2、应用太广，此次以介绍方法为主。,4,大 纲,大数据的时代背景 商务智能与数据科学 基于统计的传统数据分析技术 数据管理与数据挖掘概论 数据挖掘与知识发现技术 典型应用及案例分析,5,第一部分 大数据的时代背景,大数据的时代背景,从数据谈起 大数据现象与新信息世界观 产业界与学术界的关注 “大数据”对社会发展的影响,6,从数据谈起,数据无所不在,7,“大数据”的时代背景,8,无所不在的数据（1）,国家(省、市)统计局（http:/）,70万家企业联网“直报”统计数据 从2012年2月18日开始，全国70万家“三上“企业和房地产开发经营企业将在统一的数据采集和处理平台上，通过互联网直接向国家数据中
3、心或国家认定的省级数据中心报送统计数据。,10,无所不在的数据（2）,金融数据（http:/ 高频数据：金融市场中的逐笔交易数据和逐秒交易数据。 超高频数据：实时数据,金融大数据的挑战与应对,在以网络化和数字化为基本特征的新经济时代，金融产业日渐回归本质，表现为金融数据流的产生、交换、存储、分析以及使用。 大数据对金融业带来了剧烈的挑战冲击，我国金融机构需要明确大数据战略的顶层设计，加强大数据基础设施建设，实施稳妥的大数据安全策略，方能从容迎接大数据时代。,11,金融业大数据十大趋势,第一、市场数据集变得越来越庞大，业务对数据的细分粒度要求越来越高，以满足预测模型、业务预测和交易影响评估的需求
4、。 第二、新的监管和合规要求更强调治理和风险汇报，推动了全球性金融机构对更深入和透明的数据分析需求。 第三、金融机构不断完善自身的企业风险管理框架，该基于主数据管理策略开发的框架可协助企业提高风险透明度，加强风险的可审性和管理力度。,12,第四、金融服务公司都希望能充分利用各种服务交付渠道的海量客户数据，开发新的预测分析模型，实现对客户消费行为模式进行分析，提高客户转化率。 第五、在巴西、中国和印度等后发展中市场，经济和业务增长机会正在超越欧洲和美国，大量投资被投放到本地和云数据处理基础设施中。 第六、“大数据”在存储和处理框架两方面的优势将帮助金融服务企业充分掌握业务数据的价值，降低业务成本
5、并发掘新的套利机会。 第七、面对“大数据”所带来的不断增加的数据量要求，需要对传统的数据传输工具ETL（提取、转换和加载）流程进行重新设计。,13,第八、大量历史客户支付行为数据的信用风险预测模型正在零售与公司贷款催收中得到大量应用，通过该技术，银行可以通过对不同客户违约和还款资料进行分析，对催收次序进行优化。 第九、随着以平板电脑和和智能手机为代表的移动应用和互联网工具的迅速普及，技术基础设施和网络在对不同来源、不同标准数据进行处理、编索和整合方面的压力不断增大。 第十、“大数据”推动了对数据处理算法的需求，提出对数据安全和访问控制的重视，并可有效降低对现有系统的影响。,14,15,无所不在
6、的数据（3）,在超市中，数据通过条码扫描机获得。这样的“购物蓝”数据库由大量的交易记录组成。 RFID技术与物联网应用,什么是物联网？,全面感知,可靠传输,智能处理,利用RFID、传感器、二维码等 能够随时随地采集物体的动态 信息。,通过网络将感知的各种 信息进行实时传送。,利用计算机技术，及时地对海量的 数据进行信息控制，真正达到了 人与物的沟通、物与物的沟通。,物联网的大数据挑战,物联网不仅仅是传感器，物联网是提供支撑智慧地球的一个基础架构，物联网的存在使这种基于大数据的采集以及分析变成了一种可能，这面临着三项挑战。 物联网的边缘计算。 物联网的中间件。 物联网的运营管理平台。,17,18
7、,无所不在的数据（4）,到2020年，北斗卫星导航系统将拥有35颗卫星（已发射16颗），形成覆盖全球的卫星网络，九省示范应用，LBS。,全球四大卫星导航系统 北斗卫星导航系统 美国的GPS 俄罗斯的格洛纳斯 欧盟的伽利略系统,北斗“三步走”的发展战略,19,GEO（Geosynchronous Eearth Orbit）：地球静止轨道卫星 IGSO（Inclined Geosynchronous Satellite Orbit）： 倾斜轨道同步卫星 MEO（Medium Earth Orbit）：中高轨卫星,大数据与北斗系统,把短信和导航结合，是中国北斗卫星导航系统的独特发明。 北斗卫星导航系
8、统的应用目前逐渐形成规模化、标准化的趋势，已向民用用户全面开放，成功应用于个人位置服务、气象应用、交通管理、运输管理、应急救援、精密授时、精细农业等多个行业。 近期，东南亚四国（泰国、老挝、文莱缅甸）都于中国政府签订协议，采用我国的北斗导航系统，同时中国与巴基斯坦有望在近期签订北斗系统合作协议，成为第五个使用北斗导航的国家。,20,21,无所不在的数据（5）,生物信息学（人类基因组计划） 神经信息学（人类脑计划）,生命科学的大数据时代来临,要解决当前生命科学的问题，需要从时空状态对生老病死进行解读，这就需要大数据，这种大数据揭示的就是大科学，这种大科学就是人类发展史上最大的产业。 生命科学已进
9、入大科学、大数据时代，基因资源是源头。如何去储存这些资源，为未来研究的使用提供基础成为一个关键问题。 为了适应更庞大数据存储、处理、分析与应用的要求，深圳华大基因研究院还和国家超算天津中心、深圳超算中心、广州超算中心等机构展开战略性合作。下一步，将通过云计算的模式来组织存储和处理相关数据。,22,23,无所不在的数据（6）,网络大数据,网络数据即使不是最原始的大数据源，也是使用最广泛、认可度最高的大数据源。网络数据是指用户浏览万维网所产生的日志信息，是等待分析和挖掘的信息宝库。 横跨于大量不同行业中的企业组织已经把那些来自于网站的详细而又处于客户层面的行为数据源整合入它们自身的企业数据分析环境
10、中。,24,大数据（Big Data）,数据不仅在“量”上疯狂的增长着，在“源”上也不断的丰富着。 世界上产生的数据，有近 80% 是由个人用户产生的；据估计，到 2020 年全球将有 500 亿个设备连入网络，地理位置、网络浏览行为、健康数据、甚至基因信息等，都成为技术为个体服务的有效资源，这也意味着商家对每一个用户都将有精准的了解，真正做到与客户的“零距离”接触。 正是这种巨大的商业利益的驱使，使得大数据成为国际一流企业竞相投入使用的竞争利器。,25,大数据现象,An Everest Sized Opportunity！,26,KMGTPEZY K Kilo 1K字节 = 1, 024字节
11、 M Meg 1M字节= 1, 048, 576字节 G Giga 1G字节 = 1, 073, 741, 824字节 T Tera 1T字节 = 1, 099, 511, 627, 776字节 P Peta 1P 字节= 1, 125, 899, 906, 842, 624字节 E Exa 1E字节 = 1, 152, 921, 504, 606, 846, 976字节 Z Zetta 1Z字节 = 1, 180, 591, 620, 717, 411, 303, 424字节 Y Yotta 1Y字节 = 1208, 925, 819, 614, 629, 174, 706, 176字节,容
12、量单位:从K到Y,数据存储单位及换算关系,27,产业界与学术界的关注,麦肯锡咨询公司“大数据”研究报告 “Big data: The next frontier for innovation, competition, and productivity” McKinsey Global Institute, May 2011.,28,高德纳（Gartner）研究与顾问咨询公司,产业界与学术界的关注,Data are becoming the new raw material of business: an economic input almost on a par with capital
13、and labor. 数据正逐渐变成商业所需的原材料之一：一项几乎和资本或劳力一样重要的经济原料。（Feb. 27th, 2010）,29,产业界与学术界的关注,20世纪大萧条以来，美国作为世界强国的开放历史，数据技术浪潮的兴起过程，气势磅礴，波澜壮阔。美国政府为什么能，中国到底缺什么？ “大数据”之“大”，并不仅仅在于“容量之大”，更大的意义在于：通过对海量数据的交换、整合和分析，发现新的知识，创造新的价值，带来“大知识”、“大科技”、“大利润”和“大发展”。,30,2012-7,产业界与学术界的关注,大数据是人们获得新的认知，创造新的价值的源泉；大数据还是改变市场、组织机构，以及政府与公民
14、关系的方法。 大数据的核心就是预测。三个转变。 更多：不是随机样本，而是全体数据 更杂：不是精确性，而是混杂性 更好：不是因果关系，而是相关关系,31,2013-1,产业界与学术界的关注,本书主要介绍了如何驾驭大数据浪潮，并详细地介绍了什么是大数据，大数据为什么重要，以及如何应用大数据。 本书还从具体实用的角度，介绍了用于分析和操作大数据的工具、技术和方法；以及人才和企业文化的角度，介绍了如何使分析专家、分析团队以及所需的分析原则更加高效，如何通过分析创新中心使得分析更加有创造力，以及如何改变分析文化。,32,2013-1,产业界与学术界的关注,爆发：大数据时代预见未来的新思维。 巴拉巴西的研
15、究是在人类生活数字化的大数据时代基础上进行的，移动电话、网络以及电子邮件使人类行为变得更加容易量化，将我们的社会变成了一个巨大的数据库。 巴拉巴西揭开人类行为背后隐藏的模式“爆发”，提出人类日常行为模式不是随机的，而是具有“爆发性”的。,33,2012-6,新信息世界观：物理世界、信息世界、人类社会组成三元世界,34,大数据,共生智能系统中的数据、信息与知识管理,组织与社群：人类集体智能 决策与问题求解,扩展的计算机网络系统：人工智能数据加工平台,可感知的环境与物品：周遭智能（AmI）感知与执行终端,数据、信息、知识流转,共生智能系统： 综合集成,共同解决现实的复杂问题,“大数据”对社会发展的
16、影响,科学研究 第四种范式 公共管理 智慧城市 工业生产与商业经营 大数据产业链与商务智能,36,第四种范式,观察与经验描述与实验、理论建模、仿真与计算等科研模式之后，当代又出现了数据密集型的科研范式。 微软公司于2009年10月发布了The Fourth Paradigm: Data-Intensive Scientific，首次全面地描述了快速兴起的数据密集型科学研究。 “The Next Science Revolution”，Harvard Business Review，November 2010,37,第四范式:数据密集型的科学发现 中文版图书,科学正在进入一个崭新的阶段。在信息与网络技术迅速发展的推动下，大量从宏观到
