《大数据-数据分析新理念-朱老师》由会员分享，可在线阅读，更多相关《大数据-数据分析新理念-朱老师（47页珍藏版）》请在金锄头文库上搜索。
1、大数据时代与大数据数据分析的新理念 厦门大学数据挖掘研究中心 厦门大学经济学院统计系朱建平 博士、教授、博士生导师http:/xdmrc.org/ 大数据时代与大数据数据分析的新理念 第一部分：大数据与大数据时代一、大数据产生的背景二、国内发展现状三、大数据概念的界定 第二部分：数据分析的新理念四、如何理解大数据和分析大数据 五、大数据对统计学科和统计研究工作的影 响 一、大数据产生的背景1955年 信息公开1965年 摩尔定律1973年 最小数据集1980年 标准数据接口1988年 普适计算2000年 数据驱动1955年，约翰摩斯提出自由信息法草案，几经周折， 直到1965年才被参议院投票通
2、过，直到次年7月4日才被美国总统签字通过。摩尔定律：同一个面积集成电路上可容纳的晶体管数目，一到两年将增加一倍， 亦即计算机硬件的处理速度和存储能力将提升一倍。最小数据集的概念起源于美国医疗领域，指代国家的管理层面针对某个 业务管理领域强制搜集的数据指标。一些领域的最小数据集甚至被上升到立法高度。数据在不同信息管理系统之间的共享也使数据接口的标准化越来越得到强调。返 回主机型计算阶段 （Mainframe Computing ）个人型计算阶段 （Personal Computing ）普适计算阶段（ Ubiquitous Computing）二、国内发展现状近年来，对大数据的研究和应用不仅引起
3、了我国自然科学和人文社会科学界的广泛重视，也受到我国中央政府的高度关注：这些是大数据产业的重要组成部分，与大数据产业发展密切相关。“十二五”国家战略性新兴产业发展规划明确提出支持海量 数据存储、处理技术的研发与产业化物联网“十二五”发展规划提出将信息处理技术 列为四项关键技术创新工程之一2013年2月国家统计局召开的以大数据为主题的工作会议2013年3月26日科研所又举办了“大数据在政府统计工作中的应用研究”课题研究专家咨询会2013年3月4日国家统计局科研所重点讨论部署了“大数据在政府统计中的应用”的研究工作2012年12月国家统计局在上海开展了大数据应用的调研活动2012年11月国家统计局
4、总统计师鲜祖德会见美国华裔大数据专家时，提出国家统计局十分重视大数据在统计中的应 用，并成立了课题组研究如何通过对大数据处理推进统计方法制度改革，改进政府统计工作我国国家统计局科研所于2012年8月就召开了大数据应用研究座谈会，提出了在大数据时代运用现代信息技术建立 统计云架构的研究目标。2013年4月11日，国家统计局总统计师鲜祖德率领大数据课题组赴百度公司调研，就大数据在政府统计中的应用及相 关合作事宜，与百度公司有关领导和专家进行了深入交流2013年5月2日国家统计局科研所青年学术沙龙深入研讨大数据应用2013年8月6日，国家统计局总统计师鲜祖德主持召开了“大数据在政府统计中的探索与应用
5、研究”课题报告座谈会2013年10月28日-29日，“第十七次全国统计科学讨论会”在浙江省杭州市召开。主题是：大数据背景下的统计。 2013年11月19日，国家统计局与阿里、百度等11家企业签署了大数据战略合作框架协议。2013年11月19日下午，国家统计局与上海钢联电子商务股份有限公司、山东卓创资讯集团有限公司、58同城信息技术有限公司、天云融创数据科技（北京）有限公司、中国联合网络通信有限公司、天脉聚源（北京）传媒科技有限公司、百度在线网络技术（北京）有限公司、阿里巴巴（中国）有限公司、纽海信息技术（上海）有限公司、昆明泛亚有色金属交易所股份有限公司和南京擎天科技有限公司共11家企业在京签
6、订了大数据战略合作框架协议，共同推进大数据在政府统计中的应用，不断增强政府统计的科学性和及时性。 大数据在政府统计中的探索与应用2013年10月1日出版 2014年2月25日，国家统计局局长马建堂赴北京市中关村，考察中关村国家自主创新示范区、中关村数海大数据交易平台和京东商城。他说，统计部门要孜孜不倦推动大数据在政府统计中应用，不断加大与各类企业在大数据应用中合作力度，努力打造政府统计数据来源第二轨，使统计数据更加真实准确，为社会提供更加优质统计服务。 2014年3月22日，国家社科基金重大项目大数据与 统计学理论的发展研究开题研讨会在厦门大学举行。中国统计 学会副会长兼秘书长、国家统计局统计
7、科学研究所所长潘璠作为 子课题五大数据下的统计方法实际应用探索的负责人，介绍 了大数据在政府统计中的研究进展及相关应用动态。 2014年4月4日上午，马建堂在浙江省副省长朱从玖的陪同下，来到阿里巴巴集团，对集团的电子商务业务进行调研。听取了阿里巴巴集团近年来业务发展状况和大数据应用情况的报告，深入了解了天猫和淘宝网两个网上零售交易平台的运营模式、商家规模、交易体量、发展速度和大数据业务，与阿里巴巴有关负责人探讨了利用网络平台日常交易产生的大数据完善贸易统计的构想。 2014年5月8日，国家统计局局长马建堂赴上海调研大数据在统计工作中的应用。马建堂强调，统计部门要顺势而为，以更加积极开放的心态拥
8、抱大数据时代，以大数据利用为引擎，助力进一步提升统计数据搜集能力、完善统计制度方法、加强经济形势分析、提高统计数据质量，更好地服务经济社会发展。 2014年5月20日，是北京入夏以来最热的一天。 下午2点多，国家统计局局长马建堂一行来到了位于上地 十街的百度公司调研大数据生产及应用情况。2014年7月9日下午，科研所所长潘璠、数管中心副司级 干部李金宽等一行4人到访中国联通公司，与联通研究院、集团客 户事业部等部门负责人就大数据合作事宜进行深入座谈交流。 2014年8月22日，国家统计局统计科研所所长潘璠一行 ，在深圳市统计局总统计师胡卫东等的陪同下，分别到访总部设 在深圳的顺丰速运有限公司和
9、阿里巴巴一达通企业服务有限公司 ，与企业相关负责人就大数据合作事宜进行深入沟通。 2014年9月27-28日第十五次全国中青年统计科学研讨会日 前在天津财经大学举行，来自全国的统计专家、学者、中青年统计科 研人员、统计工作者及大专院校师生，以“大数据的统计展望”为主 题进行了广泛而深入的交流。徐一帆向大会致辞，国家统计局副局长 、中国统计学会副会长李强作了“全面推进和深化统计改革”的专题 报告，总统计师鲜祖德主持了会议开幕式。 国家统计局2014年9月29日 召开“大数据与统计建模”视频 报告会，来自全国统计建模大赛 的5支获奖代表队就各自利用大数 据进行统计建模的论文成果进行 了主题汇报。国
10、家统计局副局长 、全国统计建模大赛组委会主任 委员张为民要求国家统计局各有 关专业司、各省统计局、国家统 计局各调查总队要充分重视大数 据时代为统计系统带来的机遇和 挑战，深入研究大数据在统计工 作当中的应用，奋力推进统计事 业改革发展。 国家统计局副局长徐一帆 、许宪春、李强，党组纪检组长 高建华，总统计师鲜祖德，总经 济师李晓超一同出席了此次报告 会。 2014年9月30日，国家统计局在京举行大数据应用报告会， 与6家企业签署大数据战略合作框架协议。国家统计局局长马建堂作 重要讲话。他强调，统计部门将携手合作企业共同开发利用大数据 ，共同推进大数据产业化，积极构建由结构化数据和大数据为基础
11、 来源的现代化政府统计，奋力抢占大数据开发应用制高点，生产更 多、更好、更有价值的统计产品，为国家宏观调控、人民生活改善 、社会福祉提升提供坚实数据支撑。 国家统计局与上 海航运交易所、北 京易观网络信息咨 询有限公司、北京 搜房网络技术有限 公司、北京数海科 技有限公司、浪潮 集团有限公司、深 圳市腾讯计算机系 统有限公司共6家企 业签署合作协议。 厦门大学数据挖掘研究中心于2014年6月6日向国 家统计局统计科学研究所提交 厦门大学数据挖掘研究中心 关于合作成立大数据实验室的 建议，倡议联合国家统计局 统计科学研究所和台湾辅仁大 学商学研究所成立“厦门大学 数据挖掘研究中心大数据实验 室”
12、。2014年10月17日正式举 行了揭牌仪式。该实验中心将 联合厦门沸腾网络科技有限公 司，共同推动数据挖掘和大数 据研究与应用。 由中国国家统计局和联合国统计司联合主办的“大数据和官方 统计”国际会议2014年10月28日在京开幕。国家统计局局长马建堂出席会议 并致辞，联合国统计司司长斯特芬施万斯特，联合国大数据全球工作小组 主席、澳大利亚统计局副局长特雷弗萨顿也分别在开幕式上致辞。国家统 计局副局长谢鸿光主持开幕式，副局长李强做主旨发言。这次会议讨论的主要内容包括：大数据和国际统计发展；手机、 全球定位系统和其他跟踪装置；卫星影像和其他地理空间信息；Twitter和 其他社交媒体；网络交易
13、和扫描数据；大数据来源的共性及隐私问题；发展 中国家引入创新；未来之路大数据的应用。来自联合国统计司、联合国全球脉动行动、联合国欧洲经济委员会、联 合国亚太经社会、联合国亚太统计研究所、欧盟统计局、海湾阿拉伯国家合 作委员会统计中心、国际货币基金组织、国际电信联盟、世界银行、万国邮 政联盟等11个国际组织，以及澳大利亚、孟加拉国、加拿大、哥伦比亚、丹 麦、埃及、德国、印度、印尼、爱尔兰、意大利、日本、马来西亚、墨西哥 、摩洛哥、荷兰、阿曼、巴基斯坦、菲律宾、韩国、新加坡、坦桑尼亚、泰 国、阿拉伯联合酋长国、美国、越南和中国等27个国家的近120位代表参加研 讨会。国家统计局局长马建堂 为经济发
14、展新常态提供更加优质的统计保障2015年元旦献辞(2014)研究应用大数据迈出实质性步伐，在价格统计、贸经统 计、建设领域统计、交通运输统计和经济监测分析应用中取得初步成果 。(2015)继续深化重点领域统计改革，不断巩固和拓展统计生产 方式变革成果，加快利用大数据、云计算奋力打造数据生产新兴之轨， 大力推进依法统计，深入开发利用三经普资料，全面启动第三次全国农 业普查，认真做好全国1%人口抽样调查，扎实开展各项常规统计调查， 持之以恒夯实统计业务基础和基层基础，坚决打造廉洁统计，为党和政 府以及社会各界提供更加优质统计服务。 国内各地制定云计算“十二五”规划云计算、物联网园区中国各地制定或公
15、布了云计算、物联网等产业规划；这些工程的初始着眼点在房地产，政 绩工程居多，大数据作为核心内容端，使得政绩工程变为使用工程。云计算、物联网、社交化媒体、GIS为大数据提供了丰富的数据来源。因此大数据中包括 的每个用户的身份、地点、时间、喜好、厌恶、社会关系等等大量的信息。伴随数据挖掘 和分析的技术发展，我们即将步入基于大数据的智能化时代。云计算、物联网从政绩工程变成实用工程 广东省政府于2月26日印发了广东省经济和信息化委员会主要职责内设机构和人员编制规定。规定明确了广东省经济和信 息化委员会16项职责。 根据职责，广东省经济和信息化委员会设21个内设机构，其 中包括成立广东省大数据管理局。
16、其具体职责是：研究拟订并组织实施大数据战略、规划和政 策措施，引导和推动大数据研究和应用工作;组织制定大数据收集、 管理、开放、应用等标准规范;推动形成全社会大数据形成机制的建立和开发应用;承担企业情况综合工作，负责企业数据收集和存储;组 织编制电子政务建设规划并组织实施;组织协调政务信息资源共享;组 织协调省级重大电子政务项目建设，组织协调网上办事大厅等电子政 务一站式服务建设;负责统筹政务信息网络系统、政务数据中心的建 设、管理;统筹协调信息安全保障体系建设;承担信息安全等级保护、 应急协调和数字认证相关工作。2014.10.13福建省人民政府关于支持大数据产业重点园区加快发展十条措施的通知（闽政201452号） 各市、县（区）人民政府，平潭综合实验区管委会，省人民政府各部门、各直属机构，各大企业,各高等院校： 为推动数字福建（长乐）产业园、中国国际信息技术（福建）产业园（以下简称园区）加快建设成为全省大
