《大数据的来源与价值》由会员分享，可在线阅读，更多相关《大数据的来源与价值（44页珍藏版）》请在金锄头文库上搜索。
1、互联网与数据(shj)利用 授课(shuk)人：韩冬梅12021/5/28第一页，共四十四页。大数据(shj)概述01大数据分类（3种划分(hufn)方式）0203大数据(shj)的价值22021/5/28第二页，共四十四页。大数据(shj)概述数据(shj)量 2022 2022 年中国产生的数据年中国产生的数据(shj)(shj)总量超过总量超过0.8ZB0.8ZB（相当于（相当于8 8亿亿TBTB），），2 2 倍于倍于2022 2022 年，相当于年，相当于2022 2022 年全球的数据年全球的数据(shj)(shj)总量。预计到总量。预计到2022 2022 年，中国产生的数据年，
2、中国产生的数据(shj)(shj)总量将总量将是是20222022年的年的1010倍，超过倍，超过8.5ZB8.5ZB。DNETDNET数据中心数据中心20222022：硬件重构与软件定义年度技：硬件重构与软件定义年度技术报告术报告32021/5/28第三页，共四十四页。大数据(shj)概述01大数据分类(fnli)（3种划分方式）0203大数据(shj)的价值42021/5/28第四页，共四十四页。大数据分类(fnli)按产生主体划分最里层：少量企业应用产生的数据关系型数据库关系型数据库中的数据中的数据数据仓库中的数据仓库中的数据数据微博、微信微博、微信电子商务在线交电子商务在线交易日志数据
3、易日志数据呼叫中心评论、呼叫中心评论、留言或者电话投留言或者电话投诉等诉等企业应用的相关企业应用的相关评论数据评论数据应用服务器日志应用服务器日志传感器数据（天传感器数据（天气、水、智能电气、水、智能电网等）网等）图像和视频（摄图像和视频（摄像头监控数据等）像头监控数据等）RFID、二维码或、二维码或条形码扫描数据条形码扫描数据次外层：大量(dling)人产生的数据最外层：巨量机器产生(chnshng)的数据52021/5/28第五页，共四十四页。大数据(shj)分类按数据(shj)来源划分 通过服务器和数据中心数量，以及各行业数据梳理，大致判通过服务器和数据中心数量，以及各行业数据梳理，大致
4、判断国内断国内20222022年一年产生的数据总量以及大致分布，数据主要分布年一年产生的数据总量以及大致分布，数据主要分布在以下行业：在以下行业：1 1、BATBAT为代表的互联网公司。为代表的互联网公司。2 2、电信、金融、电信、金融(jnrng)(jnrng)、保险、电力、石化系统。、保险、电力、石化系统。3 3、公共安全、医疗、交通领域。、公共安全、医疗、交通领域。4 4、气象、教育、地理、政务等。、气象、教育、地理、政务等。5 5、其他，商业销售、制造业、农业、物流和流通等领域。、其他，商业销售、制造业、农业、物流和流通等领域。62021/5/28第六页，共四十四页。阿里巴巴目前保存的
5、数目前保存的数据量为据量为近百近百PB拥有拥有90%以上以上的的电商数据电商数据交易数据、用交易数据、用户浏览和点击户浏览和点击网页数据、购网页数据、购物数据物数据2013数据总量接数据总量接近近一千个一千个PB中文网页、百度中文网页、百度推广、百度日志、推广、百度日志、UGC以以70%以上的搜以上的搜索市场份额坐拥索市场份额坐拥庞大的庞大的搜索数据搜索数据腾讯总存储数据量经总存储数据量经压缩处理以后在压缩处理以后在100PB左右左右数据量月增数据量月增10%大量大量社交社交、游戏、游戏等领域积累的文等领域积累的文本、音频、视频本、音频、视频和和关系类数据关系类数据添加标题百度(bid)BAT
6、为代表(dibio)的互联网公司大数据分类按数据来源(liyun)划分72021/5/28第七页，共四十四页。电信行业用户上网记录用户上网记录、通话通话、信息信息、地理位置地理位置运营商拥有的运营商拥有的数据数量都在数据数量都在10PB以上以上年度用户数据年度用户数据增长增长约数十约数十PB开户信息数据开户信息数据，银行网点和在线银行网点和在线交易数据、自身交易数据、自身运营的数据运营的数据金融系统每年产金融系统每年产生数据达生数据达数十数十PB保险系统保险系统数据量也接近接近PB级别电力与石化仅国家电网采集仅国家电网采集获得的数据总量获得的数据总量就上就上10个个PB级别级别石油化工、智能石
7、油化工、智能水表等领域每年水表等领域每年产生和保存下来产生和保存下来的数据量也达到的数据量也达到数十数十PB级别。级别。金融(jnrng)与保险电信、金融、保险、电力(dinl)、石化系统大数据分类按数据来源(liyun)划分82021/5/28第八页，共四十四页。公共安全北京：北京：50万个万个监控摄像头，监控摄像头，每天采集视频每天采集视频数据量数据量约约3PB整个视频监控整个视频监控每年保存下来每年保存下来的数据的数据在数百在数百PB以上以上仅广州中山大学仅广州中山大学医院医院2013年数据年数据量为量为1000个个TB整个医疗卫生行整个医疗卫生行业一年能够保存业一年能够保存下来的数据就
8、可下来的数据就可达到达到数百数百PB交通航班往返一次能航班往返一次能产生数据就达到产生数据就达到TB级别级别列车、水陆路运列车、水陆路运输产生的各种视输产生的各种视频、文本类数据，频、文本类数据，每年保存下来的每年保存下来的也达到也达到数十数十PB。添加标题医疗卫生公共安全、医疗(ylio)、交通领域大数据(shj)分类按数据(shj)来源划分92021/5/28第九页，共四十四页。气象与地理中国气象局保中国气象局保存的数据约存的数据约45PB，每年，每年约增约增数百个数百个TB各种地图和地各种地图和地理位置信息每理位置信息每年年约数十约数十PB北京市政务数据北京市政务数据资源网涵盖旅游、资源
9、网涵盖旅游、教育、交通、医教育、交通、医疗等门类，一年疗等门类，一年上线公布了上线公布了余个余个数据包数据包政务数据多为结政务数据多为结构化数据构化数据政务(zhngw)与教育气象、教育、地理(dl)、政务等领域大数据(shj)分类按数据(shj)来源划分102021/5/28第十页，共四十四页。9、 人的价值，在招收诱惑的一瞬间被决定。2024/8/31 2024/8/31 Saturday, August 31, 202410、低头要有勇气，抬头要有低气。2024/8/31 2024/8/31 2024/8/31 8/31/2024 10:17:52 AM11、人总是珍惜为得到。2024/
10、8/31 2024/8/31 2024/8/31 Aug-24 31-Aug-2412、人乱于心，不宽余请。2024/8/31 2024/8/31 2024/8/31 Saturday, August 31, 202413、生气是拿别人做错的事来惩罚自己。2024/8/31 2024/8/31 2024/8/31 2024/8/31 8/31/202414、抱最大的希望，作最大的努力。31 八月 20242024/8/31 2024/8/31 2024/8/3115、一个(y )人炫耀什么，说明他内心缺少什么。八月 242024/8/31 2024/8/31 2024/8/31 8/31/20
11、2416、业余生活要有意义，不要越轨。2024/8/31 2024/8/31 31 August 202417、一个人即使已登上顶峰，也仍要自强不息。2024/8/31 2024/8/31 2024/8/31 2024/8/31112021/5/28第十一页，共四十四页。9、 人的价值(jizh)，在招收诱惑的一瞬间被决定。2024/8/31 2024/8/31 Saturday, August 31, 202410、低头要有勇气，抬头要有低气。2024/8/31 2024/8/31 2024/8/31 8/31/2024 10:17:52 AM11、人总是珍惜为得到。2024/8/31 20
12、24/8/31 2024/8/31 Aug-24 31-Aug-2412、人乱于心，不宽余请。2024/8/31 2024/8/31 2024/8/31 Saturday, August 31, 202413、生气是拿别人做错的事来惩罚自己。2024/8/31 2024/8/31 2024/8/31 2024/8/31 8/31/202414、抱最大的希望，作最大的努力。31 八月 20242024/8/31 2024/8/31 2024/8/3115、一个人炫耀什么，说明他内心缺少什么。八月 242024/8/31 2024/8/31 2024/8/31 8/31/202416、业余生活要有
13、意义，不要越轨。2024/8/31 2024/8/31 31 August 202417、一个人即使已登上顶峰，也仍要自强不息。2024/8/31 2024/8/31 2024/8/31 2024/8/31122021/5/28第十二页，共四十四页。商业销售(xioshu)、制造业、农业、物流和流通等领域大数据分类按数据来源(liyun)划分其他传统行业线下商业销售、农林牧渔业、线下餐饮、食品、科研、物流运输等行业数据量剧增行业数据量还处于积累期，整个体量都不算大，多则达到PB级别，少则百TB甚至数十TB级别。制造业制造业的存储数据类型：产品设计数据：以文件为主，非结构化，共享要求较高，保存时
14、间较长。企业(qy)生产环节的业务数据：数据库结构化数据生产监控数据：数据量非常大132021/5/28第十三页，共四十四页。大数据分类(fnli)按存储形式划分 大数据不仅仅体现(txin)在数据量大，也体现在数据类型多。如此海量的数据中，仅有20%左右属于结构化的数据，80%的数据属于广泛存在于社交网络、物联网、电子商务等领域的非结构化或半结构化的数据。142021/5/28第十四页，共四十四页。大数据分类按存储形式(xngsh)划分结构化数据(shj)即行数据(shj)，可用二维表结构来逻辑表达实现主要存储在关系型数据库中先有结构再有数据，结构一般不变处理起来较方便152021/5/28
15、第十五页，共四十四页。大数据分类按存储形式(xngsh)划分非结构化数据(shj)相对于结构化数据而言，不方便用数据库二维逻辑表来表现非纯文本类数据，没有标准格式包括所有格式的办公(bngng)文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息存储在非结构数据库中非结构化WEB数据库：突破了关系数据库结构定义不易改变和数据定长的限制162021/5/28第十六页，共四十四页。大数据分类按存储(cnch)形式划分半结构化数据(shj)介于完全结构化数据和完全无结构的数据之间格式较为规范，一般都是纯文本数据包括(boku)日志数据、XML、JSON等格式的数据一般是自描述的，数据的
16、结构和内容混在一起，没有明显的区分数据模型主要为树和图的形式。172021/5/28第十七页，共四十四页。新周刊微博案例(nl)分享作为(zuwi)国内新锐媒体代表的“新周刊”是新浪微博的第一批受益媒体，他们开通了新浪微博后，截止到2022年11月19日，粉丝数已经达到了878966人，发表微博6488条。封新城新周刊主编、媒体微博交相(jioxin)呼应截止到2022年11月，封新城的微博粉丝数已接近36万182021/5/28第十八页，共四十四页。都市快报微博案例(nl)分享微博话题征集(zhngj)：都市快报通过在新浪微博上进行写给100岁新中国的信，并通过整版选取内容刊登，极富新意版面
17、整体合作：推出微生活栏目(lnm)，此栏目(lnm)是都市快报和新浪网合作推出的版面。微生活的内容来自新浪微博。微生活和读者分享的则是一周微博热议、微博语录、热文微议等精彩内容。192021/5/28第十九页，共四十四页。南京(nnjn)零距离微博案例分享微博节省沟通成本(chngbn)，新闻发布更为便捷，让团队的协同工作更为快速202021/5/28第二十页，共四十四页。厕所(csu)没有纸了怎么办？212021/5/28第二十一页，共四十四页。谁最先报道(bodo)了绵阳地震？222021/5/28第二十二页，共四十四页。11除70的商的小数点后面(humian)的第200位上的数字是几？
18、232021/5/28第二十三页，共四十四页。大数据(shj)概述01大数据(shj)分类（3种划分方式）0203大数据(shj)的价值242021/5/28第二十四页，共四十四页。大数据(shj)在宏观经济管理领域的应用IBM日本公司建立了一个经济指标预测系统(xtng)，它从互联网新闻中搜索出影响制造业的480项经济数据，再计算出PMI预测值，准确度相当高。印第安纳大学学者利用Google提供的心情分析工具，根据用户近千万条短信、微博留言中预测道琼斯工业指数。准确率高达87%。淘宝网建立了“淘宝CPI”，它通过采集、编制淘宝网上390个类目的热门商品价格来统计CPI，它比国家统计局公布的C
19、PI还提前半个月预测经济的走势。252021/5/28第二十五页，共四十四页。大数据(shj)在农业领域的应用Google前雇员创办Climate公司，从美国气象局等数据库中获得几十年的天气数据，将各地的降雨、气温和土壤状况及历年农作物产量做成精密图表，从而能够预测美国任一农场下一年的产量。任何一个农场主去他那里问明年种什么能卖出去、能赚钱，他能告诉你，说错了他保证赔偿，赔偿比保险公司还要高，到现在为止他还没有赔过。通过手机上农产品“移动支付”数据、“采购投入”数据和“补贴“数据分析，可准确预测农产品生产趋势，政府可依此决定出台激励措施和确定合适的作物(zuw)存储量，还可为农民提供服务。26
20、2021/5/28第二十六页，共四十四页。大数据(shj)在商业领域的应用沃尔玛基于每个月4500万的网络购物数据，并结合社交网络上有关产品的大众评分，开发(kif)机器学习语义搜索引擎“北极星“，方便浏览，在线购物者因此增加10%-15%，增加销售十多亿美元。当顾客在超市买东西时，通过手机定位，可以分析他们在货柜前停留时间的长短，从而判断顾客对什么感兴趣。不仅仅是通过手机定位，实际上美国有的超市在购物推车上也安装了位置传感器，根据顾客在不同货物前停留时间的长短来分析顾客可能的购物行为。在淘宝网上买东西时，消费者会在阿里的广告交易平台上留下记录，阿里不仅从交易平台把消费记录拿来自己使用，还会把
21、消费记录卖给其他商家。272021/5/28第二十七页，共四十四页。大数据(shj)在金融业的应用华尔街某公司通过分析全球3.4亿微博账户留言来判断民众情绪，人们高兴的时候会买股票，而焦虑的时候会抛售股票，它通过判断全世界高兴的人多还是焦虑的人多，依此决定公司股票的买入或卖出。阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和诚信经营的企业，给他们提供贷款(dikun)，并且不需要这些中小企业的担保。目前阿里公司已放贷上千亿元，坏帐率仅0.3%。2022年年底，四大商业银行的坏账率为1%左右，尽管四大银行要求有担保，但坏账率仍然比阿里高出3倍。282021/5/28第二十八页，共四十四页
22、。大数据(shj)在银行业的应用实现(shxin)方式第一步，利用移动互联网技术，定位功能确定商圈，目前已实际覆盖全国161个商圈，累计服务千万人次。第二步，利用用户活动轨迹追踪(zhuzng)，确定高价值商圈，设计业务。第三步，再利用大数据进行客户需求的体验分析，既包括客户的需要，也包括客户的体验（即用户需要相对于用户意义、目的、情感的关联），最终实现用户体验的LIKE曲线。中信银行将客户使用信用卡加油与吃饭的信息关联起来进行分析，通过数据的挖掘，卡中心发现，在周末18：00之前加油的客户，有60%会去吃饭；再结合LBS信息，分析客户就餐区域，发现其中70%有去中心城区吃饭的习惯。于是信用卡
23、中心与中心城区的汉拿山烤肉店合作，在每个周末17：30的时候，向驶出加油站的客户，打出这样的手机广告：物超所值，美味、环境优雅，价格适中，朋友聚会的理想场所，持中信卡可享五折优惠！信用卡服务292021/5/28第二十九页，共四十四页。大数据(shj)在保险领域的应用1、电话营销利用数据挖掘对过去电话访谈、成交记录建立预测模型，找出有购买(gumi)意愿的潜在客户4、交叉销售美国保险公司利用数据挖掘技术对不同客户的消费(xiofi)特征进行分析，制定交叉销售策略，保证公司是在最能给公司创造收益的客户集中地地区运营2、欺诈分析利用历史数据，寻找影响保险欺诈最为显著的因素及量化取值区间，建立预测模
24、型，快速将理赔案件依照欺诈可能性进行分类处理，协助无问题案件快速通过5、续保率维持澳大利亚的保险公司利用数据挖掘工具对客户忠诚度、客户细分和客户保持进行分析，以减少客户流失3、客户体验太平洋寿险发布大数据客户体验指数（DEO指数），其基于客户与公司线上线下互动产生的全量数据，DEO指数根据销售、售后服务、理赔三大领域，诚信、品质、效率、期望值四个维度，选取保险监管部门确定的行业标准12个服务评价定量指标，以及公司重点关注的另外8个客户体验指标，以报告期积累的全量实际数据为基准值计算得出。2022年各渠道与客户交互数为2432万人次。电话和柜面两大传统服务渠道占比达81%，新兴移动渠道占比迅速攀
25、升。客户关注的十大热点为退保利益、退保手续、分红利益、产品咨询、续期交费状态、生存金领取手续、出险报案、续期交费凭证、续期交费时间期次、理赔责任保险领域数据挖掘应用现状数据挖掘应用现状302021/5/28第三十页，共四十四页。大数据在保险领域(ln y)(ln y)的应用保险领域应用方案应用方案(fngn)架构架构312021/5/28第三十一页，共四十四页。大数据在保险(boxin)领域的应用保险(boxin)领域应用方案应用方案示例：示例：社交媒体信息交叉验证欺诈行为交叉(jioch)验证322021/5/28第三十二页，共四十四页。大数据(shj)在医疗卫生领域的应用Google通过用
26、户搜索与流感相关词汇的频率(pnl)，判断某个地方可能会发生流感。2022年在甲型H1N1流感爆发的几周前，Google就做出预测，而且还判断出了流感是从哪里来的。332021/5/28第三十三页，共四十四页。大数据(shj)在医疗卫生领域的应用根据麦肯锡的报告(bogo)，医疗大数据的分析将为美国产生3000亿美元的价值，减少8%的国家医疗保健支出。342021/5/28第三十四页，共四十四页。大数据在医疗卫生领域(lny)中的应用医疗服务的交付方式将发生重大变革，从患者对医生信息的获取，到医生对患者的诊疗，到出院后的康复和回访，数字医疗的冲击将贯穿整个过程诊疗过程也会有巨大变革，国外已经有
27、公司在运营专门的远程医疗医院。美国某医疗机构，完全通过远程的方式提供在线问诊服务。而移动医疗对诊疗过程带来的影响更是重大，通过可穿戴设备、植入式设备，方便获取病人实时体征信息，这个在以前是不可能或者成本高昂，对于病情诊断意义重大。而体征获取传感器与植入式治疗设备的配合对于部分疾病的治疗将有划时代的意义。移动网络、社交媒体会改变颠覆医疗活动中各角色的地位，现在病人已经可以通过多渠道信息，对医生处方提出质疑。未来基因技术的进展和消费级基因测序的普及也将对行业产生重大影响，基因测序的成本迅速下降，未来每个人只要愿意都可以拥有自己的基因测序结果。女星安吉丽娜-朱莉，通过检查发现自身携带致癌基因BRCA
28、1，其患上乳腺癌及卵巢癌概率为87%，通过乳腺切除降低概率到5%。移动医疗是推动健康管理的重要手段，近期大火的大姨吗便是抓住了女性群体的特定(tdng)健康管理的需求。352021/5/28第三十五页，共四十四页。大数据(shj)在社会管理中的应用广东东莞通过统计当地食盐销售量与上年同期比较，判断农民工数量的变化。这与电信运营商根据活跃移动用户数的变化所推出的数据几乎相当。根据手机用户从这个路口到那个路口所花费的时间，可以判断马路上是不是流量比较多，是否拥堵。根据有多少个手机在同时移动，大致可以了解发生突发事件时的人流聚集情况，还可以通过手机的注册地进一步分析机主究竟是从哪里来的。腾讯为每个微
29、博用户建立了档案，可以从微博帖子分析用户的性格(xngg)，提前关注可能引起社会不稳定的因素。362021/5/28第三十六页，共四十四页。大数据在智能搜索(susu)中的应用Web1.0信息分发技术连接信息Web2.0信息交互技术连接人Web3.0语义技术连接知识Web4.0智能应用技术连接智能在电影中加入(jir)Google知识图谱的InfoCard后，当用户暂停了正在播放的影片之时，程序就会弹出在该在画面显示的人物个人信息，包括实名、出生地点、岁数、角色名称、他/她曾演出的电影，以及在GooglePlay上跟他/她相关的内容。372021/5/28第三十七页，共四十四页。大数据在电信运
30、营电信运营(ynyng)管理管理中的应用据Sybase分析报告，在利用大数据挖掘提升企业销售额方面，电信业在所有行业中名列第一，人均产值提升达到17%，大数据正在成为运营商发展的新动力。Smartfren是印尼本土最大的CDMA运营商，2022年5月，Samrtfren大数据精准营销系统正式上线。在系统商用最初的两个月，依托新型的大数据营销平台，实现(shxin)了对目标市场和目标客户群的精准细分，利用主动营销、事件营销、触点营销等丰富的营销手段，有效开展市场营销活动，使Smartfren的营销转化率提高到6.6%，月利润增长了3.1%，离网率降低到0.8%，运营效益显著提升。中国联通基于对用
31、户上网数据的分析给出详细账单，避免了收费的纠纷，同时准确掌握基站的忙闲。382021/5/28第三十八页，共四十四页。大数据在电信运营电信运营(ynyng)管理管理中的应用392021/5/28第三十九页，共四十四页。大数据在电子商务(dinzshnw)中的应用某用于为电子商务网站提供商品推荐服务的电商推荐系统。是一个基于大数据技术实现的软硬一体系统，它以数据挖掘、分析为基础，收集网站访客的点击信息，并结合消费者相似的群体行为，模拟传统卖场的销售人员向顾客提供商品推荐，一方面帮助访客找到所需信息，同时还可以通过推荐系统来提高网站的点击率和用户的忠诚度。兰缪内衣(niy)采用其商品推荐系统之后，
32、销售转化率提升了15%30%;而采用百分点的推荐服务的库巴网站其电子邮件推送服务打开率超过了70%，销售转化率也达到了14%以上。402021/5/28第四十页，共四十四页。大数据在电子商务(dinzshnw)中的应用1号店利用对大数据的分析给顾客发送个性化EDM。若顾客曾经在1号店网站上查看过一个商品而没有购买，则有几种可能：a）缺货，b)价格不合适，c)不是想要的品牌或不是想要的商品，d)只是看看若在顾客查看时该商品缺货则到货时立即通知顾客；若当时有货而顾客没有买就很有可能是因为价格引起的，则在该商品降价促销时通知顾客；同时，在引入和该商品相类似或相关联的商品时温馨告知顾客另外，通过挖掘顾
33、客的周期性购买习惯，在临近顾客的购买周期时适时的提醒顾客。淘宝在2022年推出了淘宝时光机该应用通过分析顾客自注册为用户以来的行为，用幽默生动的语言告知顾客淘宝的成长，和该用户相类似喜好的其他用户的统计行为，对该顾客经过分析后对其喜好的了解和对其行为的预测，等等(dndn)。用生动的文稿和个性化的数据、拉近了和顾客的距离Google的Adsense对顾客的搜索过程和其对各网站的关注度进行数据挖掘并在其联盟内的网站追踪顾客的去向，在联盟网站上推出和顾客潜在兴趣相匹配的广告，精准化营销，提高转化率412021/5/28第四十一页，共四十四页。大数据(shj)在的经济价值用于医疗，美国认为每年节省约
34、3000亿美元的开支。用于管理，欧洲认为会产生2500亿欧元的效益。用于服务业，服务提供者利用全球个人(grn)定位数据可以获得6000亿美元的年度盈余。用于零售业，可以增加60%的运营利润。用于制造业，可以减少50%的设备装配成本。422021/5/28第四十二页，共四十四页。谢谢(xixie)！432021/5/28第四十三页，共四十四页。内容(nirng)总结互联网与数据利用。中国气象局保存的数据约45PB，每年约增数百个TB。15、一个人炫耀什么，说明他内心缺少(qusho)什么。先有结构再有数据，结构一般不变。版面整体合作：推出微生活栏目，此栏目是都市快报和新浪网合作推出的版面。电话和柜面两大传统服务渠道占比达81%，新兴移动渠道占比迅速攀升。Google通过用户搜索与流感相关词汇的频率，判断某个地方可能会发生流感。某用于为电子商务网站提供商品推荐服务的电商推荐系统。43第四十四页，共四十四页。
