《大数据及其在排水领域应用的思考》由会员分享，可在线阅读，更多相关《大数据及其在排水领域应用的思考（36页珍藏版）》请在金锄头文库上搜索。
1、1“大数据大数据”及其在排水领域应用及其在排水领域应用的思考的思考2015.122Q1：如果你是市交通局长，如何降低40%的交通事故死亡人数？Q2：如果你是市公安局刑侦队长，如何降低80%的犯罪率？Q3：如果你是全省或全国的疾控中心主管，如何实时监控疾病爆发或控制流感蔓延？3 每个问题都是重要的世界性难题，但美国人解决的方案都用到了。大数据！大数据！4什么是大数据？Q4：大数据的就是数据多、数据大？Q5：数据多大算大？Q6：excel算一算，画画图表算不算大数据？5什么是大数据？定义定义3：“大数据大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程是需要新处理模式才能具有更强的决策
2、力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。优化能力的海量、高增长率和多样化的信息资产。-“大数据大数据”（Bigdata）研究）研究机构机构Gartner定义定义定义定义2 2：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的
3、数据类工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。型和价值密度低四大特征。型和价值密度低四大特征。型和价值密度低四大特征。-著名咨询机构麦肯锡全球研究所著名咨询机构麦肯锡全球研究所著名咨询机构麦肯锡全球研究所著名咨询机构麦肯锡全球研究所定义定义1：以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产：以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见。品和服务，或深刻的洞见。6大数据时代的到来区别一：区别一：数据采集变得更容
4、易通讯记录；上网记录；信用卡消费记录；手机定位信息；各种传感器；各种手环区别二：区别二：网络升级，光纤，数据传递变得高效容易移动2G的理论网速48Kb/s移动3G的理论网速350Kb/s移动4G的理论网速12.5M/s区别三：区别三：单位数据存储成本大大降低7大数据时代的到来数据爆炸数据爆炸8大数据时代的到来区别五：区别五：计算能力得到飞速发展，云计算，廉价，10万亿次/秒区别四：区别四：统计学、应用数学和计算机科学的大发展A/B Testing；关联规则分析；聚类分析；遗传算法；神经网络；预测模型；模式识别；时间序列分析；回归分析；系统仿真；机器学习；优化；空间分析；社会网络分析；自然语言分
5、析9大数据时代的到来u小大数据时代解决一些相关问题更多依靠部分样本调查方法，在处理很多问题时有局限性，大数据时代全样本分析变得可能u庞大的数据库有着小数据库所没有的价值u大数据时代是一个有海量数据的时代，应用数学已经取代了其他的所有学科工具。而且只要数据足够，就能说明问题。1020世纪90年代，数据仓库之父的BillInmon就经常提及BigData2011年5月，在“云计算相遇大数据”为主题的EMCWorld2011会议中，EMC抛出了BigData概念大数据时代的到来1121世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变
6、大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。“大数据”的诞生：半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域中。大数据时代的到来124V体量Volume多样性Variety价值密度Value速度Velocity非结构化数据的超大规模和增长总数据量的
7、8090%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效大数据的特征大数据的特征13大数据的价值和潜力p大数据将是下一个社会发展阶段的“石油石油”和“金矿金矿”。p无论是个人、企业还是国家，谁能更好地抓住数据、理解数据、分析数据，谁就能在下一波的社会竞争中脱颖而出。p关于数据的知识，将成为个人知识结构中的必备要素
8、和基础。14大数据如何解决问题？ 美国交通事故死亡分析报告系统（Fatal Analysis Reporting System）：分析全美所有交通事故发生时间、地点、天气和原因，统计伤亡人员性别和年龄，发现问题并针对性地采取措施。Q1：如果你是市交通局长，如何降低40%的交通事故死亡人数？15大数据如何解决问题？p午夜酒驾是最主要原因，需要首先从严整顿。p发现各州安全带执法方式不同死亡率降低不同，调整执法方式。发现其他更多细节和问题。p死亡人数从1966年的5万人降低到2013年的30057人。p一些结论：18:0021:00是交通事故的最高发时段；2534岁的人群居交通事故死亡人数之首；行人
9、总是交通事故的牺牲品；男女因交通事故死亡的比例很稳定，为7:3。Q1：如果你是市交通局长，如何降低40%的交通事故死亡人数？16大数据如何解决问题？Q2：如果你是市公安局刑侦队长，如何降低80%的犯罪率？n纽约市探长JackMaple通过分析全市所有犯罪案件发生的时间和地点，预测未来案件发生的地点，将有限的警力提前布置，在此基础上1994年诞生了CompStat 。n1990年凶杀案2245宗，1994年启用CompStat ，持续降低到2009年的466宗，创下50年之最低。nCompStat现已在全美推广使用。n1996年，CompStat获得了哈佛大学的美国政府创新奖。JackMaple
10、/杰克杰克梅普尔梅普尔17大数据如何解决问题？Q3：如果你是全省或全国的疾控中心主管，如何实时监控疾病爆发或控制流感蔓延？l2009年甲型H1N1流感在短短几周之内飞速传播开来，短时间研发不出疫苗。l公共卫生专家只有先知道这种流感出现在哪里才能控制减慢它的传播。l感染信息采集有一两周的延迟，数据统计汇总还需要时间。l谷歌通过观察人们在网上的搜索记录和检索词条发明了预测方法，并在流感爆发前几周预测冬季流感的传播，论文发表在自然杂志上。18大数据如何解决问题？l谷歌为了测试这些检索词条，总共处理了4.5亿个不同的数学模型亿个不同的数学模型。再将得出的预测与2007年、2008年美国疾控中心记录的实
11、际流感病例进行对比后，谷歌公司发现，他们的软件发现了45条检索词条的组合，将它们用于一个特定的数学模型后，他们的预测与官方数据的相关性高达97%。Q3：如果你是全省或全国的疾控中心主管，如何实时监控疾病爆发或控制流感蔓延？19大数据如何解决问题？大数据和云计算大数据和云计算白云下面数据跑蓝蓝的天上白云飘大数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，绝大部分都隐藏在表面之下。而发掘数据价值、征服数据海洋的“动力”就是云计算。-维克托教授20大数据如何解决问题？ETL数据众包（CrowdSouring）结构化、非结构化和半结构化数据分布式文件系统关系数据库非关系数据库（NoSQ
12、L）数据仓库云计算和云存储实时流处理A/BTesting关联规则分析分类聚类遗传算法神经网络预测模型模式识别时间序列分析回归分析系统仿真机器学习优化空间分析社会网络分析自然语言分析MapReduceR语言标签云（TagCloud）聚类图（Clustergram）空间信息流（Spatialinformationflow）热图（Heatmap）21大数据如何解决问题？马云成功预测2008年经济危机“2008年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货，出去以后再获得数据；我们提前半年时间从询盘上推断出世界贸易发生变化了。”通常而言，买家在采购商品前，会比较多家供应
13、商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大,保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。其他案例其他案例22大数据如何解决问题？u通过记录和分析北京市出租车两年的GPS数据，微软亚洲研究院的谢幸及其同事可以向司机提供不同时段的最佳出行路线。u挪威耶维克大学的研究人员和Derawi Biometrics公司联合为智能手机开发了一款应用程序，可以分析人走路时的步伐并将其作为手机解锁的安全系统。u日本先进工业技术研究所根据人体对座位的压力差异识别出乘坐者的身
14、份，准确率高达98%，据此开发的防盗骑车座椅具有防止汽车被偷的功能。其他案例其他案例23排水和大数据结合？u充分利用和挖掘数据中蕴藏的信息来辅助决策，人类理性的范围将会扩大，提高决策的质量。u不为了使用大数据而制造大数据，为解决问题而有意识地收集并分析数据。u黑猫白猫，能抓老鼠就是好猫。首先应尽可能寻找问题最简单的解决方案。不必在乎方法手段是不是高级，能解决问题的方法就是好方法。必要性24排水和大数据结合？p通过统计塑料管检测数据预测哪个品牌的管材质量更容易出问题；p通过分析多个水样中各种重金属之间的相关性确定Zn为水样中重金属特征指标，可以减少重金属检测指标和工作量；p淹易淹易涝区域风险评估
15、及改造方案：运用管网、下垫面和降雨等大量基础数据，通过径流模拟算法、管流模拟算法和二维地表漫流模拟算法，运算量大。我们正在有意识无意识地运用大数据思维解决遇到的问题。25排水和大数据结合？气象数据水文数据防汛监控调度指挥系统的大数据管网数据泵站运行数据仅采集和统计数据，还要挖掘数据潜在价值。数据大还不够，离大数据还有距离。26排水和大数据结合？其他可能的应用p通过分析污水厂多年的进水水质变化（如C/N变化）分析和居民生活习惯的改变有关系，进而预测进水水质的变化p通过设备维修记录中的故障原因统计提前做好维护计划；27排水和大数据结合？其他可能的应用p通过分析泵站经济性报表中的单耗来查找高能耗泵站
16、及其原因，采取措施降低能耗；p估算市区的雨污水管网总长度？p提高管网养护的效率，优化清淤养护计划：相同的清淤量，清淤管道优先级更高；相同的人和设备，年度清淤量上升15%？智慧排水智慧排水28我们应该采取的行动1、加强数据收集的意识，重视数据收集*摘自管网所2014年年报上个世纪90年代，面对信息管理系统的普及、各行各业数据记录的激增，管理大师彼得德鲁克（Peter Drucker）曾发出慨叹：迄今为止，我们的系统产生的还仅仅是数据，而不是信息，更不是知识！29我们应该采取的行动2、重视数据质量：数据标准化和数据仓库u数据仓库：将不同平台、不同编制语言、不同物理位置的数据，按统一定义的格式提取出
17、来，再通过清洗、转换、集成，最后加载进入的数据集合。u“数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理中的决策制定。”u数据能满足其既定的用途，它才有质量。如果不能满足既定的目标和用途，就谈不上质量。u数据仓库对数据标准化非常重要，可以在今后的应用中高效地提取指定特征的标准格式的信息，大大减少了数据收集、整理和标准化的程序和时间。30我们应该采取的行动3、重视数据共享和发布p2008年奥巴马上任后为创建一个“透明的政府”，促使美国政府创建了Da
18、ta.gov网站，为大数据敞开了大门。p到2012年年7月月三周年时， Data.gov数据集已达数据集已达45万个左右万个左右，涵盖172个机个机构构。p英国和印度也有“数据公开”运动。p2001年，普华永道研究结果显示：受益于免费的数据发布模式，2000年美国天气风险管理行业（Weather Risk Management Industry）的产值是整个欧洲的近60倍倍、整个亚洲的146倍倍。31我们应该采取的行动3、重视数据共享和发布Data.gov32我们应该采取的行动3、重视数据共享和发布首先在内部建立各类数据的标准最小数据集及各类台账（最小数据集是指包含了最重要信息的最小数据集合）
19、，以省供排水协会推动省内行业各类台账和数据规范化，并促进行业交流和数据开放交流。33我们应该采取的行动4、重视人的作用p2010年起，谷歌的首席经济学家范里安（Hal Varian）就一直在多种场合强调，下一个十年，将出现一类新的专业人才：数据科学家。其中一种，正是数据可视化工程师，这种人才既懂得数据分析，又精通构图的艺术，集故事讲述和艺术家的特质于一身，将是我们大数据时代的导航员。5、重视工具的运用p相关软件流体数值模拟： Fluent；雨洪模型数值分析：Matlab；统计科学：SASp使用培训p数据科学家或者数据工程师数据科学家是统计学家、软件程序员、图形设计师与作家的结合体。34要注意的问题u大数据是复杂的系统工程，费时费力的，绝不是一蹴而就的；u不盲目崇拜大数据和大数据分析；u大数据不能代替人的创造性（如苹果手机）；u数据保密和个人隐私的保护。35小结p数据是财富，数据帮助我们解决问题；p要重视数据收集和数据质量；p应用数据改进我们的思维方式和决策方式；p人在数据运用中是关键的环节；p大数据不能代替人的创造性活动。谢谢！谢谢！
