《“大数据”与其在排水领域应用11.28》由会员分享，可在线阅读，更多相关《“大数据”与其在排水领域应用11.28（37页珍藏版）》请在金锄头文库上搜索。
1、“大数据”及其在排水领域应用的思考,2015.12,Q1：如果你是市交通局长，如何降低40%的交通事故死亡人数？,Q2：如果你是市公安局刑侦队长，如何降低80%的犯罪率？,Q3：如果你是全省或全国的疾控中心主管，如何实时监控疾病爆发或控制流感蔓延？,每个问题都是重要的世界性难题，但美国人解决的方案都用到了。,大数据！,什么是大数据？,Q4：大数据的就是数据多、数据大？,Q5：数据多大算大？,Q6：excel算一算，画画图表算不算大数据？,什么是大数据？,定义3：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 - “大数据”（Big
2、data）研究机构Gartner,定义2：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。-著名咨询机构麦肯锡全球研究所,定义1：以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见。,大数据时代的到来,区别一：数据采集变得更容易 通讯记录；上网记录；信用卡消费记录；手机定位信息；各种传感器；各种手环,区别二：网络升级，光纤，数据传递变得高效容易 移动2G的理论网速48Kb/s 移动3G的理论网速350Kb/s 移动4G的理论网速12.5M/s,区别
3、三：单位数据存储成本大大降低,大数据时代的到来,数据爆炸,大数据时代的到来,区别五：计算能力得到飞速发展，云计算，廉价，10万亿次/秒,区别四：统计学、应用数学和计算机科学的大发展 A/B Testing；关联规则分析；聚类分析；遗传算法；神经网络；预测模型；模式识别；时间序列分析；回归分析；系统仿真；机器学习；优化；空间分析；社会网络分析；自然语言分析,大数据时代的到来,小大数据时代解决一些相关问题更多依靠部分样本调查方法，在处理很多问题时有局限性，大数据时代全样本分析变得可能 庞大的数据库有着小数据库所没有的价值 大数据时代是一个有海量数据的时代，应用数学已经取代了其他的所有学科工具。而且
4、只要数据足够，就能说明问题。,20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data,2011年5 月，在“云计算相遇大数据” 为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念,大数据时代的到来,21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。,“大数据”的诞生：半个世纪以来，随着计算机技术
5、全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域中。,大数据时代的到来,4V,体量Volume,多样性Variety,价值密度Value,速度Velocity,非结构化数据的超大规模和增长 总数据量的8090% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍,大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义,大量的不相关信息 对未来趋势
6、与模式的可预测分析 深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）,实时分析而非批量式分析 数据输入、处理与丢弃 立竿见影而非事后见效,大数据的特征,大数据的价值和潜力,大数据将是下一个社会发展阶段的“石油”和“金矿”。 无论是个人、企业还是国家，谁能更好地抓住数据、理解数据、分析数据，谁就能在下一波的社会竞争中脱颖而出。 关于数据的知识，将成为个人知识结构中的必备要素和基础。,大数据如何解决问题？,美国交通事故死亡分析报告系统（Fatal Analysis Reporting System）：分析全美所有交通事故发生时间、地点、天气和原因，统计伤亡人员性别和年龄，发现问题并
7、针对性地采取措施。,Q1：如果你是市交通局长，如何降低40%的交通事故死亡人数？,大数据如何解决问题？,午夜酒驾是最主要原因，需要首先从严整顿。,发现各州安全带执法方式不同死亡率降低不同，调整执法方式。发现其他更多细节和问题。,死亡人数从1966年的5万人降低到2013年的30057人。,一些结论：18:0021:00是交通事故的最高发时段；2534岁的人群居交通事故死亡人数之首；行人总是交通事故的牺牲品；男女因交通事故死亡的比例很稳定，为7:3。,Q1：如果你是市交通局长，如何降低40%的交通事故死亡人数？,大数据如何解决问题？,Q2：如果你是市公安局刑侦队长，如何降低80%的犯罪率？,纽约
8、市探长Jack Maple通过分析全市所有犯罪案件发生的时间和地点，预测未来案件发生的地点，将有限的警力提前布置，在此基础上1994年诞生了CompStat 。,1990年凶杀案2245宗，1994年启用CompStat ，持续降低到2009年的466宗，创下50年之最低。,CompStat现已在全美推广使用。,1996年，CompStat获得了哈佛大学的美国政府创新奖。,Jack Maple/杰克梅普尔,大数据如何解决问题？,Q3：如果你是全省或全国的疾控中心主管，如何实时监控疾病爆发或控制流感蔓延？,2009年甲型H1N1流感在短短几周之内飞速传播开来，短时间研发不出疫苗。,公共卫生专家只
9、有先知道这种流感出现在哪里才能控制减慢它的传播。,感染信息采集有一两周的延迟，数据统计汇总还需要时间。,谷歌通过观察人们在网上的搜索记录和检索词条发明了预测方法，并在流感爆发前几周预测冬季流感的传播，论文发表在自然杂志上。,大数据如何解决问题？,谷歌为了测试这些检索词条，总共处理了4.5亿个不同的数学模型。再将得出的预测与2007年、2008年美国疾控中心记录的实际流感病例进行对比后，谷歌公司发现，他们的软件发现了45条检索词条的组合，将它们用于一个特定的数学模型后，他们的预测与官方数据的相关性高达97%。,Q3：如果你是全省或全国的疾控中心主管，如何实时监控疾病爆发或控制流感蔓延？,大数据如
10、何解决问题？,大数据和云计算,白云下面数据跑,蓝蓝的天上白云飘,大数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，绝大部分都隐藏在表面之下。而发掘数据价值、征服数据海洋的“动力”就是云计算。 -维克托教授,大数据如何解决问题？,大数据如何解决问题？,马云成功预测2008 年经济危机“2008 年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货，出去以后再获得数据；我们提前半年时间从询盘上推断出世界贸易发生变化了。”通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，
11、综合各个维度的数据可建立用户行为模型。因为数据样本巨大,保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。,其他案例,大数据如何解决问题？,通过记录和分析北京市出租车两年的GPS数据，微软亚洲研究院的谢幸及其同事可以向司机提供不同时段的最佳出行路线。 挪威耶维克大学的研究人员和Derawi Biometrics公司联合为智能手机开发了一款应用程序，可以分析人走路时的步伐并将其作为手机解锁的安全系统。 日本先进工业技术研究所根据人体对座位的压力差异识别出乘坐者的身份，准确率高达98%，据此开发的防盗骑车座椅具有防止汽车被偷的功能。,其他案例,排水和大数据结合？,充分
12、利用和挖掘数据中蕴藏的信息来辅助决策，人类理性的范围将会扩大，提高决策的质量。,不为了使用大数据而制造大数据，为解决问题而有意识地收集并分析数据。,黑猫白猫，能抓老鼠就是好猫。首先应尽可能寻找问题最简单的解决方案。不必在乎方法手段是不是高级，能解决问题的方法就是好方法。,必要性,排水和大数据结合？,通过统计塑料管检测数据预测哪个品牌的管材质量更容易出问题；,通过分析多个水样中各种重金属之间的相关性确定Zn为水样中重金属特征指标，可以减少重金属检测指标和工作量；,淹易淹易涝区域风险评估及改造方案：运用管网、下垫面和降雨等大量基础数据，通过径流模拟算法、管流模拟算法和二维地表漫流模拟算法，运算量大
13、。,我们正在有意识无意识地运用大数据思维解决遇到的问题。,排水和大数据结合？,气象数据,水文数据,防汛监控调度指挥系统的大数据,管网数据,泵站运行数据,仅采集和统计数据，还要挖掘数据潜在价值。,数据大还不够，离大数据还有距离。,排水和大数据结合？,其他可能的应用,通过分析污水厂多年的进水水质变化（如C/N变化）分析和居民生活习惯的改变有关系，进而预测进水水质的变化 通过设备维修记录中的故障原因统计提前做好维护计划；,排水和大数据结合？,其他可能的应用,通过分析泵站经济性报表中的单耗来查找高能耗泵站及其原因，采取措施降低能耗； 估算市区的雨污水管网总长度？ 提高管网养护的效率，优化清淤养护计划：
14、相同的清淤量，清淤管道优先级更高；相同的人和设备，年度清淤量上升15%？,智慧排水,我们应该采取的行动,1、加强数据收集的意识，重视数据收集,*摘自管网所2014年年报,上个世纪90年代，面对信息管理系统的普及、各行各业数据记录的激增，管理大师彼得德鲁克（Peter Drucker）曾发出慨叹：迄今为止，我们的系统产生的还仅仅是数据，而不是信息，更不是知识！,我们应该采取的行动,2、重视数据质量：数据标准化和数据仓库,数据仓库：将不同平台、不同编制语言、不同物理位置的数据，按统一定义的格式提取出来，再通过清洗、转换、集成，最后加载进入的数据集合。,“数据仓库是一个面向主题的（Subject O
15、riented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理中的决策制定。”,数据能满足其既定的用途，它才有质量。如果不能满足既定的目标和用途，就谈不上质量。,数据仓库对数据标准化非常重要，可以在今后的应用中高效地提取指定特征的标准格式的信息，大大减少了数据收集、整理和标准化的程序和时间。,我们应该采取的行动,3、重视数据共享和发布,2008年奥巴马上任后为创建一个“透明的政府”，促使美国政府创建了Data.gov网站，为大数据敞开了大门。 到2012年7月三周年时，数据集已达45万个左右，涵盖172
16、个机构。 英国、印度也有“数据公开”运动。 2001年，普华永道对此做过专门的调查，它的研究结果是：受益于免费的数据发布模式，2000年美国天气风险管理行业（Weather Risk Management Industry）的产值是整个欧洲的近60倍、整个亚洲的146倍。,我们应该采取的行动,3、重视数据共享和发布,我们应该采取的行动,3、重视数据共享和发布,首先在内部建立各类数据的标准最小数据集及各类台账（最小数据集是指包含了最重要信息的最小 数据集合），以省供排水协会推动省内行业各类台账和数据规范化，并促进行业交流和数据开放交流。,我们应该采取的行动,4、重视人的作用：分析问题；应用各种算法需要对数学、计算机掌握相当的水平才可以，数据科学家或者数据工程师数据科学家是统计学家、软件程序员、图形设计师与作家的结合体。2010年起，谷歌的首席经济学家范里安（Hal Varian）就一直在多种场合强调，下一个十年，将出现一类新的专业人才：数据科学家。其中一种，正是数据可视化工程师，这种人才既懂得数据分析，又精通构图的艺术，集故事讲述和艺术家的特质于一身，将是我们大数据时代的导航员。,
