“大数据”及其在排水领域的应用的思考

《“大数据”及其在排水领域的应用的思考》由会员分享，可在线阅读，更多相关《“大数据”及其在排水领域的应用的思考（36页珍藏版）》请在金锄头文库上搜索。

1、1“大数据”及其在排水领域应用的 思考2015.122Q1：如果你是市交通局长，如何降低40%的交通事故死亡人 数？Q2：如果你是市公安局刑侦队长，如何降低80%的犯罪率？Q3：如果你是全省或全国的疾控中心主管，如何实时监控疾病爆发或控制流感蔓延？3每个问题都是重要的世界性难题，但美国人解决的方案都用到了。4什么是大数据？Q4：大数据的就是数据多、数据大？Q5：数据多大算大？Q6：excel算一算，画画图表算不算大数据？5什么是大数据？6大数据时代的到来区别一：数据采集变得更容易通讯记录；上网记录；信用卡消费记录；手机定位信息；各种传感器；各种手环区别二：网络升级，光纤，数据传递变得高效容易移

2、动2G的理论网速48Kb/s移动3G的理论网速350Kb/s移动4G的理论网速12.5M/s区别三：单位数据存储成本大大降低7大数据时代的到来8大数据时代的到来区别五：计算能力得到飞速发展，云计算，廉价，10万亿次/秒区别四：统计学、应用数学和计算机科学的大发展A/B Testing；关联规则分析；聚类分析；遗传算法；神经网络；预测模型；模式识别；时间序列分析；回归分析；系统仿真；机器学习；优化；空间分析；社会网络分析；自然语言分析9大数据时代的到来u小大数据时代解决一些相关问题更多依靠部分样本调查方法，在处理很多问题时有局限性，大数据时代全样本分析变得可能u庞大的数据库有着小数据库所没有的价

3、值u大数据时代是一个有海量数据的时代，应用数学已经取代了其他的所有学科工具。而且只要数据足够，就能说明问题。1020世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data2011年5 月，在“云计算相遇大数据” 为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念大数据时代的到来1121世纪是数据信息大发展的时 代，移动互联、社交网络、电子商务 等极大拓展了互联网的边界和应用范 围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动 互联网（微博）、物联网（传感器， 智慧地球）、车联网、GPS、医学影 像、安全监控、金融（银行、股市、

4、保险）、电信（通话、短信）都在疯 狂产生着数据。“大数据”的诞生：半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的 程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学 和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域 中。大数据时代的到来124V体量Volume多样性Variety价值密度Value速度Velocity非结构化数据的超大规模和增长 总数据量的8090% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍大数据的异构和多样性 很多不同形式（文本、图像、

5、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义大量的不相关信息 对未来趋势与模式的可预测分析 深度复杂分析（机器学习、人工智能Vs传统商务智 能(咨询、报告等）实时分析而非批量式分析 数据输入、处理与丢弃 立竿见影而非事后见效大数据的特征13大数据的价值和潜力p 大数据将是下一个社会发展阶段的“石油”和“金矿”。p 无论是个人、企业还是国家，谁能更好地抓住数据、理解数据、分析数据，谁就能在下一波的社会竞争中脱颖而出。p 关于数据的知识，将成为个人知识结构中的必备要素和基础。14大数据如何解决问题？Q1：如果你是市交通局长，如何降低40%的交通事故死亡人数？15大数据如何解决问题？Q

6、1：如果你是市交通局长，如何降低40%的交通事故死亡人数？16大数据如何解决问题？Q2：如果你是市公安局刑侦队长，如何降低80%的犯罪率？n纽约市探长Jack Maple通过分析全市所有犯罪案件发生的时间和地点，预测未来案件发生的地点，将有限的警力提前布置，在此基础上1994年诞生了CompStat 。n1990年凶杀案2245宗，1994年启用CompStat ，持续降低到2009年的466宗，创下50年之最低。nCompStat现已在全美推广使用。n1996年，CompStat获得了哈佛大学的美国政府创新奖。Jack Maple/杰克梅普尔17大数据如何解决问题？Q3：如果你是全省或全国的

7、疾控中心主管，如何实时监控疾病 爆发或控制流感蔓延？l2009年甲型H1N1流感在短短几周之内飞速传播开来，短时间研发不出疫苗。l公共卫生专家只有先知道这种流感出现在哪里才能控制减慢它的传播。l感染信息采集有一两周的延迟，数据统计汇总还需要时间。l谷歌通过观察人们在网上的搜索记录和检索词条发明了预测方法，并在流感爆发前几周预测冬季流感的传播，论文发表在自然杂志上。18大数据如何解决问题？l谷歌为了测试这些检索词条，总共处理了4.5亿个不同的数学模型。再将得出的预测与2007年、2008年美国疾控中心记录的实际流感病例进行对比后，谷歌公司发现，他们的软件发现了45条检索词条的组合，将它们用于一个

8、特定的数学模型后，他们的预测与官方数据的相关性高达97%。Q3：如果你是全省或全国的疾控中心主管，如何实时监控疾病 爆发或控制流感蔓延？19大数据如何解决问题？大数据和云计算白云下面数据跑蓝蓝的天上白云飘大数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的 一角，绝大部分都隐藏在表面之下。而发掘数据价值、征服数据海洋 的“动力”就是云计算。 -维克托教授20大数据如何解决问题？ETL 数据众包 （CrowdSouring ）结构化、非结构化 和半结构化数据 分布式文件系统 关系数据库 非关系数据库 （NoSQL） 数据仓库 云计算和云存储 实时流处理A/B Testing 关联规则分析

9、 分类 聚类 遗传算法 神经网络 预测模型 模式识别 时间序列分析 回归分析 系统仿真 机器学习 优化 空间分析 社会网络分析 自然语言分析 MapReduce R语言标签云 （Tag Cloud） 聚类图 （Clustergram） 空间信息流 （Spatial information flow） 热图 （Heatmap）21大数据如何解决问题？马云成功预测2008 年经济危机“2008 年初,阿里巴巴平台上整个买家询盘数急剧下滑 ，欧美对中国采购在下滑。海关是卖了货，出去以后再 获得数据；我们提前半年时间从询盘上推断出世界贸易 发生变化了。”通常而言，买家在采购商品前，会比较多家供应商的产

10、 品，反映到阿里巴巴网站统计数据中，就是查询点击的 数量和购买点击的数量会保持一个相对的数值，综合各 个维度的数据可建立用户行为模型。因为数据样本巨大, 保证用户行为模型的准确性。因此在这个案例中，询盘 数据的下降，自然导致买盘的下降。其他案例22大数据如何解决问题？u通过记录和分析北京市出租车两年的GPS数据，微软亚洲研究院的谢幸及其同事可以向司机提供不同时段的最佳出行路线。u挪威耶维克大学的研究人员和Derawi Biometrics公司联合为智能手机开发了一款应用程序，可以分析人走路时的步伐并将其作为手机解锁的安全系统。u日本先进工业技术研究所根据人体对座位的压力差异识别出乘坐者的身份，

11、准确率高达98%，据此开发的防盗骑车座椅具有防止汽车被偷的功能。其他案例23排水和大数据结合？u充分利用和挖掘数据中蕴藏的信息来辅助决策，人类理性的范围将会扩大，提高决策的质量。u不为了使用大数据而制造大数据，为解决问题而有意识地收集并分析数据。u黑猫白猫，能抓老鼠就是好猫。首先应尽可能寻找问题最简单的解决方案。不必在乎方法手段是不是高级，能解决问题的方法就是好方法。必要性24排水和大数据结合？p通过统计塑料管检测数据预测哪个品牌的管材质量更容易出问题；p通过分析多个水样中各种重金属之间的相关性确定Zn为水样中重金属特征指标，可以减少重金属检测指标和工作量；p淹易淹易涝区域风险评估及改造方案：

12、运用管网、下垫面和降雨等大量基础数据，通过径流模拟算法、管流模拟算法和二维地表漫流模拟算法，运算量大。我们正在有意识无意识地运用大数据思维解决遇到的问题。25排水和大数据结合？气象数据水文数据防汛监控调度指挥系统的大数据管网数据泵站运行数 据仅采 集和 统计 数据 ，还 要挖 掘数 据潜 在价 值。数据 大还 不够 ，离 大数 据还 有距 离。26排水和大数据结合？其他可能的应用p 通过分析污水厂多年的进水水质变化（如C/N变化）分析和居民生活习惯的改变有关系，进而预测进水水质的变化p 通过设备维修记录中的故障原因统计提前做好维护计划；27排水和大数据结合？其他可能的应用p 通过分析泵站经济性

13、报表中的单耗来查找高能耗泵站及其原因，采取措施降低能耗；p 估算市区的雨污水管网总长度？p 提高管网养护的效率，优化清淤养护计划：相同的清淤量，清淤管道优先级更高；相同的人和设备，年度清淤量上升15%？28我们应该采取的行动1、加强数据收集的意识，重视数据收集*摘自管网所2014年年报上个世纪90年代，面对信息管理系统的普及、各行各业数据记录的激 增，管理大师彼得德鲁克（Peter Drucker）曾发出慨叹：迄今为止， 我们的系统产生的还仅仅是数据，而不是信息，更不是知识！29我们应该采取的行动2、重视数据质量：数据标准化和数据仓库u数据仓库：将不同平台、不同编制语言、不同物理位置的数据，按

14、统一定义 的格式提取出来，再通过清洗、转换、集成，最后加载进入的数据集合。u“数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrated）、 相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用 于支持管理中的决策制定。”u数据能满足其既定的用途，它才有质量。如果不能满足既定的目标和用 途，就谈不上质量。u数据仓库对数据标准化非常重要，可以在今后的应用中高效地提取指定特征的 标准格式的信息，大大减少了数据收集、整理和标准化的程序和时间。30我们应该采取的行动3、重视数据共享和发布p2008年奥巴马上任后为创建一个“透明的

15、政府”，促使美国政府创建了Data.gov网站，为大数据敞开了大门。p到2012年7月三周年时， Data.gov数据集已达45万个左右，涵盖172个机构。p英国和印度也有“数据公开”运动。p2001年，普华永道研究结果显示：受益于免费的数据发布模式，2000年美国天气风险管理行业（Weather Risk Management Industry）的产值是整个欧洲的近60倍、整个亚洲的146倍。31我们应该采取的行动3、重视数据共享和发布Data.gov32我们应该采取的行动3、重视数据共享和发布首先在内部建立各类数据的标准最小数据集及各类台账（最小数据集是指包含了最重要信息的最小数据集合），

16、以省供排水协会推动省内行业各类台账和数据规范化，并促进行业交流和数据开放交流。33我们应该采取的行动4、重视人的作用p 2010年起，谷歌的首席经济学家范里安（Hal Varian）就一直在多种场合强 调，下一个十年，将出现一类新的专业人才：数据科学家。其中一种，正是 数据可视化工程师，这种人才既懂得数据分析，又精通构图的艺术，集故事 讲述和艺术家的特质于一身，将是我们大数据时代的导航员。5、重视工具的运用p 相关软件 流体数值模拟： Fluent；雨洪模型 数值分析：Matlab； 统计科学：SAS p 使用培训p 数据科学家或者数据工程师数据科学家是统计学家、软件程序员、图形设 计师与作家的结合体。34要注意的问题u 大数据是复杂的系统工程，费时费力的，绝不是一蹴而就的；u 不盲目崇拜大数据和大数据分析；u 大数据不能代替人的创造性（如苹果手机）；u 数据保密和个人隐私的保护。35小结p 数据是财富，数据帮助我们解决问题；p 要重视