《大数据环境下交通分配最新研究方向》由会员分享，可在线阅读，更多相关《大数据环境下交通分配最新研究方向（55页珍藏版）》请在金锄头文库上搜索。
1、大数据环境下交通分配和交通领域的最新研究进展,Transportation Big Data,大数据的定义理解,20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data。,2011年5月，在“云计算相遇大数据”为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念。,大数据时代的背景,1980 年，未来学大师阿尔文 托夫勒在第三次浪潮一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。,大数据时代的背景,半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也
2、在加快。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。根据麦肯锡全球研究院（MGI）估计，全球企业2010年在硬盘上存储了超过7EB（1EB等于10亿GB）的新数据，而消费者在PC和笔记本等设备上存储了超过6EB新数据。1EB数据相当于美国国会图书馆中存储的数据的4000多倍。,大数据时代的背景,大数据现状,2012年各行业大数据市场规模,2012年政府、互联网、电信、金融的大数据市场规模较大，四个行业将占据一半市场份额。 由于各个行业都存在大数据应用需求，潜在市场
3、空间非常可观。,2011年是中国大数据市场元年，一些大数据产品已经推出，部分行业也有大数据应用案例的产生。2012年-2016年，将迎来大数据市场的飞速发展。 2012年中国大数据市场规模达到4.7亿元，2013年大数据市场迎来增速为138.3%的飞跃，到2016年，整个市场规模逼近百亿。,大数据现状,体量Volume,多样性Variety,价值密度Value,速度Velocity,非结构化数据的超大规模和增长 占总数据量的8090% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍,大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯
4、的语法或句义,大量的不相关信息 对未来趋势与模式的可预测分析 深度复杂分析（机器学习、人工智能VS传统商务智能(咨询、报告等）,实时分析而非批量式分析 数据输入、处理与丢弃 立竿见影而非事后见效,大数据的4V特征,“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。,大数据 = 海量数据 + 复杂类型的数据,海量交易数据： 企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了
5、什么。,大数据包括： 交易数据和交互数据集在内的所有数据集,海量交互数据： 源于各种网络和社交媒体。它包括了呼叫详细记录、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输协议传送的海量图像文件、Web文本和点击流数据、评价数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。,大数据的构成,大数据的技术与应用,Volume 海量的数据规模,Variety 多样的数据类型,Value,Velocity 快速的数据流转,发现数据价值,大数据技术要解决的问题,大数据技术被设计用于在成本可承受的条件下，通过非常快速（velocity）地采集、发现和分析，从大量（volumes）、多类别
6、（variety）的数据中提取价值（value），将是IT 领域新一代的技术与架构。,大数据技术要解决的问题,技术领域的挑战,大数据的相关技术,数据众包,大数据的相关技术,分布式文件系统,分布式文件系统,非关系型数据库NoSQL,NoSQL,=,非关系型数据库NoSQL,非关系型数据库NoSQL,非关系型数据库NoSQL,非关系型数据库NoSQL,非关系型数据库NoSQL,云计算和云存储,云计算是一种资源交付和使用模式，指通过网络获得应用所需的资源（硬件、平台、软件）。提供资源的网络被称为“云”。,白云下面数据跑,蓝蓝的天上白云飘,如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏
7、的利器。没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀。,云计算和云存储,云计算和云存储,当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。,实时流处理,大数据的相关技术,MapReduce,R语言,R语言擅长在Hadoop分布式文件系统中存储的非结构化数据上的分析。R现在还可以运行在HBase这种非关系型的数据库以及面向列的分布式数据存储之上。,R语言擅长在Hadoop分布式文件系统中存储的非结构化数据上的分析。R现在
8、还可以运行在HBase这种非关系型的数据库以及面向列的分布式数据存储之上。,Apache Hadoop软件堆栈及其组件,大数据的相关技术,标签云,标签云,聚类图,空间信息流,热图,热图,前瞻来看，随着互联网对网民的理解，网民对网络的反作用，互联网将变得越来越智能。它在满足你需求的同时，也在创造新的需求。前者的代表是Google，后者的典型则是Facebook。 谷歌的盈利在于所有的软件应用都是在线的。用户在免费使用这些产品的同时，把个人的行为、喜好等信息也免费的送给了Google。因此Google的产品线越丰富，他对用户的理解就越深入，他的广告就越精准。广告的价值就越高。 这是正向的循环，谷歌
9、好用的、免费得软件产品，换取对用户的理解；通过精准的广告，找到生财之道。颠覆了微软卖软件拷贝赚钱的模式。成为互联网的巨擘。,互联网越来越智能,Google精确掌握用户行为、获取需求,微博为新浪带来巨大价值,马云的判断来自于数据分析,“2008年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货,出去以后再获得数据;而我们提前半年时间从询盘上推断出世界贸易发生变化了。”,马云对未来的预测，是建立在对用户行文分析的基础上。通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的
10、数据可建立用户行为模型。因为数据样本巨大，保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。 腾讯在天津投资建立亚洲最大的数据中心；百度也在投资建立大数据处理中心；新浪推出企业微博产品，提供精准的数据分析服务。,三,大数据环境下手机定位数据在城市规划中实践,实践意义,抽样分析是信息收集手段不完善时代的产物，传统方式获取规划数据，如居民出行问卷调查等，采用小样本抽样方式，统计结果易具偏向性，“以偏概全”而导致不能反映出总体的真实情况； 要效率而非绝对准确，要允许一点点的错误和不完美，需要发挥不同数据各自的优势。如视频、红外等技术，能够较好地识别设备范围内的单个个体，
11、但较难持续跟踪分析人口的连续活动特征。而利用手机定位数据能够在中观、宏观层面上得到相对可靠的人口空间分布与活动特征，但当空间识别单元特别微观时，会存在无法分辩的问题。 注重对大量不同类型数据进行统计性分析归纳，进行关联性及相关性分析，挖掘事物相互间的耦合关系；手机定位数据能够持续追踪，而直接检测人口的各种活动特征指标，弱化了基于因果关系和各种假设条件的模型推算过程，减少了模型、参数带来误差的同时，与其他数据一起，能够更好掌握现状或指导未来的工作。,人口空间分布与活动特征研究思路,手机定位数据在城市规划中的应用方向,天津市中心城大区间OD 分布,天津市行政区间OD 分布,早高峰陆家嘴站出站客流去
12、向空间分布,区分方向的进、出上海日客流量示意,总结,该研究总结了手机定位数据在城市规划中的应用方向，在国内部分大城市初步探索并实践了的典型应用，研究成果的数据趋势和分布规律与城市现状基本相符，为城市规划提供了基础性的数据资料。 随着大数据技术的迅速发展，海量手机定位数据的存储、处理与快速查询瓶颈正在被逐步突破，能够在有限的时间内挖掘出更多、更有价值的信息。另外，除手机定位数据以外，还可以利用互联网数据、社交网络数据等等，进一步挖掘城市人口聚集活动的特征。 对城市规划学科来说，有必要采用现代化分析手段与技术，长时间大范围持续关注人口空间分布与活动特征变化情况，有助于深层次揭示城市发展、产业升级转
13、移及人口迁移之间演变的内在规律，创新城市规划模型与方法，评估城市规划成效，提升城市规划的定量化、科学化水平。,大数据时代城市时空间行为研究方法,大数据时代城市时空间行为研究数据特征,大数据时代的城市时空间行为研究可以从4 个方面来推动此类创新： 利用城市居民行为研究方法，结合现有居住区规划方法，进行城市详细规划(社区规划)和居民行为规划理念与方法的创新； 利用城市特征、城市空间等研究方法，结合现有城市功能区划、土地利用规划以及交通规划等方法，进行城市总体规划、城市控制性详细规划或城市专项规划理念与方法的创新； 利用城市等级体系研究方法，结合现有城镇人口与用地规模预测以及区域职能判断等方法，进行
14、城镇体系规划理念与方法的创新； 结合城市时空间行为研究方法体系，开发新技术或综合利用多种已有技术来进行城市智能管理信息系统的开发与建设。,这篇文章在总结传统城市时空间行为研究方法存在问题的基础上，对影响其变革的数据获取与处理技术进行梳理，重点从居民时空行为、城市空间及城市等级体系3 个方面综述了国内外应用大数据进行城市时空间行为研究的最新进展，构建了基于大数据应用的城市时空间行为研究方法框架。作者认为，大数据时代城市时空间行为研究方法的变革主要取决于对反映居民时空行为的网络或移动信息设备数据的挖掘、处理及应用，但是还需要进一步推动相关学科间的交叉与融合，加强社交网站等网络数据在居民时空行为和城市空间研究中的应用，并指导城市规划编制与管理方法的创新。,你只闻到我的香水，却没看到我的汗水。 你否定我的现在，我决定我的未来！ 你嘲笑我一无所有，不配去爱，我可怜你总是等待。 你可以轻视我们的年轻，我们会证明这是谁的时代。 梦想是注定孤独的旅行，路上少不了质疑和嘲笑， 但那又怎样？ 哪怕遍体鳞伤，也要活得漂亮！,
