《大数据及数据可视化 分析》由会员分享，可在线阅读，更多相关《大数据及数据可视化 分析（53页珍藏版）》请在金锄头文库上搜索。
1、大数据及数据可视化分析 郑州大学信息工程学院 宋伟 2014.08.19 汇报汇报内容内容 一、相关一、相关背景背景 二、可视化分析介绍二、可视化分析介绍 三、目前相关工作三、目前相关工作 信息爆炸 科学数据爆炸 Sloan Digital Sky SurveySloan Digital Sky Survey ATLUM / Connectome ProjectATLUM / Connectome Project Big Data 大数据(big data)，指的是所涉及的数据信息量规模 巨大到无法通过目前主流软件工具，在合理时间内 达到撷取、管理、处理、并整理成为帮助企业经营 决策更积极目的
2、的资讯。 (在维克托迈尔-舍恩伯格及肯尼斯库克耶编写的 大数据时代中大数据指不用随机分析法（抽样 调查）这样的捷径，而采用所有数据的方法） “数据是新的石油。” -Andreas Weigend（Amazon前首席科学家） “当时时变幻的、海量的数据出现在眼前，是怎样一 幅壮观的景象？在后台注视着这一切，会不会接近上 帝俯视人间星火的感觉？” 大数据是如此重要，以至于其获取、储存、搜索、共 享、分析，乃至可视化地呈现，都成为了当前重要的 研究课题。 Big Data特点（4V） Volume 数据数据量量大大 大数据的起始计量单位PB-EB-ZB Variety 类型繁多类型繁多 包括网络日志
3、、音频、视频、图片、地理位置信息、科学、医学等多类 型数据，对数据处理能力提出了更高要求。 Value 价值价值密度密度低低 信息海量，但价值密度较低 价值高价值高 只要合理利用数据并对其进行正确、准确的分析，将会带来很高 的价值回报。 Velocity 速度速度快时效快时效高高处理速度快，时效性要求高。区分于传统数据 挖掘最显著的特征。 对大数据的关注 越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的 资产，数据分析能力正在成为组织的核心竞争力。 1、2013年3月22日，奥巴马政府宣布投资拉动大数据相关产业发展，将 “大数据战略”上升为国家意志。 2、2012年,联合国发布大数
4、据政务白皮书。 3、最为积极的:众多的IT企业 IBM PC软件和服务大数据分析软件(全新业务增长点)。 百度、腾讯、阿里巴巴 数据为王 Big Data相关内容 大数据技术 从多种类型数据中，快速获得有价值信息的能力 大数据工程 大数据的规划建设运营管理的系统工程 大数据科学 大数据网络发展和运营过程中发现和验证大数据的规律及其 与自然和社会活动之间的关系 大数据应用 大数据与云 HalVarian,Googles Chief Economist The McKinsey Quarterly,Jan 2009 “将来几十年中，处理数据的能力将会成为至关重要的 技术理解数据、加工数据、提取数据
5、价值、可视化 数据、与数据交流。因为现在我们的确拥有无处不在 的、可自由获取的数据。” “The ability to take datato be able to understand it, to process it, to extract value from it, to visualize it, to communicate it thats going to be a hugely important skill in the next decades,. because now we really do have essentially free and ubiquitous
6、 data.” 汇报汇报内容内容 一、相关一、相关背景背景 二、可视化分析介绍二、可视化分析介绍 三、目前相关工作三、目前相关工作 可视化(Visualization) 利用计算机图形学和图像处理技术，将数据转换成图形或图像在屏幕 上显示出来，并进行交互处理交互处理的理论、方法和技术。 涉及到计算机图形学、图像处理、计算机视觉、计算机辅助设计等多 个领域，成为研究数据表示、数据处理、决策分析等一系列问题的综 合技术。虚拟现实技术:以图形图像的可视化技术为依托 科学可视化 信息可视化 数据可视化 可视化样例 treemap 可视化样例：地图 Konya town map,Turkey,c.620
7、0 BCAnaximander of Miletus,c.550 BC Milestones Project http:/www.math.yorku.ca/SCS/Gallery/milestone / 记录信息 分析推理 证实假设 交流思想 可视化的作用 可视化的作用：记录信息 Galileo Galilei,1616 Leonardo DaVinci,ca.1500 引用：The History ofVisual Communication The Galileo Project,Rice University William Curtis (1746-1799) 记录信息 E.J.Mu
8、ybridge,1878 可视化的作用：记录信息 Photo Finishes: Information Rich Roger von Oech 感知海洋.avi 可视化作用：记录信息 后现代主义新闻 可视化的作用：分析推理 HalleysWind Map,1686 Planetary Movement Diagram,c.950 可视化的作用：分析推理 W.Playfair,1786W.Playfair,1801 可视化的作用：分析推理 M.Wattenberg,2005 可视化的作用：抽象 London Subway Map,1927 Harry Beck,1933 NewYorkTime
9、s,2010 可视化的作用：展示隐含模式 E.Tufte,Writings,Artworks,News C.J.Minard,1869 可视化的作用：展示隐含模式 E.Tufte,Visual Explanations, 1997 John Snow,1854 可视化的作用：展示隐含模式 NYTimes 可视化的作用：展示隐含模式 可视化的作用：传播思想 Preventable Wounds Other wikipedia.org F.Nightingale,CrimeanWar,1856 可视化的作用：传播思想 可视化的作用：传播思想 Hans Rosling,TED 2006 可视化的作用
10、：传播思想 Aaron Koblin, TED 可视化的作用：传播思想 Aaron Koblin, TED 可视化目标：信 可视化目标：达 可视化目标：雅 汇报汇报内容内容 一、相关一、相关背景背景 二、可视化分析介绍二、可视化分析介绍 三、目前三、目前相关相关工作工作 所做的相关工作 University of Maryland (Visiting Scholar,2013.4-2014.4) 1、研修内容与形式 Davinci（Data visualization,computing,and interaction）Lab 研究内容： 科学可视化；大数据表示、处理与交互科学可视化；大数据表
11、示、处理与交互 在研项目：大脑神经可视化，医学信息、生物信息的可视大脑神经可视化，医学信息、生物信息的可视 化与交互化与交互 应用：协助诊断治疗、病因推导协助诊断治疗、病因推导 ABI Development: PathBubbles for Dynamic Visualization and Integration of Biological Information(NSF Award Number:1260795 $400,007.00) GV: Small: Collaborative Research: Supporting Knowledge Discovery through a
12、Scientific Visualization Language(NSF Award Number:1302755 $173,593.00） 41 Project Example Source：Effects of Stereo and Screen Size on the Legibility of Three-Dimensional Streamtube Visualization 42 Sample： PICTURES 浅层应用 Gephi Gnuplot Tulip 用散点图和平行坐标图对一个 4维数据进行可视化 困惑与尝试 Mutual Information、causality、
13、visual clutter、HumMod 44 蝙蝠飞行数据 Department of Ecology and Evolutionary Biology at Brown University The marked bats were flown in either Harvard University Concord Field Station Wind Tunnel in Bedford, MA or in a flight corridor at Lubee Bat Conservancy in Gainesville, FL. 45 2、启发与研究 以蝙蝠飞行数据及研究方法为基础，
14、 SAX+BOP+集成学习方法 离散化、网络化、可视化方法 Weka、Python、Gnuplot、Tulip 46 Experiment 1:SAX+BOP+Ensemble 47 48 Experiment 2:时间序列的离散化、网络化 与可视化 Duality between Time Series and Networks (Andriana S. L. O. Campanharo,etc.) 49 网络及可视化结果样例 时间序列数据 50 3、下一步工作计划 参数选定对特征提取、机器学习、可视化效果的影 响；大规模数据应用效果；与实际应用的与实际应用的结合（结合（ECGECG、 EE
15、GEEG等医学数据）等医学数据） 51 Clustering and hierarchical Clustering and hierarchical graphsgraphs Explore multi-level graphs with Gephi by facilitating exploration and edition of large, hierarchically structured graphs, e.g., social communities, biochemical pathways or network traffic graphs. Aggregate networks using data attributes or use built- in clustering algorithm 53
