大数据技术在传统企业信息化的应用

《大数据技术在传统企业信息化的应用》由会员分享，可在线阅读，更多相关《大数据技术在传统企业信息化的应用（30页珍藏版）》请在金锄头文库上搜索。

1、2014中华数据库不运维安全大会 中华数据库 行业协会 官方网址： 大数据技术 在传统企业信息化的应用 2014-05-24 本次分享的目的 站在企业的角度看创新：基于常年在传统企业信息化一线的实践与 思考，分享传统企业在大数据转型中的一些浅见。 站在企业的角度看机遇：传统企业在拥抱大数据变革中，存在很多 机遇，将业务与技术更好的融合，甚至用技术创新带动传统业务模 式创新，将能创造巨大的价值。 圆通速递-全年无休、电商快递业务模式创新 圆通速递创建于20002000年年5 5月月2828日日，经过近十四年的发展，已成为一家集速 递、航空、电子商务等业务为一体的大型企业集团，品牌价值和综合实力名

2、 列中国快递行业前三甲前三甲。 圆通在全国建立了8 8大管理区大管理区，7272个转运中心个转运中心，70007000多个网点多个网点，拥有1212万万 余名员工余名员工，服务覆盖国内21002100余个城市余个城市，县级以上城市覆盖率超过90%90%，航 空运输通达118个机场，航线覆盖200多个城市，目前拥有4架自主全货机， 陆路运送收派车辆2 2万多辆万多辆。 2003年，喻渭蛟提出的“24小时不间 断、一周七天不休息”的收送件制决策， 让公司实现第一次飞跃。 2005年，喻渭蛟在研究美国电子商务 发展历程后，圆通抛开固步自封的传统 观念，紧紧抓住与阿里淘宝的合作机遇 2009年，喻渭蛟

3、带领圆通率先与国际 知名咨询公司IBM合作，投入资金6亿元 永辉超市-民生超市的生鲜创新 永辉超市成立于20012001年，十年创业，飞跃发展，是中国企业500500强强之 一，上海主板上市（股票代码：601933601933） 永辉超市被国家七部委誉为中国“农农改超改超”推广的典范，被百姓誉为 “民生超市、百姓永辉”。目前在中国1717个省市已发展逾440440家连锁超市， 经营面积超过350350万平方米万平方米，位居2013年中国连锁百强企业1313强、中国 快速消费品连锁百强6 6强。 IBM-百年企业的创新为要 百年老店的价值观：成就客户、创新为要、诚信负责 Global Busin

4、ess Service-Application Innovation Service 传统企业及其多年丌变的信息系统架构 App cluster1 db1 App cluster2 db2 App cluster db-rac1db-rac2 DW DSS App 中 小 型 应 用 中 小 型 应 用 核 心 应 用 商业 智能 DB 磁盘 共享磁盘 例如： Informix XPS Oracle RAC DB2 pureScale DB SAN/共享磁盘 DBDBDB 网络 SAN/FC 完全独享 例如：大部分中 小数据库应用 如此下去，迟早有一天，网络预言会变成现实：如此下去，迟早有一天

5、，网络预言会变成现实： 传统企业：以线下交易为主体的传统商业模式，主要的供应链渠道为非电子 渠道，传统的银行、电信、制造、零售、物流。 阻碍企业技术创新的推手 功能和性能不断增强的关系数据库功能和性能不断增强的关系数据库RDBMSRDBMS 智能统计数据收集 万能的查询分析器 缓存最常用的数据 横向扩展技术 数据复制技术 强大和稳定的小型机强大和稳定的小型机 高大上的存储设备高大上的存储设备 数以百计的CPU核数 TB量级的内存大小 正常情况下接近0的down机时间 数以千计的硬盘数 TB量级的缓存大小 正常情况下接近0的down机时间 在传统架构模式下 业务：系统跑不动了， 怎么办？ 在乎传

6、统架构模式下，只专注于应用功能的实现，遇到性能问题之后 IT：有些索引没建好导 致数据库压力大 业务：系统又跑不动了， 怎么办？ IT：数据库压力还是大， 加CPU、加内存 业务：还是不行啊 IT：IO不够，上顶级存 储、加硬盘 业务：依然慢啊 IT：买多几台小型机、用 数据库多节点横向扩 业务：钱花了不少，还 是慢 IT： 业务： 传统企业正在经历大数据的变革： 1、渠道电子化带来数据量的倍增：网上银行、网上营业厅、多渠道客服、 电子商务、O2O 2、市场竞争加剧要求向管理要效益，精细化管理提升对数据全生命周期的 要求：采集、处理、使用、分析、反馈 传统企业经历数据量变到质变的变革 企业内部

7、的经营交易信息、物联网世界中的商品物流信息，互联网世界中的 人与人交互信息、位置信息等，其数量将远远超越现有企业IT架构和基础设 施的承载能力，实时性要求也将大大超越现有的计算能力。 数据量变到质变之后，原有系统不再是运行速度慢，而是根本无法响应与全 面崩溃，如同病来如山倒的架势。 背后的原因 技术上根源于对关系数据库的滥用，以及用堆砌硬件的方法错误的解决问题技术上根源于对关系数据库的滥用，以及用堆砌硬件的方法错误的解决问题 关系数据库的特质关系数据库的特质 对数据持久存储 查询方便 ACID 被衍生出来的优点被衍生出来的优点 大并发支持 横向扩展 查询分析器 传统数据量 用得真爽！ 数据量质

8、变后 特质被滥用、优点变缺点特质被滥用、优点变缺点 高水位问题 表上索引建满了，依然很慢 横向扩展效率低下 大并发撑不住 查询分析器总是全表扫描 晕死了！ 大数据 “大数据”在物理学、环境生态学等领域以及军事、金融、通讯等行业存 在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。 数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然很多企业 可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推 移，人们将越来越多的意识到数据对企业的重要性。纽约时报2012 年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其 他领域中，决策将日益基于数据和分析而作出，而并非基

9、于经验和直觉。 截至到2012年，数据量已经从TB（1024GB=1TB）级别跃升到PB （1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)级别。国际数 据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB，2009 年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数量更是高达1.82ZB， 相当于全球每人产生200GB以上的数据。而到2012年为止，人类生产的所有 印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约是 5EB。IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年 内产生的。而

10、到了2020年，全世界所产生的数据规模将达到今天的44倍。 大数据技术-简单罗列大家能够想到的 开源大数据技术： 1、NoSQL, MongoDb, Memcache, Redis 2、HadoopHDFS、MapReduce, HBase、Hive 3、Strom 4、CloudFoundry、Openstack 商用大数据生态圈： 1、一体机数据库/数据仓库：IBM PureData(Netezza), Oracle Exadata, SAP Hana等。 2、数据仓库：TeradataAsterData, EMC GreenPlum, HPVertica等等。 3、内存数据库：GemFi

11、re/SQLFire, TimesTen 4、vSphere/vCloud 大数据技术-体系化一些 备注：引用自pivotal Analytic Data Marts MPP Database Operational Intelligence In-Memory DB Run-Time Applications In-Memory Object Enterprise Key Data RDBMS Data Staging Platform Traditional BI/Reporting Data Visualization Data Ingestion System Stream/CEP 大

12、数据技术的实质 ACID并不都需要，持久化不用太严格1 纯内存计算，只基于Key查询内存中的数据2 数据天生就打散在各个节点，分布式计算后再汇总3 轻量级的队列作为模块间的中转4 与业务融合的横向扩展，如：分库分表应对单表数据 量过大，sharding模式内存库等 5 虚拟化、私有云让服务器的资源充分利用6 传统企业信息化如何应用大数据技术 站在企业架构的高度，做好全局规划，找准需要应用大站在企业架构的高度，做好全局规划，找准需要应用大 数据技术的领域，简单的系统不必复杂化数据技术的领域，简单的系统不必复杂化 在每个领域内，充分理解业务流程和业务需求，清晰划在每个领域内，充分理解业务流程和业务

13、需求，清晰划 分系统上下文，对领域内数据的特性进行分析分系统上下文，对领域内数据的特性进行分析 基于数据特性分析，融合各种技术手段来处理基于数据特性分析，融合各种技术手段来处理 使用的技术手段越多，开发的复杂度越高、处理的环节也使用的技术手段越多，开发的复杂度越高、处理的环节也 越多、服务器数量也倍增，做好充分的计划、测试与运维越多、服务器数量也倍增，做好充分的计划、测试与运维 Enterprise Architecture的目的 模块设计与实现 System Design the buildings Enterprise Architecture the city plan Strategy

14、 the citys purpose & goals As an integral part of the strategic planning process, the EA is the linkage between the business strategy, IT strategy and IT implementation EA guides investment, cost reduction and design decisions to support the goal of optimizing return on IT investments (ROI) The Ente

15、rprise Architecture defines an environment in which infrastructure and solutions can be built for both known and unforeseen future requirements 系统设计与实施 模块设计与实现 Enterprise Architecture的方法 EA(Enterprise Architecture)企业架构，是国际上先进的IT架构规划框架模 型。美国架构规划专家Zachman在上个世纪的90年代初，就建立了企业架 构标准框架（ZachmanEnterprise Arc

16、hitecture Framework） 企业架构的构成为：业务架构、业务架构、 数据架构、应用架构、技术架构数据架构、应用架构、技术架构。 数据架构、应用架构、技术架构 这几部分够成了IT IT架构架构。 数据是信息系统管理核心资源， 数据架构数据架构可以反映业务架构的本 质，所以在Zachman框架中， 把数据放在了第一列。 Enterprise Architecture-应用架构示例 企业数据分析-示例 订卑数据：长期数据、数据总量大、并发插入大、时间密集、一周内频繁查询、 按单号查询 快件操作：长期数据、数据总量大、并发上传插入大、时间密集 走件查询：长期数据、数据总量大、并发查询大、随机性强、一周内频繁查询、 一周内频繁更新（独立存放）、按单号查询、按关联订单查询 运卑摘要：长期数据、数据总量大、并发查询大（被各个功能模块频繁使用）、 随机性强、一周内频繁更新、一月内频繁查询、按单号查询、按关联的订单查询 运卑路由：短期数据、需要密集