《企业级数据库维护和大数据技术应用》由会员分享，可在线阅读，更多相关《企业级数据库维护和大数据技术应用（68页珍藏版）》请在金锄头文库上搜索。
1、企业数据库维护和 大数据技术应用,致力于成为国内领先的第三方整体外包服务商,新炬网络成立于2006年，注册资本3000万，是上海新炬集团成员企业，致力于成为国内领先的第三方IT整体外包服务商。 主营业务涉及系统软件运维服务、运营外包、数据治理、应用优化与应用质量管理服务等，同时提供自主研发的自动化运维、自动化测试、大数据等软件产品和解决方案。 新炬连续多年成为ORACLE、IBM和HP中国及亚太区最佳合作伙伴 新炬公司目前是中国最大的系统软件服务商，拥有超过500名系统软件相关技术人员 通过ISO9001、ISO20000和ISO27001认证，并且是双软认定企业和CMMI3国际认证企业,客户
2、覆盖电信、金融、电力、交通、政府和制造等各类企事业单位 以电信行业为例，新炬网络正在服务的中国移动用户数已经超过50%,引领中国IT服务市场的发展,在上海、广州、北京、杭州、成都、长沙、昆明等全国16个主要城市设立了分支机构和本地化技术团队，拥有超过500名技术人员。,企业级数据库运维介绍与大数据技术应用,课程,大数据时代下的企业变革,电信级数据库架构与数据治理,主流数据库技术简介与适用场景,阿里巴巴去IOE革命与开源数据库技术,大数据技术生态体系总体介绍,数据库管理人才的发展现状,从泄密事件看大数据对企业的重要性,移动行业的数据库支撑,企业常用大型数据库Oracle介绍与管理技巧,课程目录,
3、陈栋,前阿里巴巴DBA团队负责人，在互联网大规模数据库运维有丰富的经验,王晓征,中国移动浙江公司信息技术部副总，中国第一位ORACLE OCM认证大师,程永新,新炬网络联合创始人，中国数据库、大数据领域资深专家，15年电信行业信息化管理经验，中山大学工商管理硕士，香港大学EMBA。,任江涛,博士，中山大学软件学院副教授、硕士生导师,吴东昕,ORACLE大中国区资深架构师，清华研究生毕业后历任中国移动BSS架构师和IBM行业架构师,林小勇,高级总监、Oracle前首席讲师，长期服务于电信行业，拥有15年ORACLE管理支持经验，致力于电信行业关键核心超大型应用数据库的规划设计，运维支持。,讲师团
4、队,数据管理的发展历程,50年代，数据管理系统出现,人工管理,文件系统,非关系型 数据库,关系型 数据库,非关系型 数据库,文件系统,利用操作系统中的文件管理进行数据存取,1970年，EF.codd发表论文奠定了关系型数据库 1977年，oracle数据库面世,伴随着大数据时代来临，处理海量数据的NoSQL走进人们的视野,不仅具备NoSQL处理海量数据的能力，也保持了传统数据库支持ACID和SQL的特性,NEWSQL,Hadoop，目前最广泛的大数据解决方案,1961年，通用电气公司开发出第一个数据库IDS,一.企业级数据库运维 二.大数据以及大数据技术应用,目 录 CONTENTS,企业信息
5、化已经成为当下 所有行业发展的重要驱动力量,电信行业,金融行业,医疗行业,能源行业,企业信息化,网络管理域,业务支撑域,信息管理域,业务支撑域以NGBOSS系统为核心，实现用户全业务受理、计费、结算和客户服务，还包括电子渠道、经营分析等围绕客户营销计费的相关系统组成,信息管理域以ERP系统为核心，辅助人力资源管理、采购管理等子系统，还包括4A安全等IT系统，实现企业运营管理电子化的平台,网络管理域是以综合网管系统为代表，以IT系统全面支撑网络资源管理、网络运行管理、网络质量管理等各项工作,在电信行业中，信息化已覆盖企业运营各个方面,随着企业信息化的不断深入发展，数据管理始终是企业信息化的核心。
6、,数据管理可以为企业提供可靠、有价值和高质量的数据，提供更好的产品和服务，为企业提供更明智和更有效的决策数据支持。,数据管理的价值,目前常见的数据库关系型数据库,在关系型数据库中，数据以行和列的形式存储，以便于用户理解，这一系列的行和列被称为表，一组表便组成了数据库。 在关系数据库中：各数据项之间用关系来组织,关系(relationship)是表之间的一种连接，通过关系，我们可以更灵活地表示和操纵数据。,Oracle在数据库领域的领导地位,根据Gartner在2014年3月发布的调查报告，在2013年RDBMS市场份额中，各厂商的比例分布如下，其中Oracle 47.4%，Microsoft
7、19%，IBM 17.7%，SAP 7.0%，Oracle数据库的市场份额在2013年再次占据第一的位置，超过了随后4个厂商的总和。,ORACLE的成功因素,Oracle进入国内市场较早，有先入为主的优势 Oracle在技术上不断创新，不断引导数据库（尤其是关系型数据库）的技术进步 Oracle在多版本并发控制(MVCC）,真正应用集群（RAC）等高级特性奠定了Oracle的江湖地位 Oracle早期相对其他厂商更为开放的license，降低人们学习Oracle的门槛。 较完善的文档以及各大小技术论坛，降低了人们的学习难度。 上述原因综合造就目前Oracle独步关系型数据库市场的局面。,关系型
8、数据库MySQL,MySQL是一个开源的小型关联式，支持分布式，有多种不存储引擎的开源数据库。MySQL凭借经济高效、可靠、高性能且可扩展的电子商务、联机事务处理和嵌入式数据库应用程序成为全球最流行的开源数据库, 大容量 OLTP 实时分析 电子商务、金融交易和支付网关 在线游戏 移动和小额支付,MySQL应用场景,其他常见的关系型数据库,EnterpriseDB是PostgreSQL的一个分支，在PostgreSQL基础上，针对企业级应用进行了专门的优化，同时，增加了一系列如动态性能调优、EDB Loader、高效批量SQL处理等高级特性；在众多功能亮点中，EnterpriseDB的兼容性技
9、术尤为惹眼。,PostgreSQL 是一个自由的对象-关系数据库服务器，它在灵活的 BSD-风格许可证下发行。,MariaDB数据库管理系统是MySQL的一个分支，主要由开源社区在维护，采用GPL授权许可。开发这个分支的原因之一是：甲骨文公司收购了MySQL后，有将MySQL闭源的潜在风险，因此社区采用分支的方式来避开这个风险。,国产数据库也在不断发展,达梦数据库管理系统已经发展到7.0版本，简称DM7。DM7采用全新的体系架构，在保证大型通用的基础上，针对高性能、海量数据处理和安全性做了大量的研发和改进工作，并能同时兼顾OLAP和OLTP请求。,2014年10月30日，南大通用与IBM宣布将
10、在中国创建自主创新的数据库产品。南大通用将基于IBM Informix技术开发并销售这种本地创新的数据库，针对中国市场的独特需求定制一流的数据库解决方案。,数据库在企业信息化中扮演着重要的角色,911事件发生后，世贸大厦里的大量数据化为乌有，据统计，金融业在数据系统遭到破坏的2天内所受损失为日营业额的50%，两个星期内无法恢复信息系统，75%的公司将业务停顿，43%的公司将再也无法开业，没有实施灾难备份措施的公司60%将在灾难后23年间破产。 而摩根士丹利（Morgan Stanley）在半小时内就在灾备中心建立了第二办公室，第二天就恢复全部业务。,忽视数据库的重要性，带来的后果是难以估量的.
11、,2012年，北京联通声称因系统交割升级，在5月28日到6月6日暂停办理固话宽带等多项业务。之后由于系统升级失败实施回退，于6月30日再次暂停业务一周。,同时，缺乏对数据库的有效管理手段，也会造成巨大的损失,数据库管理,数据库安装、数据库配置和管理、权限设置和安全管理、监控和检查、备份和恢复、解决故障、数据存储管理、数据库优化、数据库规划和设计,数据库是企业IT信息化建设的灵魂,通过逐级推进，通过评估分析、系统设计、测试实施到上线运维，逐步实现完善的应急/容灾体系建设。,应急容灾,生产中心,应急中心,容灾中心,数据中心,应用级容灾（WAS/MQ）,Active DataGuard,Golden
12、Gate,“故障能应急、平时能分流”的应急系统是业务连续性保障建设的发展方向,数据架构,数据架构管理,数据架构管理通过建立企业数据架构总体视图，对数据结构、数据模型、数据分布、数据流、业务流等进行规范和管理，并通过统一的数据架构管理团队、体系及平台进行有效的落地及管控，确保对业务高效、稳定、快速的支撑能力。,主要内容包括：,企业数据架构规划 企业数据分布规划 业务数据映射梳理和分析 数据标准设计和和优化 系统数据模型设计 系统数据模型变更审查 系统数据模型梳理和优化,测试监理,需求/设计,开发,测试,通过自动化测试、性能测试、UAT测试以及版本上线管理等手段，全面提升应用软件的交付质量。,交维
13、,日益增长的应用人数和业务量对系统性能提出了更高的要求，通过从WEB层、应用层和基础层等各方面进行端到端应用优化理论，以及对WEB展现、应用逻辑等多层次、多维度的优化分析，实现业务系统10倍以上的性能加速，全面提升系统的整体性能和稳定性。,性能优化,WEB层,应用层,基础层,新炬无边界服务模式,系统1,业务流程,应用系统,中间件,数据库,虚拟化,主机/存储,维护团队1,系统2,维护团队2,系统n,维护团队3,网络,烟囱式运维模式,新炬无边界 云端专家团队,新炬无边界 DevOps团队,运维/管理/优化/安全支持,平台产品/支撑工具,运维经验总结,新炬无边界服务模式,运维平台化,传统烟囱式运维,
14、一.企业级数据库运维 二.大数据以及大数据技术应用,目 录 CONTENTS,美国和其他40多个国家,400万个评分 300万次搜索请求,基于对海量数据积累和分析的结果，利用大数据技术，选择观众喜爱的演员、导演和题材，从而实现火爆的收视率,2012年年初的一天，一个父亲闯入他家附近的Target超市向经理兴师问罪，因为超市将婴儿尿片和童车的优惠券寄送给了他17 岁的女儿。但一个月后，这位父亲打来电话道歉，因为他的女儿的确怀孕了。,这其中的玄妙就在于Target运行的大数据模型，能够通过对客户购买行为的分析将各种类型的顾客细分出来。,这是一个变化的年代，当很多人还没有搞懂PC互联网的时候，移动互
15、联网来了，当很多人还没弄懂移动互联网，大数据来了。,农耕时代,工业时代(17世纪),电气时代(20世纪),互联网时代(2000年),数据量井喷，据统计，全球90%的数据都是在过去两年中生成的。互联网、社交网络、传感器、科研、金融正在产生越来越多的数据。,想驾驭这庞大的数据，我们必须了解大数据的特征。,全球每秒钟发送 2.9 百万封电子邮 每天会有 2.88 万个小时的视频上传到Youtube 推特上每天发布 5 千万条消息 每天亚马逊上将产生 6.3 百万笔订单 每个月网民在Facebook 上要花费7千亿分钟 Google 上每天需要处理24PB 的数据 中国移动每天产生1PB+信令数据,H
16、adoop,IBM,英特尔,HP,数据,商业智能,数据库,服务器,SAP HANA,NoSQL,SQL,HDFS,预测,数据流,运算节点,机器学习,并行计算,磁盘阵列,ORACLE,AMD,内存计算,Google,Map reduce,可视化,Gb,Pb,Tb,Zb,大数据(big data)或称巨量数据、海量数据，指的是所涉及的资料量规模巨大到无法通过人工在合理时间内达到撷取、管理、处理，并整理成为能够人类解读的信息。,“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）” 就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。,大数据的4V特征,Volume 海量,1 PB = 1024TB = 1,048,576 GB,1 EB = 1024PB = 1,073,741,824 GB,1 ZB
