《南航svc大数据支撑案例.ppt》由会员分享，可在线阅读，更多相关《南航svc大数据支撑案例.ppt（25页珍藏版）》请在金锄头文库上搜索。
1、南航SVC大数据支撑案例,提 纲,进一步的工作,系统架构,技术选型考虑,案例说明,数据分散，形成数据孤岛；无法统一共享。,1,3,4,5,6,2,7,8,高端系统旅客资料,大客户旅客资料,呼叫旅客资料,客舱旅客资料,电子客票旅客资料,离港旅客资料,销售旅客资料,客户统一视图系统（SVC）,通过SVC系统统一客户数据,集中访问效率不高，系统稳定性不足，投资大。,SVC初期探索,SVC架构优化思考及技术选型,RMDB主要技术难题,扩展困难 并发读写慢 成本高（小型机+存储） 无法支撑海量数据,NoSQL的优点,NoSQL的不足,大数据量 高性能、高可用 弹性扩展能力 灵活的数据模型 低成本,不完全
2、支持SQL 不支持事务 不支持多表关联 不支持聚合查询 无法保证数据一致性,优 点,迁移成本底 方案成熟稳定 能很好的支撑事务 能保证数据的完整性 能提供较高的TPS满足业务性能要求 开发成本低，技术风险低 有较好的扩展性,我们的选择,并发访问量高，速度快，稳定高效，系统投资小。,系统部署架构,数据库,小型机C档,光纤交换机,光纤交换机B档,磁盘阵列,磁盘阵列B档,数据库软件,SVC主备两套 CBD主备两套,小型机方案,汇总600万,数据库 PC server,数据库软件,SVC主备两套，CBD主备两套,汇总 35万,分布式方案,并发访问量高，速度快，稳定高效，系统投资小。,投资比较,结果比较
3、,选择hadoop+hive做分析平台,高效率： 通过分发数据，hadoop可以在数据所在的节点上并行地处理,处理非常的快速。 高扩容能力： 服务器群总计可达数千个节点，能可靠地存储和处理PB级数据。 成本低： 使用普通机器组成的服务器群来分发以及处理数据。 可靠性： hadoop能自动地维护数据的多份复制，并且在任务失败后能自动地重新部署计算任务。 跨平台： JAVA实现支持各种平台并支持多种语言的MapReduce.,A表(30亿)+B(2亿)表 A表做聚合统计查询，时间5分12秒； A表做数据清洗，时间12分07秒 A表与B表 join 后做聚合统计查询，时间14分36秒,测试结果,数据
4、分析平台架构,业务数据库,业务系统,大数据处理集群,交易数据,文件/邮件数据,客户数据,设备/运行数据,大数据处理平台,Datanode,Datanode,Datanode,Datanode,Name node,HDFS,ETL,数据,A1,A2,A1,A2,A1,A2,Map Reduce,任务管理,导入,导入,数据清洗,Hadoop可以存贮PB级别的数据，并且每个文件在不同的机器上有2份或3份备份，这样即使一台机子故障，将不会影响系统的可用性。,大数据处理平台,大数据存储问题的解决,MySql,Hadoop集群,ETL工具,平台数据转换服务,3、转换任务调用,4、数据转换,1、数据导入,B
5、I分析,BI系统,报表查询,数据源,SVC,CBD,FFP,2、数据导入,Hive,mapred,5.1、报表生成,5.2、特殊报表生成,6、报表导出,BI分析效率的解决,构建开源数据服务平台,分布式数据库中间件,数据库节点,数据库节点,数据库节点,数据库节点,可扩容至1024个节点,界面化配置,按需扩容,灵活缓存机制： 注解式、 配置式、 编程式、 AOP拦截,在应用和底层数据源之间，构建一层代理，统一数据层； 垂直切分：数据按业务划分存储在不同的数据库，表间关联密切的表划分在一起，例如同一模块的表。 水平切分：将同一个表中的不同数据拆分到不同的数据库中； 统一数据访问API：隐藏后端复杂数
6、据分布细节，数据库操作看起来就像是在同一数据库中；,统一数据服务平台中间层,数据服务平台架构,容易引起: 重复研究 法律问题 包版本冲突 系统不稳定 技术无法积累 对人员要求高 研发成本高 后续维护成本高,分享：开源技术统一管理的必要性,平台层,视图层,框架层,中间件层,js：query、dwr、swato、GWT、 prototype UI控件：Dhtml 、jquery UI、 ExtJs、 easyui JSP：velocity、tag、 JFS,MVC：struts1、struts2、spring、webwork ORM： hibernate、ibatis、persist 组件：日志类
7、、工作流类、XML解释类、安全类、缓存池类、接口服务类、数据传输类,容器：tomcat、jboss、jetty、apach、 nginx 消息：active Mq、mule、openESB. 集群管理：zookeeper、 heartbeat、 lvs、ganglia、 Nagios,DB：mysql、 PostgreSQL NoSQL:hadoop、mongoDB、hive、pig 工具： Kettle、sqoop、datax、cobar、Myfox,分享：开源技术管理策略,分享：开源技术管理方法,公用开源包用maven进行统一管理，形成企业开源库,占领开源技术前沿 节约成本、满足业务需求,
8、开源技术统一选型,开发框架统一封装,通用组件统一研发,实现工具化、模块化、规范化,分享：开源技术的推进策略,开源实验室,分享：组织机构设计,技术小组 （虚拟团队）,开源 实验室,研发团队,公司领导,项目经理团队,需求提出 技术发展规划 规范制订 技术评审 开源项目验收,开源产品研究、测试、封装、开发,技术评估 技术选型 技术目标制订 架构设计 开源管理,技术文档编写 技术培训 技术网站维护 项目技术支持,技术战略 调配资源,南航推进软件开源化成果,1,建立以五大数据核心为基础的开源化SOA平台 通过开源化，已经完成旅客信息、旅客行为、运行控制信息三大核心数据库及面向 SOA核心服务平台。,2,移动化、整合业务应用端 在企业核心服务平台基础上，利用开源技术，重新整合呼叫中心、地面服务等应 用，面向岗位需求实施移动化策略。,3,建立统一WEB技术架构 使用开源技术，开发可伸缩性的统一平台架构，统一移动应用架构，统一 WEB应用架构。,4,初步形成JBOSS/Linux/LVS统一开源基础性架构 大部分新系统采用新的开源技术，原系统被进行优化，逐步统一使用开源的基础 架构。,5,初步形成MySQL/hadoop/hive数据服务平台 部分系统使用Mysql集群替换商业数据库，并实现读写分离。正在进行hadoop+hive 的分布式大数据平台的研发，以支撑商业智能分析。,完,
