《大数据背景下的it系统性能优化解决方案》由会员分享，可在线阅读，更多相关《大数据背景下的it系统性能优化解决方案（24页珍藏版）》请在金锄头文库上搜索。
1、大大数数据背景下的据背景下的ITIT系系统统性能性能优优化解化解决决方案方案2大数据时代后的IT架构演变3市市场场 TB、PB级别的数据量 大量的非结构化数据 NOSQL数据库 分布式集群 现实现实 90%的企业核心数据10%10%- OS系统参数调整- 调整服务器内存分配- 调整磁盘IO- 调整资源竞争- 合理安排任务调度效果比重: 30%30%- 定期搜集统计信息- 定期执行索引重构- 定期执行表重组- 有效调整优化器参数- 修正优化器版本- 合理采用hint方言效果比重: 50%50%- 使用非过程化处理方式- 构建最佳索引- 执行计划最优化- 灵活应用局部范围扫描- 最优化表连接顺序-
2、 灵活使用复合处理方式- 灵活使用分区和并行处理效果比重: 80%80%- 制定数据标准化策略- 引入先进的行业模型- 减少数据冗余- 提高数据质量- 逆向建模技术优化预期效果： 1）确保系统整体性能提升300% 2）缩减硬件的持续投资 3）帮助开发和运维人员提高技术水平 4）建立持续的优化和运维机制性能优化方法论Server1Server2AppServerSQL及执行计划缓存对象结构 (表,字段,索引等)SQL Trace文件SQL数据库ServerN. . .Top SQL & Index TableClientClientClientClientAgentAgentAgentAPM S
3、erverUDP优化方案Oralce EMAWR Report战略索引SQL优化指南IDO通过工具服务的方式，对IT系统进行全面的监控、分析、优化，从而实现300%提升的承诺！生产环境性能优化解决方案8构建战略索引优化TopSQL优化应用程序待优化功能 清单系统 数据AWRAPMIDO输入执行步骤效果系统性能管理体系数据库运维体系1）系统运行平稳，客户重点关注的性能问题得到缓解和解决 2）建立初步的IT性能监控和管理机制，有效预防由于系统扩张带来的性能恶化性能优化解决方案项目实施方法问题诊断 和分析9性能优化解决方案项目实施案例通常项目的执行周期为6-8周，2-3人，约60-80人天10很慢的
4、请求很多服务节点服务节点请求阻塞情况性能优化解决方案性能监控Green 0006 Hunt 0008HuntAllen 0007 Clarke 0003Davis 0002 Ford 0005Jones 0004 King 0001FordClarkGreen 0006 Hunt 0008HuntAllen 0007 Clarke 0003Davis 0002 Ford 0005Jones 0004 King 0001FordClark性能优化解决方案SQL优化策略性能优化解决方案构建战略索引IDO 工具T r a c e F i l e 搜集器解析器结构化数据字典SQL语句执行计划统计信息S
5、QL语句执行计划统计信息Repository (知识库) 优化工程师分析工具: IDO输出报告: Excel应用程序战略索引设计的目的： 1.以表为单位全局考察访问该表的所有SQL语句、数据量及执行计划 2.全局调整Index，确保所有的SQL都有正确的索引使用，从而大大提高SQL执行效率 3.合适的索引数量，既可以确保DQL SQL的查询效率，也可以确保DML SQL的性能 4.准确的Index结构，从而能够确保Oracle制定正确的执行计划13性能优化解决方案数据模型优化类型内容业务内容执行信 息搜集优化及测试应用执行时间 (优化前)执行时间 (优化后)提升倍数批处批处 理业理业 务务PR
6、OC_DRU_MAIN(183PROC_DRU_MAIN(183分钟分钟) )存款每日利率 变更TRACE优化，测试，结果确认应用及提交11,00011,000秒秒1,1321,132秒秒9.79.7倍倍PROC_ICP_CYCLE_MAIN(PROC_ICP_CYCLE_MAIN(6161分钟分钟) )活期结息TRACE优化，测试，结果确认应用及提交3,7143,714秒秒415415秒秒8.98.9倍倍PROC_GLINTACCRUAL(34PROC_GLINTACCRUAL(34分钟分钟) )应计利息TRACE优化，测试，结果确认应用及提交2,0832,083秒秒670670秒秒3.13
7、.1倍倍RDP_PPBAL(8RDP_PPBAL(8分钟分钟) )个人活期余额 清单TRACE优化，测试，结果确认应用及提交483483秒秒7979秒秒6.16.1倍倍汇总汇总4个存储过程中包含了22个存储过程，21个包，平均性能提升平均性能提升1728017280秒秒22962296秒秒6.956.95倍倍类型内容优化方案执行时间 (优化前)执行时间 (优化后)提升倍数联机联机 交易交易 业务业务xxxx_SQLxxxx_SQL优化索引，改变执行计划1580.811580.81秒秒0.410.41秒秒3855.63855.6倍倍xxxx_SQLxxxx_SQL优化SQL语句和索引，改变执行计
8、划85.8785.87秒秒1010秒秒8.68.6倍倍xxxx_SQLxxxx_SQL改变表连接方式，优化索引，改变执行计划446.38446.38秒秒0.50.5秒秒892.8892.8倍倍xxxx_SQLxxxx_SQL优化索引，改变执行计划121.02121.02秒秒0.50.5秒秒242242倍倍xxxx_SQLxxxx_SQL调整索引结构，改变执行计划42.7842.78秒秒0.10.1秒秒428428倍倍xxxx_SQLxxxx_SQL改变SQL语句，调整索引，改变执行计划36.5236.52秒秒5 5秒秒7.37.3倍倍汇总汇总平均性能提升平均性能提升2313.562313.56
9、秒秒16.5116.51秒秒140.1140.1倍倍序号业务功能点负责人SQL 条目耗时评估(单位:秒)新建 索引数优化前优化后提升比例01合并工序查询*xxx245.243.1214.50 202库龄分析表查询*xxx42241.1111.72191.22 803需求计划反写xxx13.090.378.35 104配件分解*xxx6308.150.261185.19 105回修单审核xxx585.670.25342.68 106库存日志分析*xxx240.487.505.40 107工程更改单审核*xxx211.290.2153.76 008采贩入库单查询xxx14.500.01450.00
10、 009物料收发事务汇总xxx2320.8964.314.99 110领料出库单查询*xxx2210.5015.3513.71 1011库存调拨单审核*xxx120.840.012084.00 012回修质检单xxx115.891.1314.06 213领料出库单提交xxx1135.000.101350.00 014存货系统结帐xxx2168.8628.605.90 115存货系统反结帐xxx00.000.0000合计：293454.45105.5632.7232.7228南车株洲电力机车有限公司功能点优化清单卖给谁卖什么怎么卖性能优化 解决方案服务： 1）卖项目：根据系统规模 2）卖人天：5
11、-7K元人天 工具： 1）APM：性能监控工具 2）IDO：索引优化工具系统出现严重性能问题的客户，比如：数据量太大结不了帐，报 表十几个小时算不出来，系统业务高峰时，经常卡死，甚至宕机销售“三板斧” 1）承诺性能300%提升，否则不收费 2）进行POC：让客户提供关键功能或者SQL进行现场优化性能优化解决方案特点：客户需求明确，短平快，成果好衡量，应作为重点销售内容进行推进性能优化解决方案销售策略性能优化解决方案售前案例系统审计解决方案南方电网某省公司，今年来一直在进行旧系统的升级工程，“南网6+1工程”，大部分的 系统都是由各个外包开发公司承建，南网IT没有一直寻求一套，“黑盒变白盒”的测
12、试和质量管理 工具，Jennifer的成功应用，真正站在了甲方角度，帮助客户进行IT的审计和质量评估。审计标准indexSQLtable应用调整系统上线在建审计：通过完善的审计标准确保系统上 线前隐患得以解决 价值：建立标准，预防为主7*24小时上线前通过审计后 才可上线AWR在运监控：通过实时监控体系 发现瓶颈，及时解决 价值：实时监控，持续优化系统审计解决方案案例RepositoryJava程序C+程序源代码SQL及执行计划缓存对象结构 (表,字段,索引等) SQL Trace文件应用数据库AP#IDO审计 指标审计报告1234静态SQL动态SQL，数据库对象其它语言大客户营销系统账户管理
13、系统XX系统核心 系统审 计 和 治 理 架 构3813238132张表张表, 87558, 87558个索引个索引, , 每表平均每表平均1.52.51.52.5个索引个索引共共338338个表使用了分区个表使用了分区27,027,06868个无个无PK,UK,FKPK,UK,FK的表，的表，836836个无效索引个无效索引执行次数和解析次数超过执行次数和解析次数超过5,0005,000次的次的SQL 485SQL 485个个154154个重复索引，个重复索引，211211个个5 5列以上的组合索引列以上的组合索引1001510015个个SQLSQL语句，全表扫描或全索引扫描语句，全表扫描或
14、全索引扫描39573957个，比例个，比例40%40%搜集搜集SQLSQL，解析获得，解析获得ACCESS PATHS, ACCESS PATHS, 构建战略索引构建战略索引IDO接受审接受审 计任务计任务清空数据清空数据 库库SGA功能测功能测 试试SGA SQ L抓取抓取人工审人工审 计计提出优提出优 化建议化建议编写审编写审 计报告计报告接受审接受审 计任务计任务AP#从从代代 码码自动自动搜搜 集集SQL功能功能测试测试IDO从从SGA 搜集搜集S SQL工具根据指工具根据指 标自动审计标自动审计提出优提出优 化建议化建议生成审生成审 计报告计报告当前审计流程缺陷当前审计流程缺陷1）自动化程度低，人工消耗多。2）人为分析不够全面，不够彻底。3） 仅是增量审计，无法实现全样审计。4）优化建议不够客观。5）无审计指标，主观性强。新审计流程缺陷新审计流程缺陷1）全面实现审计自动化，成本低。2）全量审计，覆盖面广，程度深，图形展示结果。3）提供索引优化建议时粒度分析更加细致(以表为单位 分析，以索引为单位分析，统计索引的使用频度)。4）提供索引优化建议更加全面5）严格遵循审计指标，客观性强。当当前前 审计审计流程流程新新 审计审计流程流程Thank you
