《最新助力医疗信息无限化幻灯片》由会员分享，可在线阅读，更多相关《最新助力医疗信息无限化幻灯片（21页珍藏版）》请在金锄头文库上搜索。
1、助力医疗信息无限化助力医疗信息无限化你知道的，你不知道的你知道的，你不知道的突破Breakthrough20082008，19871987，19291929危机之后五年危机之后五年从从“你知道你不知道你知道你不知道”开始突破开始突破从数据中分析规律从数据中分析规律交易规则IFAMDprice moves outside 2% of AMD-15-minute-VWAPFOLLOWED-BY(S&Pmoving by 0.5%AND(AMDs price moves up by 5%ORINTELs price moves down by 2%)ALLWITHINany 2 minute tim
2、e periodTHENBUY INTELSELL AMDAMD海量数据分析实时事件处理AMD令人惊讶的数据量令人惊讶的数据量NASDAQ 2975+ NYSE 2844 各大交易所的股票数目 + AMEX 894+ OTCBB 1219 + Pink Sheets 1834Total 9766股票 9,766X 价格波动/分 30可供分析数据量 X 数据点/波动 46万亿条股票交易信息 X 每天7个小时 420X 交易日/年 250X 年数 50 可供分析的数据值 6,000,000,000,000呼唤突破性的技术呼唤突破性的技术OLTP OLTP 交易业务交易业务OLAP OLAP 分析系
3、统分析系统传统行式数据库传统行式数据库内存数据库内存数据库更多事务处理更多事务处理列式数据库列式数据库更大量数据的复杂分析，更大量数据的复杂分析，随机的实时分析随机的实时分析列式数据库是革命性的列式数据库是革命性的传统行式数据库传统行式数据库c5c4c3c2c1c9c8c7c6r1r2r3r4r5列式数据库列式数据库c5c4c3c2c1c9c8c7c6r1r2r3r4r5数据按列存储数据按列存储 每一列单独存放每一列单独存放数据即是索引数据即是索引只访问查询涉及的列只访问查询涉及的列 大量降低系统大量降低系统IOIO每一列由一个线索来处理每一列由一个线索来处理 查询的并发处理查询的并发处理数据
4、类型一致，数据特征相似数据类型一致，数据特征相似 方便压缩方便压缩数据是按行存储的数据是按行存储的没有索引的查询使用大量没有索引的查询使用大量I/OI/O建立索引和物化视图需要花费大量时间和资源建立索引和物化视图需要花费大量时间和资源面对查询的需求，数据库必须被大量膨胀才能满面对查询的需求，数据库必须被大量膨胀才能满足性能要求足性能要求使用列式数据库使用列式数据库多：1 PB 股票交易数据 (6万亿条股票报价) 快：2850亿行/天 (300万行/秒)杂：非结构化数据： 26 TB/天小：在IQ里压缩成159 TB便宜：低端存储，价格成倍下降压缩比：压缩比：6.36.3倍倍相比行式数据库可能是
5、六分之一的空间几十分之一的代价列式数据库列式数据库 vs. vs. 行式数据库行式数据库行式数据行式数据库列式数据列式数据库比率比率( (倍）倍）5000万条纪录带索引加载7111.33”265”26.81亿条纪录带索引加载14463.8”1161.44”12.5数据存储总占用空间183.51(G)27.5(G) 6.7测试大表count、sum聚合操作,排序3057.24”734”4.1测试利用索引过滤纪录后对大基数字段group by ,sum操作332.54”133.3”2.3测试大表count、sum聚合操作1050.37”423.87”2.5测试利用索引过滤纪录后对小基数字段grou
6、p by ,sum操作13.65”1.27”13.8子表操作3057.24”734”4.1列式数据库列式数据库(Column Database)(Column Database)的潮的潮流流1.Google的Bigtable, Yahoo的解决方案基于PostgreSQL2.Sybase IQ: 第一个也是最成熟的列式数据库1994/10, Sybase收购了Expressway Technologies最初的名字是“IQ Accelerator”2009年推出的Sybase IQ15版有多项创新科技3.其他新兴创业公司: Vertica (创始人 Michael Stonebreaker,
7、Ingres和PostgreSQL的创始人)， SAND，Clearpace尼尔森媒体研究尼尔森媒体研究: : 5020亿条数据(2005年全球第一名) - 15年的收视数据美国税务局美国税务局(IRS): (IRS): 全美国所有报税人7年报税记录(及原始文档) (15亿条记录)花旗银行花旗银行: : Sybase IQ保存6年所有交易记录，HR数据及文档联邦快递联邦快递(FedExFedEx) ): : 全球所有送递品的海关报关单中国农业银行中国农业银行：“银行卡统计分析系统”获得世界IT精英组织（COMPUTERWORLD HONORS PROGRAM 计算机世界荣誉奖励计划，简称CHP）授予“2008年Computerworld荣誉桂冠” 铁道部：铁道部：客票系统分析中国移动：中国移动：短信/彩信统计分析，报表系统列式数据库的用户列式数据库的用户深挖掘，速决策，促转型深挖掘，速决策，促转型21世纪是中国的世纪也是信息科技的时代信息科技的发展提供了突破的手段企业的成功转型奠定21世纪的发展方向愿携手中国企业抓住机遇结束语结束语谢谢大家聆听！谢谢大家聆听！21
