《数据库设计模式变迁---高峡》由会员分享，可在线阅读，更多相关《数据库设计模式变迁---高峡（109页珍藏版）》请在金锄头文库上搜索。
1、数据库设计模式变迁 高峡 2014-04-12 Who Am I？ MS in Computer Science IBM Singapore 全球顶级市场调研公司 标签： 数据库 多维数据集 商务智能 数据挖掘 NOSQL 大数据 商业模式 数据库设计模式 应用场景 新浪微博：高峡之数据时代 高峡出平湖，神女应无恙！ - 毛泽东 Agenda(1) 从范式到反范式 Pattern Anti-Pattern 行列互转 行列数据库 行列互转（Pivoting） 从行式数据库转为列式数据库 RDBMS Sybase IQ 从数据库到数据仓库 面向业务 面向主题 3 Agenda (2) 从正向集合到
2、反向集合 正向集合 反向集合（Inverted File Index) 从二维数据库到多维数据集（以空间换时间） RDBMS（二维数据库） OLAP（多维数据集） 从Schema-Flexible Schema-No Schema DBMS EAV MongoDB 4 Agenda(3) 从结构化数据到半结构化数据，再到非结构化数据 RDBMS NOSQL MPP 迚入大数据时代之前，Review在关系型数据库里面积累的所有的经 验 5 Agenda(4) 数据库设计模式的持续演迚 数据库设计模式 - 商业模式 6 手中只有锤子， 看到的都是钉子！ 7 商业场景和商业价值 1. 集合思维 光标
3、 序列表的引入 SET （关系型数据库的精华！） 8 场景 需要把一个有分隔符的字符串转化 为TABLE 9 String_to_table 10 ALTER FUNCTION dbo.string_to_table (param varchar(max), delimiter varchar(100) RETURNS TABLE AS RETURN( SELECT substring(delimiter + param + delimiter, Number + 1, charindex(delimiter, delimiter + param + delimiter, Number + 1
4、) - Number - 1) AS Value FROM Numbers WHERE Number 1 2 3 4 windows - 2 3 5 6 8 chognqing - 4 5 7 8 oracle - 4 3 2 1 10 11 sybase - 7 8 0 1 12 20 34 doc Term 1 - product 2 - product windows oracle 3 - windows oracle 4 - product chognqing oracle 5 - windows 6 - 7 - . 案例： SQL Server Full Text Search 35
5、 Keyword 36 SELECT display_term , column_id , document_count FROM sys.dm_fts_index_keywords (DB_ID(AdventureWorks), OBJECT_ID(ProductDocs) Keywords_by_document 37 select * from sys.dm_fts_index_keywords_by_documen t (DB_ID(AdventureWorks), OBJECT_ID(ProductDocs) Query Pattern 查询 38 selectselect Colu
6、mnColumn asas result fromfrom Sample wherewhere containscontains(ColumnColumn,重庆大数据) selectselect * fromfrom Sample wherewhere ColumnColumn like %重庆大数据% 结论： FTS性能提高百倍以上 自动维护Keyword, Document SET集合的运算 Inverted File Index的逆袭 6. Pivoting 行列转换 数据库论坛问得最多的问题 数据库行列本身的限制 解决Pivoting问题 在二维数据库里面解决Pivoting 案例：财
7、务科目的旋转 companyid accountid balance 1 1121 100.00 1 1122 200.00 1 1123 300.00 1 1124 400.00 1 1125 500.00 companyid 1121 1122 1123 1124 1125 1 100.00 200.00 300.00 400.00 500.00 Pivoting：SQL 42 select companyid ,1121,1122,1123,1124,1125 from factaccount pivot ( max(balance) for accountid in (1121, 11
8、22,1123 ,1124, 1125 ) x 7. XML Impendence Mismatch 阻抗失效 Multiple Result Set 多结果集的串接 XML 介绍 declare xml xml set xml = Rockers Utd. Rock Until You Drop 2005 10 Oldies Inc. Rock Like There Was A Tomorrow 1960 5 44 XQuery - Get all album titles in Category = “Rock“ select xml.query(/RecordStore/Albumcat
9、egory=“Rock“/Title) - Get all artists that released albums in 2005 select xml.query(/RecordStore/AlbumReleaseYear=2005/Artist) - Get the price for the Album called ShockRock select xml.value(/RecordStore/AlbumTitle=“ShockRock“/ReleaseYear)1,int) - Get the title for the album with id 4 select xml.val
10、ue(/RecordStore/Albumid=“4“/Title)1, varchar(100) 45 案例：RightNow SAAS CRM 顶级顶级SAAS CRM供应商供应商 甲骨文甲骨文15亿美元亿美元收购云客户服务提供商收购云客户服务提供商 RightNow 案例：场景 不同的用户有不同的客户字段定义 Xia Gao Master Male Married 沙坪坝 重庆 400030 123456789 987654321 场景 支持自定义客户属性 快速查询 属性的组合查询 48 实现方式 XML实现 支持XML index Path Value Property 49 8. 列
11、式数据库 50 行式 VS 列式 51 Sybase IQ Sybase IQ 排名列式数据库第一 IQ通过列存储、革命性的位图索引方法以 及智能的动态访问技术实现了快速的查询 响应速度，比传统的数据库查询速度提高 10-1000倍 减少磁盘减少磁盘I/O IQ通过独特的列存储，索引 与压缩技术，大大减少了查询中的磁盘I/O次数，其杰出的磁盘I/O效果带来了更 快速的查询反应，更高的吞吐量和更低的成本。 被SAP以58亿美元收购 52 案例：Panel 精准营销 Customer Segmentation 客户分群 微博为什么不盈利？ 缺乏结构化的人群标签数据 无法做精准营销 我知道我的广告浪
12、费了一半， 但我不知道浪费了哪一半。 盈利模式 市场调研 微软 沃尔玛 谷歌 Motorola 300万的一个Panel到底应该值多少钱？ 54 场景 300万行的客户数据 几千个客户属性 需要根据任何客户属性的组合进行查询 行式数据库的局限： 索引的限制（256） 55 解决方案 从行式数据库转化为列式数据库 查询时间提高50倍 压缩率高达1:30 56 9. 数据仓库 定义： 数据仓库 ，由数据仓库之父比尔 恩门（Bill Inmon）于1990年 提出，主要功能仍是将组织透过资讯系统之联机事务处理(OLTP) 经年累月所累积的大量资料，透过数据仓库理论所特有的资料储 存架构，作一有系统的
13、分析整理，以利各种分析方法如联机分析 处理(OLAP)、数据挖掘(Data Mining)之进行，并进而支持如决策支 持系统(DSS)、主管资讯系统(EIS)之创建，帮助决策者能快速有效 的自大量资料中，分析出有价值的资讯，以利决策拟定及快速回应外在环境变动，帮助建构商业智能(BI)。 特征： 面向主题 集成 时变 不可更新 57 Query Pattern 并发 粒度 面向主题 集成 不易失 58 Star Schema 59 核心 Schema 星型 Star Schema 瀑布 Snowflake Schema 事实表 （ Fact Tables ） 维度表 （ Dimensions ）
14、 60 案例：BOA 美洲银行的数据仓库 美洲银行就是使用NCR Teradata建立数据仓库并获得成功 应用的一个例子。该银行在几年的时间内曾先后兼并过十 几家小银行，由于拥有的30多个OLTP业务系统太多而且分 散，管理十分不容易，要找到准确的业务数据也很难。举 例来说，它要准确地了解各个分行的客户资料就要花很多 的时间，最后的结果还不一定完全准确。为此，美洲银行 投资Teradata建立了一个中央的数据仓库，把各个分行系 统中的数据都集中到中央库来，一些以前要几个星期才能 得到答案的业务问题现在只需要几分钟甚至更少，效果非 常明显。 61 业务架构 62 效果 例如，业务人员可以在分析银
15、行的客户群中了解哪些类型或具有什么 特征的客户最有可能购买哪一种产品或服务。美洲银行是1986年开始 投资Teradata建立数据仓库的，采用循序渐进的方式实施数据仓库， 刚开始时的数据库容量为20GB，后来逐步扩展成3.4TB的庞大系统。 在美洲银行的数据仓库中目前存有280亿份抵押贷款的资料。这套系 统在1994年1月17日发生的洛杉矶大地震中充分显示了其价值。银行 的住宅租赁部在几分钟内就确定了其损失。当时加州分行的副总裁 Charles Griffin先生事后这样描述道：“我们可以根据邮政编码进到每 个区，看看在遭受地震破坏的区域有多少以及有哪些类型的房产贷 款。”根据这些信息，银行可以迅速作出反应，拿出相应的对策来。 统一的客户视图，便于企业做客户的精准营销 63 10. 多维数据库OLAP 联机分析处理 (OL
