超市数据仓库的构建课件

《超市数据仓库的构建课件》由会员分享，可在线阅读，更多相关《超市数据仓库的构建课件（82页珍藏版）》请在金锄头文库上搜索。

1、第第8章章 数据仓库开发实例数据仓库开发实例 8.1超市销售数据仓库的规划与分析超市销售数据仓库的规划与分析 8.2数据仓库开发工具简介数据仓库开发工具简介 8.3SQL Server的数据仓库创建的数据仓库创建 8.4SQL Server数据仓库事实表与多维数据集的建立数据仓库事实表与多维数据集的建立超市数据仓库的构建18.1 超市销售数据仓库的规划与分析超市销售数据仓库的规划与分析 某大型连锁超市的业务涵盖于3个省范围内的1000多家门市。每个门市都有较完整的日用品和食品销售部门，包括百货、杂货、冷冻食品、奶制品、肉制品和面包食品等，大约5万多种，其中大约45000种商品来自外部生产厂家，

2、并在包装上印有条形码。每个条形码代表了唯一的商品。为该超市建立一个能够提高市场竞争能力的数据仓库，首先需要进行数据仓库的规划分析。这就涉及到对数据仓库的需求分析、模型构建两个过程。超市数据仓库的构建28.1.1 超市销售数据仓库的需求分析超市销售数据仓库的需求分析1超市营销售策略分析超市营销售策略分析超市最高层管理所关注的是如何通过商品的采购、储存与销售，最大限度地获取利润。需要通过加强对每种商品的管理，减低商品的采购成本和管理费用，吸引尽可能多的客户。其中最重要的是关于商品促销的管理决策。需要依靠合适的促销活动，应用适当的促销策略针对合适的客户，以增加超市的销售利润，是超市数据仓库建设的基本

3、需求。超市不同商品的销售利润是有差别的。希望在数据仓库中通过对商品的赢利分析，了解不同商品的销售赢利状态，以确定企业的销售重点，对那些可以为企业带来较大赢利的商品加大促销力度。超市数据仓库的构建38.1.1 超市销售数据仓库的需求分析超市销售数据仓库的需求分析2超市商品库存分析超市商品库存分析超市商品的库存状况对超市的利润具有巨大的影响。超市商品的库存状况对超市的利润具有巨大的影响。超市如果能够在合适的时候销售合适的商品，在不出超市如果能够在合适的时候销售合适的商品，在不出现脱销的情况下尽可能减少商品库存的库存成本，是现脱销的情况下尽可能减少商品库存的库存成本，是超市商品库存分析的主要目的。在

4、商品库存分析中，超市商品库存分析的主要目的。在商品库存分析中，管理人员还经常要根据商品的库存量和商品库存成本管理人员还经常要根据商品的库存量和商品库存成本确定商品的销售价格。从超市的商品库存情况来看，确定商品的销售价格。从超市的商品库存情况来看，库存分析实质上是对超市的价值链进行分析，分析商库存分析实质上是对超市的价值链进行分析，分析商品库存在超市的整个价值链上所发挥的作用。品库存在超市的整个价值链上所发挥的作用。超市数据仓库的构建48.1.1 超市销售数据仓库的需求分析超市销售数据仓库的需求分析3超市商品采购分析超市商品采购分析超市在商品采购工作中需要分析哪些商品是热销的商超市在商品采购工作

5、中需要分析哪些商品是热销的商品，尽可能采购销售热销商品。热销商品往往是加快品，尽可能采购销售热销商品。热销商品往往是加快企业资金流动的动力，快速流动的资金可以使企业在企业资金流动的动力，快速流动的资金可以使企业在一定的时间内取得比其他企业更多的利润。而且超市一定的时间内取得比其他企业更多的利润。而且超市营销管理人员在了解热销商品后，可以大量采购热销营销管理人员在了解热销商品后，可以大量采购热销商品，重新安排热销商品的货架，向更多的客户推销商品，重新安排热销商品的货架，向更多的客户推销热销商品，便于更多客户的购买，以进一步加快企业热销商品，便于更多客户的购买，以进一步加快企业资金的流动。资金的流

6、动。超市数据仓库的构建58.1.1 超市销售数据仓库的需求分析超市销售数据仓库的需求分析4超市客户关系分析超市客户关系分析用用80：20理论分析，占企业客户群理论分析，占企业客户群20%左右的客户购左右的客户购买金额往往占据了企业销售金额的买金额往往占据了企业销售金额的80%。对客户群体。对客户群体的划分有利于企业了解企业的主要客户群体状况、主的划分有利于企业了解企业的主要客户群体状况、主要客户群对企业销售服务的需求状况、不同客户群为要客户群对企业销售服务的需求状况、不同客户群为企业所带来的利润状况。企业所带来的利润状况。在对客户进行类型划分的基础上，可以针对不同客户在对客户进行类型划分的基础

7、上，可以针对不同客户群体的特点采用不同的营销策略，对客户群体的消费群体的特点采用不同的营销策略，对客户群体的消费进行合理的引导。进行合理的引导。超市客户的流失，意味着企业赢利的降低。企业管理超市客户的流失，意味着企业赢利的降低。企业管理者希望了解哪些客户可能会流失，使企业能够提前设者希望了解哪些客户可能会流失，使企业能够提前设法加以挽留。法加以挽留。超市数据仓库的构建68.1.2 超市销售数据仓库超市销售数据仓库E-R模型构造模型构造数据仓库设计中就首先考虑营销主题的设计，确定超数据仓库设计中就首先考虑营销主题的设计，确定超市营销主题模型市营销主题模型 采用了星型模型，没有采用雪花模型。因为雪

8、花模型采用了星型模型，没有采用雪花模型。因为雪花模型通过对维表的分类细化描述，对于主题的分类详细查通过对维表的分类细化描述，对于主题的分类详细查询具有良好的响应能力。但是雪花模型的构造在本质询具有良好的响应能力。但是雪花模型的构造在本质上是一种数据模型的规范化处理，会给数据仓库操作上是一种数据模型的规范化处理，会给数据仓库操作带来不同表的连接困难带来不同表的连接困难 。但是在对维度表进行维护时，。但是在对维度表进行维护时，可能需要对大量重复值进行修改。可能需要对大量重复值进行修改。星型模型通过对维表的冗余应用，以牺牲维表空间来星型模型通过对维表的冗余应用，以牺牲维表空间来换取数据仓库的高性能与

9、易使用的优势。换取数据仓库的高性能与易使用的优势。 超市数据仓库的构建78.1.2 超市销售数据仓库超市销售数据仓库E-R模型构造模型构造日期商品促销客户门市商品营销超市数据仓库的构建88.1.3 超市数据仓库事实表模型超市数据仓库事实表模型确定在数据仓库中，怎样的粒度数据才能满足管理人员对数据仓库营销策划分析的需要。 超市商品销售主题中，最理想的原子数据是来自POS机上的每个销售事务数据 分析超市高层管理人员通过那些角度，即需要通过那些维度来考察、选择营销方案。一般情况下，在确定超市营销策划时，超市管理人员需要通过日期、商品、门市、促销和客户五个维度对促销方案进行分析，了解促销方案的可用性和

10、效果 超市数据仓库的构建9超市营销数据仓库事实表模型超市营销数据仓库事实表模型 超市营销主题日期关键字门市关键字商品关键字促销关键字商品销售编号商品销售量商品销售额商品成本商品销售利润日期维日 期 关键字商品维商 品 关键字门市维门 市 关键字促销维促 销 关键字客户维客 户 关 键字超市数据仓库的构建10超市营销数据仓库事实表模型超市营销数据仓库事实表模型 从销售系统中可直接获取商品销售量、销售单价、商从销售系统中可直接获取商品销售量、销售单价、商品成本。但管理人员考察超市的营销策略时，需要考品成本。但管理人员考察超市的营销策略时，需要考虑营销策略和相应的商品销售利润。商品销售利润可虑营销策

11、略和相应的商品销售利润。商品销售利润可以直接通过商品销售量、销售单价和商品成本计算获以直接通过商品销售量、销售单价和商品成本计算获得，但商品销售利润具有良好的可加性，管理人员又得，但商品销售利润具有良好的可加性，管理人员又经常需要查看。将利润数据存放在事实表中可大大减经常需要查看。将利润数据存放在事实表中可大大减少数据仓库工作时的工作量，还可以保证所有用户在少数据仓库工作时的工作量，还可以保证所有用户在使用商品销售利润这一重要数据时的一致性。使用商品销售利润这一重要数据时的一致性。商品销售单价对于计算商品利润十分重要，但将某个商品销售单价对于计算商品利润十分重要，但将某个商品一段时间内的所有销

12、售单价相加是毫无意义的。商品一段时间内的所有销售单价相加是毫无意义的。管理人员可能只对某一时间段内某个商品的平均销售管理人员可能只对某一时间段内某个商品的平均销售价感兴趣。平均销售价格可以用该时间段内的商品销价感兴趣。平均销售价格可以用该时间段内的商品销售额除以商品销售量获取。在事实表中可以不用商品售额除以商品销售量获取。在事实表中可以不用商品销售单价，代之以商品销售额，销售额也常常是管理销售单价，代之以商品销售额，销售额也常常是管理人员衡量营销策略好坏的重要指标。人员衡量营销策略好坏的重要指标。超市数据仓库的构建11超市营销数据仓库事实表模型超市营销数据仓库事实表模型 超市管理者还可能对商品

13、销售的利润率感兴趣，该数据可以用商品销售利润除以销售额获得，该数据不是一个可加数据。将比率或百分数的数据进行相加，所获得的数据是没有什么意义的。管理人员在了解某一时期某些商品的利润率时，完全可以利用该时期该商品利润和销售额获得。因此，事实表中确定度量数据为商品销售量、商品销售额、商品成本和商品销售利润。超市数据仓库的构建128.1.4 超市数据仓库维表模型设计超市数据仓库维表模型设计1.1.日期维日期维日日期期维维模模型型是是许许多多数数据据仓仓库库应应用用中中的的常常用用维维度度，其其设设计计方方式式与与其其他他多多数数维维模模型型有有差差别别。具具体体设设计计时时，日日期期维维可可以以存存

14、放放以以日日期期表表示示的的5到到10年年的的数数据据行行，也也可可以以将将3至至4年年的的数数据据行行作作为为日日期期维维内内容容。如如果果对对10年年的的每每一一天都进行存储，也只需要天都进行存储，也只需要3650行行 日日期期维维的的每每列列由由行行所所代代表表的的特特定定日日期期进进行行定定义义。“星星期期”列列含含有有像像“星星期期一一”这这样样的的名名称称内内容容，该该列列可可用用于于创创建建比比较较“星星期期一一”与与“星星期期日日”销销售售情情况况对对比比的的查查询询。日日历历日日期期编编号号从从1开开始始取取值值，然然后后根根据据月月份份的的情情况况取取到到28、29、30或

15、或者者31，这这一一列列主主要要用用于于对对每每个个月月的的同同一一天天进进行行比比较较。同同样样，可可以以给给出出日日历历周周编编号号、和和日历月编号日历月编号(1，12)。超市数据仓库的构建138.1.4 超市数据仓库维表模型设计超市数据仓库维表模型设计纪纪元元表表示示法法采采用用从从某某纪纪元元开开始始连连续续对对日日期期进进行行计计数数的的方方法法来来给给出出日日编编号号，在在表表中中还还可可以以给给出出“星星期期”与与“月月份份”的的绝绝对对编编号号列列。这这些些数数据据支支持持跨跨年年度度跨跨月月份份的的简简单单数数据据运运算算。在在生生成成报报表表时时，经经常常要要给给出出像像“

16、一一月月”这这样样的的月月份份名名称称。因因此此，为为报报表表确确定定一一个个“年年月月”(YYYY-MM)列列标标题题也也有有必必要要。报报表表中中很很可可能能需需要要季季度度编编号号(Q1，Q4) 或或年年季季度度编编号号列列。如如果果企企业业的的财财政政年年度度与与日日历历表表在周期上不一致，还需要为财政年度给出类似列。在周期上不一致，还需要为财政年度给出类似列。在在“节节假假日日”列列中中给给出出“节节假假日日”或或者者“非非节节假假日日”的的内内容容，维维表表属属性性作作为为数数据据分分析析的的导导航航，简简单单地地在在“节节假假日日”列列中中给给出出“Y”或或者者“N”对对数数据据

17、分分析析没没有有多多大大用用处处。例例如如，在在生生成成某某种种商商品品的的节节假假日日与与非非节节假假日日销销售售情情况况比比较较查查询询时时，列列中中给给出出“节节假假日日”或或者者“非非节节假假日日”这这样样有有意意义义的的值值要要比比一一个个简简单单的的“Y”或或者者“N”之之类类的的值值有有用得多。用得多。超市数据仓库的构建148.1.4 超市数据仓库维表模型设计超市数据仓库维表模型设计“星星期期六六”与与“星星期期日日”要要归归入入“周周末末”之之列列。当当然然，可可以以对对多多个个日日期期表表属属性性进进行行共共同同约约束束，从从而而能能够够实实现现一一些些像像平平日日假假期期销

18、销售售与与周周末末假假期期销销售售进进行行比比较较的的数数据据仓库应用。仓库应用。“销销售售时时节节”列列应应设设置置为为销销售售时时节节的的名名称称，例例如如，春春节节、情情人人节节、端端午午节节、五五一一节节、国国庆庆节节、中中秋秋节节、重重阳节、圣诞节、或者标为阳节、圣诞节、或者标为“不是不是”。“重大事件”列与“销售时节”列情形类似，可以标记为“周日大采购”或者“中秋合家欢”这样与日期有特殊联系的促销事件。而一般性的促销活动通常不放在日期表中处理，以促销维表的形式进行更加完整的描述。因为促销事件并不是仅仅由日期来定义，通常还需要由日期、商品与商店的组合来定义。超市数据仓库的构建15日期

19、维度销售事实日期关键字日期关键字星期商品关键字日历日期编号门市关键字日历周编号促销关键字日历月编号客户关键字纪元日编号POS事务编号纪元周编号销售量纪元月编号销售额财政月日编号成本额年度日历周数利润金额年度日历月数日历年月(YYYY-MM)日历季度日历年季度日历半年度超市数据仓库的构建16日历年财政周年度财政周数财政月年度财政月数财政年月财政季度财政年季度财政半年度财政年节假日指示符星期指示符销售时节重大事件超市数据仓库的构建178.1.4 超市数据仓库维表模型设计超市数据仓库维表模型设计2.商品维商品维一一般般超超市市门门市市可可能能存存储储60000个个商商品品编编号号，但但大大型型连连锁

20、锁超超市市保保留留不不再再销销售售的的历历史史商商品品营营销销方方案案情情况况，商商品品维维度度可可能能至至少少需需要要150000行乃至多达百万行。行乃至多达百万行。 商商品品维维度度数数据据主主要要来来源源于于业业务务系系统统的的商商品品主主文文件件。超超市市总总部部对对所所销售商品的主文件进行统一管理。销售商品的主文件进行统一管理。商商品品主主文文件件的的一一个个重重要要作作用用，就就是是维维护护每每个个商商品品存存储储标标志志的的许许多多描述属性。商品维是一组重要的属性。描述属性。商品维是一组重要的属性。 某某个个商商品品种种类类包包含含多多个个商商品品子子类类，商商品品子子类类包包含

21、含多多个个商商标标，商商标标包含多个商品存储标志。包含多个商品存储标志。 还还应应包包含含描描述述商商品品形形状状或或存存储储位位置置的的层层次次属属性性，例例如如商商品品的的包包装装类类型型、包包装装尺尺寸寸、包包装装数数量量、托托盘盘中中的的包包装装数数，以以及及与与商商品品存存储储的层次：存储类型、货架结构等维度。的层次：存储类型、货架结构等维度。 超市数据仓库的构建188.1.4 超市数据仓库维表模型设计超市数据仓库维表模型设计3.门市维门市维门市维表用于描述超市的各个链锁店。门市维表是基门市维表用于描述超市的各个链锁店。门市维表是基本的地理维度，每个门市可被看成一个位置。这样，本的地

22、理维度，每个门市可被看成一个位置。这样，可以由门市形成诸如街道、邮政编码、县、市、省这可以由门市形成诸如街道、邮政编码、县、市、省这样的任意地理属性。地理体系与门市地区体系对每个样的任意地理属性。地理体系与门市地区体系对每个门市来说，都有良好的定义。门市来说，都有良好的定义。在连锁超市所使用的门市维表中有建筑面积、金融服在连锁超市所使用的门市维表中有建筑面积、金融服务、最早开业时间等描述特定门市的文字描述。描述务、最早开业时间等描述特定门市的文字描述。描述销售面积的列应该是数字型的，并且在理论上是跨门销售面积的列应该是数字型的，并且在理论上是跨门市可相加的，以表示某一地区的销售面积。它是门市市

23、可相加的，以表示某一地区的销售面积。它是门市的一个不变属性，通常作为报表约束或者行标题使用。的一个不变属性，通常作为报表约束或者行标题使用。而且为了能够分析不同种类商品对超市销售利润的贡而且为了能够分析不同种类商品对超市销售利润的贡献情况，还需要设立不同商品的销售面积。献情况，还需要设立不同商品的销售面积。超市数据仓库的构建198.1.4 超市数据仓库维表模型设计超市数据仓库维表模型设计4.促销维促销维超市的促销方案可能包含：临时降价、柜台展销、报超市的促销方案可能包含：临时降价、柜台展销、报纸广告与优惠券发放等。促销维应该可以反映商品促纸广告与优惠券发放等。促销维应该可以反映商品促销方案的成

24、效。销方案的成效。促销的成效评估因素：促销商品的销售是否在促销区促销的成效评估因素：促销商品的销售是否在促销区间出现增长、是否在促销进行之前或者随后出现减少间出现增长、是否在促销进行之前或者随后出现减少状况；是否发生促销商品的销售出现增长，而临近货状况；是否发生促销商品的销售出现增长，而临近货架上的其他商品销售却呈现出相应的降低情况架上的其他商品销售却呈现出相应的降低情况(同类相同类相食食)；促销类别中所有商品的销售是否都经历了一个实；促销类别中所有商品的销售是否都经历了一个实际的总体增长；促销是否赢利。促销利润的计算要考际的总体增长；促销是否赢利。促销利润的计算要考虑促销类别的利润增量与时间

25、过渡、同类调剂以及销虑促销类别的利润增量与时间过渡、同类调剂以及销售底线等各种情况。售底线等各种情况。超市数据仓库的构建208.1.4 超市数据仓库维表模型设计超市数据仓库维表模型设计4.促销维促销维在促销维度中为促销出现的每种组合都建立一行记录是很有在促销维度中为促销出现的每种组合都建立一行记录是很有意义的。在一年的销售活动中，可能出现意义的。在一年的销售活动中，可能出现1000个广告，个广告，5000次临时降价和次临时降价和1000次柜台展销，但可能只有次柜台展销，但可能只有10000个组合促个组合促销能影响任何特定的商品。例如，在某给定维度中，大多数销能影响任何特定的商品。例如，在某给定

26、维度中，大多数门市都会同时运作所有促销售手段，而只有少数几个门市不门市都会同时运作所有促销售手段，而只有少数几个门市不进行柜台展销。在这种情况下，就需要两个单独的促销记录进行柜台展销。在这种情况下，就需要两个单独的促销记录行，一个用于通常的降价并外加广告与柜台展销，而另一个行，一个用于通常的降价并外加广告与柜台展销，而另一个用于降价并外加单纯的广告。用于降价并外加单纯的广告。超市的促销维度可以包含促销名称、减价类型、促销媒体类超市的促销维度可以包含促销名称、减价类型、促销媒体类型、广告类型和优惠券类型等。超市的主要促销方式是降价、型、广告类型和优惠券类型等。超市的主要促销方式是降价、广告、柜台

27、展销与优惠券。如果将这些因素分别建立促销维广告、柜台展销与优惠券。如果将这些因素分别建立促销维度，就可以记录分析这些促销方法非常相似的信息，使用户度，就可以记录分析这些促销方法非常相似的信息，使用户更加容易理解促销方案的作用。但是将所有的促销因素合并更加容易理解促销方案的作用。但是将所有的促销因素合并在一个维表中，则能够方便用户的浏览，能够弄清各种不同在一个维表中，则能够方便用户的浏览，能够弄清各种不同的价格降低、广告、展销与优惠券是如何在一起共同发挥促的价格降低、广告、展销与优惠券是如何在一起共同发挥促销作用的。销作用的。超市数据仓库的构建218.1.4 超市数据仓库维表模型设计超市数据仓库

28、维表模型设计5.客户维客户维超市的客户维度可以包含客户账号、姓名、地址、所在地区、超市的客户维度可以包含客户账号、姓名、地址、所在地区、邮政编码、电子信箱、电话、日常活动范围、出生日期、收邮政编码、电子信箱、电话、日常活动范围、出生日期、收入、孩子数量、住房和汽车等内容。在客户维中的地址由于入、孩子数量、住房和汽车等内容。在客户维中的地址由于客户可能会给出其家庭地址、工作地址或其它一些常用地址，客户可能会给出其家庭地址、工作地址或其它一些常用地址，因此在维表中可以设置因此在维表中可以设置4个地址，对于电话的设置也是出于个地址，对于电话的设置也是出于相同因素的考虑。在数据仓库的应用中有时需要对客

29、户按照相同因素的考虑。在数据仓库的应用中有时需要对客户按照不同的地区进行分析，为此，在维表中就按照省、市、县不同的地区进行分析，为此，在维表中就按照省、市、县（区）邮政编码进行地区的设置。性别、婚姻状况、家庭人（区）邮政编码进行地区的设置。性别、婚姻状况、家庭人口、住房条件和自有汽车情况均是超市销售管理人员对超市口、住房条件和自有汽车情况均是超市销售管理人员对超市营销策略进行分析的主要依据。出于超市营销策略制定的考营销策略进行分析的主要依据。出于超市营销策略制定的考虑，还需要了解客户的日常活动范围，以便有针对性地进行虑，还需要了解客户的日常活动范围，以便有针对性地进行促销广告的发送。促销广告的

30、发送。超市数据仓库的构建228.1.5 超市数据仓库模型的关键字设计超市数据仓库模型的关键字设计采用代理关键字技术，而不是依赖业务系统中的各种关键字采用代理关键字技术，而不是依赖业务系统中的各种关键字（许多业务系统中的各种编码往往具有某种特定的含义）（许多业务系统中的各种编码往往具有某种特定的含义）代理关键字一般采用在填充维度时按需要而顺序分配的整数代理关键字一般采用在填充维度时按需要而顺序分配的整数值。例如，为第一条商品记录分配一个值为值。例如，为第一条商品记录分配一个值为1的商品代理关的商品代理关键字，第二条分配键字，第二条分配2，第，第n条分配条分配n等。代理关键字仅仅用于等。代理关键字

31、仅仅用于维度表到事实表的连接。维度表到事实表的连接。 代理关键字的好处还能够对数据仓库环境的操作型变化进行代理关键字的好处还能够对数据仓库环境的操作型变化进行缓冲，不会受到商品编码生成、更新、删除、再生与重用等缓冲，不会受到商品编码生成、更新、删除、再生与重用等操作型规则的妨碍。代理关键字允许数据仓库对来自多个业操作型规则的妨碍。代理关键字允许数据仓库对来自多个业务型系统的数据进行合并，即使它们之间缺乏一致的源关键务型系统的数据进行合并，即使它们之间缺乏一致的源关键字也无所谓。字也无所谓。超市数据仓库的构建238.1.5 超市数据仓库模型的关键字设计超市数据仓库模型的关键字设计使用代理关键字还

32、可以获得性能上的优势。代理关键字可能只有一个整数所占据的空间大小，却能确保充裕地容纳维度行以后可能需要的序号或者最大编号。而业务型编码常常是一个混合了字母与数字的区间编码体系。 代理关键字还能够用于记录那些诸如“不在促销之列”这样的可能没有业务系统中编码的维度情形。通过对数据仓库的关键字施加控制，就能够做到不管是否缺少业务型编码，总可以分配一个代理关键字将这类情况标识出来。 将代理日期关键字处理成日期序号，可以允许事实表在日期关键字基础上进行物理分区。 超市数据仓库的构建248.1.5 超市数据仓库模型的关键字设计超市数据仓库模型的关键字设计目前在超市数据仓库中已经包含了6个实际的表：营销事实

33、表与日期、商品、门市、促销和客户维表。每个维表有一个主关键字，而事实表除了有一个退化的销售事务编号之外，还有由五个外关键字组成的一个复合关键字。如果五个关键字都是进行了紧凑处理的连续整数，那么仅仅需要为所有五个关键字保留18个字节的小存储空间(日期、商品、促销和客户维各用4个字节，而门市用2个字节)。同时，销售事务编号可能另外需要8个字节。如果事实表4类事实（销售量、销售额、成本和利润）中的任何一个都是4字节的整数，则仅仅需要再保留另外的16个字节，这样事实表只有42个字节宽。对一个10亿行的事实表也只占用大约42GB的存储空间就可以存储所有事实数据。超市数据仓库的构建258.1.6 超市数据

34、仓库元数据设计超市数据仓库元数据设计 销售主题元数据名称Sales描述整个超市中每个门市中每个POS机所记载的商品销售状况目的用于进行超市销售状况和促销情况的分析联系人各个门市销售经理维时间、商品、客户、商店、促销事实销售事实表度量值销售成本、销售额、销售利润、销售量超市数据仓库的构建26销售事实元数据名称Sales_Fact_年份描述记录每个门市每个POS机所发生的销售数据目的作为销售主题的分析事实使用状况每天平均查询次数每天平均查询返回行数每天查询平均执行时间（分钟）每天最大查询次数每天查询返回最大行数每天查询最大执行时间（分钟）存档规则每个月将前36个月的数据存档存档状况最近存档处理日期

35、已经存档数据日期更新规则每个月将前60个月的数据从数据仓库中删除更新状况最近更新处理日期已更新数据日期超市数据仓库的构建27销售事实元数据销售事实元数据数据质量要求及确认由于从各个门市POS机上所产生的数据可能会由于极少的人工输入，而使数据质量不能得到保证，但也真实地反映了销售现状，不能随意修改，应被认可。数据准确性要求必须百分百地反映各个门市销售状况数据粒度要求能够反映每一项商品的销售状况，不对数据进行汇总表键事实表的键是时间、商品、客户、商店和促销维中键的组合数据来源超市销售业务系统中的销售表(sales_fact_年份)加载周期每天一次加载状况最后加载日期加载的行数加载规则每天清晨3:0

36、0将各个超市门市中前一天的销售事实数据拷贝到本表，拷贝过程中要根据各个数据成员所定义的加载规则进行筛选和清理超市数据仓库的构建28维元数据 销售事实元数据名称客户（Customer）定义从超市任何一个门市购买货物的任何个人或组织都称为客户，一个客户可以与多个销售地区发生联系(即出现在地理维的不同层次体系中)层次结构一个客户的数据可以在3个级别上进行统计：最低级别是出现在客户所在的县/区，其上为市、省更改规则新的客户位置作为新的一行插入维中。对已有位置的修改，则在原处更新加载频率每天一次加载统计数据最后加载日期加载的行数使用的统计数据每天平均查询个数每天查询返回的平均行数每天查询平均执行时间（分

37、钟）每天最大的查询个数每天查询返回的最大行数每天查询执行的最长时间（分钟）超市数据仓库的构建29维元数据 销售事实元数据存档规则每个月将前36个月的数据存档已经存档数据日期更新规则每个月将前60个月的数据从数据仓库中删除更新状况最近更新处理日期已经更新数据日期数据质量增加一个新客户时，先检查是否已在其他地方和该客户做过交易。少数情况下，由于检查失败，会将一个客户的不同部门作为不同客户保存。直到客户注意到在不同的地方与公司交易时，以前的记录仍保持不变。地区属性并不是销售业务系统原有的，而是根据送货地址属性中的邮政编码进行区分数据的准确程度一个客户与其地理位置的关联出错的可能性在某一百分比以下，该

38、百分比大小要根据对业务数据的研究情况确定关键字客户维的关键字是系统产生的数字超市数据仓库的构建30维元数据 销售事实元数据产生关键字的方法从销售业务系统中拷贝一个客户时，将检查转换表，检查该客户是否已经存在于数据仓库中。如果否，就产生一个新的关键字。然后将这个关键字和销售业务系统中的CustomID和地区ID插入转换表中。如果该客户和位置已经存在于转换表，就根据表中的关键字决定数据仓库中要更新的记录源表名称超市销售业务系统中的Customer表加载规则每天拷贝每个Customer表中的行。对于已存在的客户，进行更新。对于新客户，确定其所在地理位置之后，产生一个关键字，然后插入一行新记录。在更新

39、插入操作之前，需要检查是否有重复的客户名。如果有，则在客户名后增加一个顺序号，直到名字以及名字和顺序号的组合都没有重复为止。加载规则只选择新的和发生变化的行源表名称Customer_Location表转换规则每天拷贝一次Customer_Location表。对于已存在的客户，更新其送货地址；对于新的客户，则产生一个键，并插入一行。超市数据仓库的构建31数据成员元数据 销售事实元数据名称客户关键字（Customer_ID）定义用以唯一标识客户和位置的值更新规则一旦分配，就不改变数据类型数值型值域1999，999，999产生规则由系统自动产生，将当前最大值增l来源系统自动生成超市数据仓库的构建32

40、数据成员元数据 名称客户名称（Customer_Name）定义客户的名称更新规则 客户名称发生改变时，就在原来的记录上更新数据类型 Char(30)值域保证能区分不同客户的名称。对不同而具有相同名称的客户，可在名称后依次加1来区分相同名称来源超市销售业务系统中Customer表中的Name产生规则 对于零售客户，其名称由姓和名组成。对于公司，则将公司名作为客户名称销售事实元数据超市数据仓库的构建338.2 数据仓库开发工具简介数据仓库开发工具简介销售事实元数据8.2.1 数据仓库开发工具数据仓库开发工具目前已有许多数据仓库开发工具供应商，可以提供各种构建数据仓库的工具。但有些数据仓库开发工具还

41、要结合第三方供应商工具才能完成整个数据仓库的构建。1.Oracle数据仓库开发工具数据仓库开发工具以Oracle 9i为核心的数据仓库构建体系；可以进行数据建模、数据抽取、数据转移和装载、聚合、元数据管理的Oracle Warehouse Builder；能够为最终用户提供查询、报告、下钻、旋转和WEB公布工具的Oracle Discoverer；可以对数据仓库进行数据挖掘、提供决策树、神经网络等多种数据挖掘方法、具有简单易用的图形化界面、支持海量数据并行处理、进行结果分析和系统集成的Oracle Darwin。超市数据仓库的构建342.IBM数据仓库开发工具数据仓库开发工具销售事实元数据基于

42、可视数据仓库的商业智能（基于可视数据仓库的商业智能（BI）解决方案，具有）解决方案，具有集成能力强，面向对象集成能力强，面向对象SQL等特性。其中等特性。其中Visual Warehouse（VW）是一个功能很强的集成环境，可用）是一个功能很强的集成环境，可用于数据仓库建模和元数据管理，又用于数据抽取、转换、于数据仓库建模和元数据管理，又用于数据抽取、转换、装载和调度；装载和调度；Essbase/DB2 OLAP Server支持多维数据支持多维数据库，它是一个（库，它是一个（ROLAP和和MOLAP）混合的）混合的HOLAP服服务器，在务器，在Essbase完成数据装载后，数据存放在系统指完

43、成数据装载后，数据存放在系统指定的定的DB2 UDB数据库中；数据库中；QUEST是一个多任务数据挖是一个多任务数据挖掘系统，系统提供多种开采功能，挖掘算法可适用于任掘系统，系统提供多种开采功能，挖掘算法可适用于任意大小的数据库。意大小的数据库。超市数据仓库的构建353Sybase数据仓库开发工具销售事实元数据数据仓库解决方案能够支持多种关系型数据库，能够同时处理几数据仓库解决方案能够支持多种关系型数据库，能够同时处理几十个即席查询。其中十个即席查询。其中Bit_WiscBit_Wisc技术和垂直数据存储技术使系统可以技术和垂直数据存储技术使系统可以只访问特定的少量数据。只访问特定的少量数据。

44、Warehouse ArchitectWarehouse Architect是是Power DesignerPower Designer中的一个设计模块，数据中的一个设计模块，数据集市或数据仓库设计者利用该模块可以自动地对已有的关系数据库集市或数据仓库设计者利用该模块可以自动地对已有的关系数据库进行目标数据库设计、物理设计和进行目标数据库设计、物理设计和DDLDDL设计。设计。Power StagePower Stage、Replication ServerReplication Server、Carleton PASSPORTCarleton PASSPORT是数据抽取与转换工具。是数据抽取

45、与转换工具。Adaptive Server IQAdaptive Server IQ是专为数据仓库设计的关系数据库。是专为数据仓库设计的关系数据库。Power Power DimensionsDimensions、English WizardEnglish Wizard、Info MakerInfo Maker、Power DynamoPower Dynamo是数据是数据分析与展现工具。分析与展现工具。Warehouse Control CenterWarehouse Control Center、Sybase CentralSybase Central、Distribution Direct

46、orDistribution Director是数据仓库的维护与管理工具。是数据仓库的维护与管理工具。Industry Warehouse StudioIndustry Warehouse Studio包括相应行业所需的商业智能应用软包括相应行业所需的商业智能应用软件和数据分析模型，可以针对不同行业进行业绩分析、促销活动分件和数据分析模型，可以针对不同行业进行业绩分析、促销活动分析、销售分析和收益分析等，具有数据仓库设计、元数据管理等功析、销售分析和收益分析等，具有数据仓库设计、元数据管理等功能、支持广泛的应用软件和报表，并提供能、支持广泛的应用软件和报表，并提供Warehouse Studi

47、o Warehouse Studio 的设计的设计工具、工具、Warehouse Control CenterWarehouse Control Center等工具。等工具。超市数据仓库的构建364Informix数据仓库开发工具销售事实元数据Fast StartFast Start数据仓库解决方案，可以快速便捷地设计开发具有可数据仓库解决方案，可以快速便捷地设计开发具有可伸缩性的数据仓库或数据集市。采用伸缩性的数据仓库或数据集市。采用ROLAPROLAP的星型模式与的星型模式与Informix Informix IDS IDS 、IDS/ADIDS/AD紧密集成提供预先汇总、抽样、后台查询等

48、性能优化紧密集成提供预先汇总、抽样、后台查询等性能优化手段。手段。InformixInformix产品还能够集成产品还能够集成Microsoft IISMicrosoft IIS或或Netscape Netscape Enterprise/Fast TrackEnterprise/Fast Track服务器，从而支持服务器，从而支持webweb访问。访问。MetaCube ROLAP OptionMetaCube ROLAP Option为基于为基于InformixInformix的数据仓库或数据中心提的数据仓库或数据中心提供了全面、简便易用、可扩展和自动化的商业分析环境。供了全面、简便易用、

49、可扩展和自动化的商业分析环境。Informix InfoMoverInformix InfoMover是一套集成工具，用于从多个工作资源中抽是一套集成工具，用于从多个工作资源中抽取、转换和维护数据。取、转换和维护数据。Seagate Crystal InfoSeagate Crystal Info是企业级报表、分析是企业级报表、分析系统。系统。IDSIDS以及以及AD/XPAD/XP选项是选项是InformixInformix数据仓库系统的核心，提供数数据仓库系统的核心，提供数据仓库数据的存储功能。据仓库数据的存储功能。InformixInformix没有提供自己的报表和数据挖掘工具，它主要集

50、成第三没有提供自己的报表和数据挖掘工具，它主要集成第三方产品（例如结合方产品（例如结合BrioBrio的前端数据分析和报表功能，结合的前端数据分析和报表功能，结合SASSAS的数据的数据挖掘功能）。挖掘功能）。超市数据仓库的构建375NCR数据仓库开发工具销售事实元数据NCRNCR可扩展数据仓库的基本框架主要分成三个部分：数可扩展数据仓库的基本框架主要分成三个部分：数据装载、数据管理和信息访问。据装载、数据管理和信息访问。NCRNCR的的TeradataTeradata是高端数据仓库市场最有力的竞争者，是高端数据仓库市场最有力的竞争者，主要运行在主要运行在NCR WorldMark SMPNC

51、R WorldMark SMP硬件的硬件的UnixUnix操作系统平台操作系统平台上，提供交互分析、标准报告和多维度分析。为了开拓上，提供交互分析、标准报告和多维度分析。为了开拓数据集市（数据集市（Data MartData Mart）市场）市场19981998年，该公司也提供了基年，该公司也提供了基于于Windows NTWindows NT的的TeradataTeradata。超市数据仓库的构建386SAS数据仓库开发工具销售事实元数据SASSAS公司所提供的工具公司所提供的工具( (例如：智能化的客户机例如：智能化的客户机/ /服务器，多厂商构服务器，多厂商构架等架等) )可以帮助企业实

52、现一个灵活和低风险的处理。可以帮助企业实现一个灵活和低风险的处理。SASSAS数据仓库可数据仓库可以支持各种硬件平台、支持不同数据库之间数据的存取，它还可对以支持各种硬件平台、支持不同数据库之间数据的存取，它还可对不同格式的数据进行查询、访问和分析，具有与目前许多流行数据不同格式的数据进行查询、访问和分析，具有与目前许多流行数据库软件和老的数据文件的接口，并可在库软件和老的数据文件的接口，并可在SASSAS环境中建立对应外部异构环境中建立对应外部异构数据的统一公用数据界面。数据的统一公用数据界面。SASSAS提供的工具包括提供的工具包括3030多个专用模块。其中：多个专用模块。其中：SAS/W

53、ASAS/WA（Warehouse AdministratorWarehouse Administrator）是建立数据仓库的集成管）是建立数据仓库的集成管理工具，包括定义主题、数据转换与汇总、更新汇总数据、元数据理工具，包括定义主题、数据转换与汇总、更新汇总数据、元数据管理和数据集市的实现等；管理和数据集市的实现等；SAS/MDDBSAS/MDDB是是SASSAS用于在线分析的多维数据库服务器；用于在线分析的多维数据库服务器；超市数据仓库的构建397CA数据仓库开发工具销售事实元数据CACA能够提供以能够提供以“元数据元数据”为核心的，结构化的，包容构造数据仓为核心的，结构化的，包容构造数据

54、仓库各项技术的全面解决方案。它具有独特的库各项技术的全面解决方案。它具有独特的“元数据元数据”管理与应用管理与应用特性，具有用三维可视化技术解析处理的功能。特性，具有用三维可视化技术解析处理的功能。CACA解决方案提供解决方案提供ODBCODBC接口，并将数据存储在第三方关系数据库接口，并将数据存储在第三方关系数据库( (如如OracleOracle、SybaseSybase、SQL ServerSQL Server、InformixInformix和和IBM DB2IBM DB2等等) )中。中。ErwinErwin是数据库是数据库/ /数据仓库模型设计工具；数据仓库模型设计工具；Decis

55、ionBaseDecisionBase是图形界面的元数据管理和数据转移工具；是图形界面的元数据管理和数据转移工具；InfoPumpInfoPump是可编程控制的双向数据转移工具；是可编程控制的双向数据转移工具；InfoBeaconInfoBeacon是是OLAPOLAP服务器；服务器；Forest&Trees DSS/EISForest&Trees DSS/EIS开发工具；开发工具；RepositoryRepository是企业环境下元数据的集中管理工具；是企业环境下元数据的集中管理工具；超市数据仓库的构建408.2.2 SQL Server数据仓库开发应用工具数据仓库开发应用工具销售事实元数

56、据SQL的数据仓库开发工具数据仓库工具名称在数据仓库中的作用关系型数据库数据转换工具数据复制工具OLE DBAnalysis ServicesEnglish QueryMeta Data ServicesPivotTable数据仓库的创建和维护数据仓库的数据加载分布式数据仓库的数据发布、加载应用系统与数据源的接口数据挖掘与分析数据仓库的语言查询数据仓库的元数据浏览客户端多维数据的定制与操作超市数据仓库的构建41销售事实元数据1.1.创建数据准备区创建数据准备区数据准备区的创建可以利用SQL Server中的数据库创建与表创建工具实现。2.创建数据仓库创建数据仓库数据仓库的框架通常由事实表和一些

57、维表组成，可以用SQL Server中的数据库创建工具和表创建工具完成。3.从业务系统提取数据从业务系统提取数据SQL Server中的数据抽取工具主要有Transact-SQL、分布式查询、DTS、命令行应用程序、bcp实用工具、从文本文件加载的BULK Insert语句和ActiveX脚本。4.清理和转换数据清理和转换数据SQL Server提供了Transact-SQL查询、DTS包、命令行应用程序、ActiveX脚本等工具完成清理工作，并对数据进行必要的转换。5.将数据加载进数据仓库SQL Server提供的Transact-SQL、DTS和bcp工具实现数据加载。6.将数据发布到数据

58、集市SQL Server提供了数据复制技术来完成数据集市的初始装载，并提供了各种数据加载工具对数据集市进行数据加载。超市数据仓库的构建428.2.2 SQL Server数据仓库开发应用工具数据仓库开发应用工具销售事实元数据7.SQL查询SQL Server提供了Transact-SQL来实现SQL查询。8.OLAP应用SQL Server中的Analysis Services可以实现OLAP应用的创建和管理。8.数据挖掘SQL Server在Analysis Services中还提供了数据挖掘技术的创建和管理功能，可以实现决策树和聚集两种数据挖掘功能。10.Web访问SQL Server所提

59、供的Analysis Services、English Query可以与Internet信息服务（IIS）一起，用多种方法在Web上对数据仓库进行查询和更新。11.更新数据仓库数据数据仓库在实际应用中还需要定期地进行数据更新维护，这些工作可以用SQL Server的Transact-SQL、DTS和bcp实用工具完成。超市数据仓库的构建438.3 SQL Server的数据仓库创建的数据仓库创建销售事实元数据8.3.1 创建数据库创建数据库右键单击数据库，选择弹出菜单中新建数据库菜单项命令 选择数据库，单击 单击建立数据库 星型按钮建立数据库 按钮，建立数据库超市数据仓库的构建44销售事实元数

60、据数据库属性设置窗口数据库属性设置窗口 超市数据仓库的构建45销售事实元数据8.2.2 创建表创建表在“表”上用鼠标右键单击，调出弹出式菜单，选择其中的“新建表”菜单项。超市数据仓库的构建46销售事实元数据表结构输入窗口表结构输入窗口 超市数据仓库的构建478.4 SQL Server数据仓库事实表与多维数数据仓库事实表与多维数据集的建立据集的建立销售事实元数据8.4.1 Analysis Manager数据库的创建与数据源确定数据库的创建与数据源确定Analysis Server系统是一个管理多维数据集的有力工具，可以用来创建对数据仓库访问、分析多维数据集和知识发现的数据挖掘模型。在使用An

61、alysis Server以前，必须要从SQL Server的安装光盘上将其安装到机器上。 1.Analysis Manager数据库的创建数据库的创建用户可以利用Analysis Manager在数据仓库中建立起多维数据集合，以有效地访问数据仓库中数据。 超市数据仓库的构建48销售事实元数据1.Analysis Manager数据库的创建数据库的创建超市数据仓库的构建49销售事实元数据2.Analysis Manager中中ODBC数据源的确定数据源的确定 超市数据仓库的构建50销售事实元数据进入进入“数据链接属性数据链接属性”对话框对话框 超市数据仓库的构建51销售事实元数据在数据源要求用

62、户在连接时给出用户名和口令时，就需要在输入登录服务器的信息部分的“用户名称”文本框中输入用户名，“口令”文本框中输入口令。复选框“空白密码”用于禁止输入口令，“允许保存密码”用于使机器保存用户口令。在“输入要使用的初始目录”下拉列表框中选择相应的位置。完成这些设置后，可以单击“测试连接”按钮，测试连接是否成功，测试结果将以对话框方式告知。高级标签页用于设置一些连接数据源的高级选项。其中的网络设置部分，用于设置用户连接网络的网络安全等级。其他部分的连接超时设定文本框设置连接超时的时间（秒），访问权限列表框设置连接数据源的7种权限：只读（Read）、读写（ReadWrite）、可共享（ShareD

63、enyNone）、除读以外的共享（ShareDenyRead）、除写以外的共享（ShareDenyWrite）、其它共享（ShareExclusive）、可写（Write）。在所有标签页中，用一个列表框显示了前面所进行的设置内容，如果对设置不满意，可以单击“编辑值”按钮，编辑这里的设置。完成设置后，可以单击“确定”按钮完成数据源指定操作。超市数据仓库的构建52销售事实元数据3.Analysis Manager中SQL Server数据源的确定可以选择系统自带的Access数据库FoodMart2000完成数据连接属性的设置后，可以单击其中的“测试连接”按钮 超市数据仓库的构建53销售事实元数据

64、“高级”标签页 超市数据仓库的构建54销售事实元数据“所有”标签页 超市数据仓库的构建558.4.2 SQL Server数据仓库的维创建数据仓库的维创建销售事实元数据1.调调出维出维度向度向导欢导欢迎对迎对话框话框超市数据仓库的构建562.“选择维度的创建方式选择维度的创建方式”对话框对话框销售事实元数据在维度向导欢迎对话框中单击“下一步”，调出“选择维度的创建方式”对话框。该对话框中包含5种维结构选项：星型架构、雪花架构、父子维度、虚拟维度、挖掘模型。星型架构可以从一个表中选择一列或几列，每一个列都可以作为维的一个层次。如果选择多个列，列就要有一种逐渐变化的信息。例如，可以选择商店所在省、

65、商店所在市、商店所在县/区、商店名称作为商店维的层次。选择年、季度、月作为日期维的层次。选择省、市、县、姓名作为客户维的层次；雪花架构可以创建多个相关的维表，从多个维表中可以选择一个或多个列，每一个列都可以作为维的一个层次。在建立商品维时就采用了雪花结构，选择商品表和商品类型表中的商品种类、商品子类、商标名称作为商品维的层次；父子维度要从表中选两列，一列为维成员，另一列为父成员。例如，用雇员和管理者可以创建一个组织维；虚拟维度中的维成员来自另一个维中的成员，数据在运行时才计算，不占用磁盘空间；挖掘模型需要用一个列和一种数据挖掘工具来构造。选择星型架构后，单击“下一步”按钮，进入“选择维度表”对

66、话框 。 超市数据仓库的构建57销售事实元数据维度向导欢迎对话框图 超市数据仓库的构建58销售事实元数据“选择维度的创建方式”对话框 超市数据仓库的构建59“选择维度表”对话框销售事实元数据建立客户维时，可以选择customer表；建立日期维时，可以选择time_by_day表；建立商店维时，可以选择Store表；建立商品维时，就可以选择product表和product_class表；超市数据仓库的构建604.“选择维度类型选择维度类型”对话框对话框销售事实元数据超市数据仓库的构建615.“选择维度的级别选择维度的级别”对话框对话框销售事实元数据客户维选择省、市、县区、姓名列，商店维则选择商店

67、所在省、商店所在市、商店所在县/区、商店名称列。日期维则选择年、月、日列。商品维选择商品种类、商品子类和商品名称列。 超市数据仓库的构建626.“指定成员键列指定成员键列”对话框对话框销售事实元数据超市数据仓库的构建637.“选择高级选项选择高级选项”对话框对话框销售事实元数据超市数据仓库的构建648.“指定排序依据和唯一性指定排序依据和唯一性”对话对话框框销售事实元数据超市数据仓库的构建659.“指定存储模式和成员分组指定存储模式和成员分组”对话框对话框销售事实元数据超市数据仓库的构建6610.“设置可更改属性设置可更改属性”对话框对话框销售事实元数据超市数据仓库的构建6711.向导结束对话

68、框向导结束对话框销售事实元数据超市数据仓库的构建68“维度编辑器维度编辑器”窗口窗口 销售事实元数据超市数据仓库的构建698.4.3 SQL Server的多维数据集创建的多维数据集创建销售事实元数据1.进入进入多维数多维数据集创据集创建建超市数据仓库的构建70销售事实元数据2.“从从数数据据源源选选择择事事实实数数据据表表”对对话框话框超市数据仓库的构建71销售事实元数据3.“选选择择用用于于定定义义度度量量列列的的数数字字列列”对对话话框框超市数据仓库的构建72销售事实元数据4.“选选择择多多维维数数据据集集的的维维度度”对对话话框框超市数据仓库的构建73销售事实元数据5.“多多维维数数据

69、据集集向向导导完完成成”对话框对话框超市数据仓库的构建74销售事实元数据多多维维数数据据集集编编辑框辑框 超市数据仓库的构建75销售事实元数据“设计存储”提示对话框 超市数据仓库的构建76销售事实元数据6.“存存储储设设计计向向导导”欢欢迎迎对对话框话框超市数据仓库的构建77销售事实元数据“选选择择数数据据存存储储类类型型”对对话话框框 超市数据仓库的构建78销售事实元数据“设置聚合选项 ”对话框 超市数据仓库的构建79销售事实元数据“存储向导完成 ”对话框 超市数据仓库的构建80销售事实元数据8.“存存储储 向向导导 完完成成”处处 理理对对 话话框框超市数据仓库的构建81销售事实元数据Analysis Manager的的多多维维数数据据集浏览集浏览 超市数据仓库的构建82