大数据时代下的商业智能

《大数据时代下的商业智能》由会员分享，可在线阅读，更多相关《大数据时代下的商业智能（34页珍藏版）》请在金锄头文库上搜索。

1、大数据时代下的商业智能,大数据时代下的商业智能,目 录,BI行业的发展前景 BI的历史、现在和未来 主要BI厂商 传统商业智能和未来商业智能的区别 大数据与商业智能的结合,大数据时代下的商业智能,从全球范围来看，商业智能(BI)已经成为最具有前景的IT领域。 2010年中国大陆地区的BI市场份额约为46亿元人民币，同比2009年增长27% BI的人才目前在IT行业并不是很多, BI人员发展的机遇很大。,BI行业的发展前景,大数据时代下的商业智能,BI从业人员的关注点,设计、开发,架构、咨询,数据仓库模型设计,ETL设计、开发,报表设计和开发,对业务的理解,数据架构的思想,案例,关注点,关注点,

2、数据仓库模型设计,ETL设计、开发,对业务的理解,数据仓库的环境,难点,难点,大数据时代下的商业智能,商业智能是从许多来自不同系统的数据中提取出有用的数据,并进行清理，以保证数据的正确性，然后经过抽取、转换和装载的过程，合并到一个企业级的数据仓库里，从而得到企业数据的一个全局视图。 在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理，最后将知识呈现给管理者，为管理者的决策过程提供支持。,商业智能的概念,数据,信息,知识,企业的利润,大数据时代下的商业智能,追本溯源，学界已公认，赫伯特西蒙对决策支持系统的研究，是现代商业智能概念最早的源头和起点。 1970年，IB

3、M的研究员埃德加科德(Edgar Codd)发明了关系型数据库。 1979年，一家以决策支持系统为已任，致力于构建单独的数据存储结构的公司Teradata诞生。1983年，该公司利用并行处理技术为美国富国银行建立了第一个决策支持系统。 1988年，为解决企业集成问题，IBM公司的研究员Barry Devlin和Paul Murphy创造性地提出一个新的术语：数据仓库(Data Warehouse) 1992年，比尔.恩门（Bill Inmon)出版了如何构建数据仓库一书，他主张由顶至底的构建方法，强调数据的一致性，拉开了数据仓库真正得以大规模应用的序幕。 1993年，拉尔夫.金博尔出版了数据仓

4、库的工具一书，他主张务实的数据仓库应该由下往上，从部门到企业，并把部门的数据仓库叫做“数据集市” 。,BI的历史,大数据时代下的商业智能,经历一轮并购潮之后，BI厂商分为两类，一类是综合性BI提供商。例如IBM、 Oracle 、SAP和Microsoft等。另一类是专业化BI提供商，例如Teradata和SAS。 IBM在BI领域有许多发展，先后并购了Datastage,Cognos和SPSS，最近又提出了业务分析（BA)。 Oracle收购海波龙(Hyperion)之后，Oracle的BI排名大大提升，而BEA的中间件更是加强了Oracle的BI战略。 SAP收购Business Obje

5、cts之后，在BI产品的易用性上下足功夫。 Teradata精于数据仓库技术，而SAS在数据挖掘分析方面见长。,BI的现在,大数据时代下的商业智能,IBM - DB2 、 DataStage 、 Cognos 、 SPSS ，覆盖BI全部领域 Oracle - Oracle、BIEE/Hyperion，覆盖BI全部领域，数据挖掘有待加强 Microsoft - SQL Server ，覆盖BI全部领域，适合中小型企业，性价比高 SAP - Business Objects、Crystal Reports，主要是OLAP和报表领域 Informatica - Informatica，主要是数据集

6、成领域 Teradata - Teradata，主要是数据仓库领域 Sybase - Sybase IQ，主要是数据仓库领域 SAS - SAS，数据挖掘领域领先,主要BI厂商,大数据时代下的商业智能,BI工具在中国遇到的挑战,报表格式复杂 中国是世界上报表最复杂的国家。中国的报表设计思想与西方不同，西方报表倾向于仅用一张报表说明一个问题，而中国的报表倾向于将尽可能多的问题集中在一张报表中，这种思路直接导致了中国报表的复杂格式 数据量大 中国是世界上人口最多的国家。以中国移动公司为例，仅我国一个省的用户数量，就相当于欧洲一个中等国家的人口，是真正的海量数据！我国很多BI系统的架构和设计也不如外

7、国，所以在性能上存在较大的差距。在外国，可能一个客户分析应用一两分钟就能出结果，但是在中国，可能就是要一两个小时了。 数据回写 中国是世界上对 BI 系统要求最奇特的国家。本来 BI 系统是以真实再现源数据为原则，但这个原则在中国遇到了难题，许多领导都提出了数据修改的需求，“报表里数字不好看，就要能改啊，这样上级领导看着就好嘛！”目前Microsoft, Oracle BIEE就是能满足这样要求的 BI 产品,大数据时代下的商业智能,传统商业智能和未来商业智能的区别,有一种观点：,预测未来,分析历史,未来商业智能,传统商业智能,大数据时代下的商业智能,传统商业智能的使用情况,固定报表：目前中国

8、市场上的商业智能应用停留在这个层面，主要过程是通过ETL工具，将业务系统源数据抽取到数据仓库中，在装载到数据集市，建立模型，利用前端工具将数据展现出来。 OLAP分析：生成OLAP多维模型，实现多指标分析。 数据挖掘：通过分析具体数据，发现潜在的、有价值的信息，例如啤酒和尿布。 分析应用：与业务信息系统相结合。例如企业绩效管理。,大数据时代下的商业智能,第一阶段：查询。 第二阶段：报表。 第三阶段：多维分析和统计分析。 第四个阶段：数据挖掘。,传统商业智能的几个阶段：,未来商业智能的方向：,建立实时动态数据仓库。传统数据仓库是基于历史数据分析，动态数据仓库支持前端应用，利用分析结果发起业务流程

9、。 (2) 增加对非结构化数据的处理 。 (3) 缩短响应时间。,大数据时代下的商业智能,传统商业智能和未来商业智能的区别 BI传统的过滤、上钻、下钻、比较等功能也难于满足一些特殊企业用户的分析要求。 如何来保证外部数据的准确性、实时性和有效性是个重大问题。. 在多媒体、智能手机和社交网站获取的信息，我们正面临着比以往任何时候都更多的数据，传统数据仓库的性能已无法应付庞大的信息，只有通过大数据（Big Data）技术使我们能够访问和使用这些宝贵的、大规模数据集，以应对越来越复杂的数据分析和更好的商业决策制定。,大数据时代下的商业智能,操作型商业智能。BI用户群也会相应地从现在的后台管理决策层向

10、前端业务操作型用户延伸。 2. 交互式商业智能。预测、分摊、假设模拟、数据挖掘等技术应用将会越来越普遍。 3. 可视化商业智能。越来越多的用户不再满足于传统的图像展现，而要求数据的进一步可视化。 4. 实时商业智能。由于BI应用将向操作型发展的特点，也导致了用户对BI应用的实时性需求。 5. 移动商业智能。将原来人们依赖于电脑的商业智能搬到了手机或者黑莓上。 6. SaaS商业智能。商业智能作为云计算，作为服务来使用。,未来商业智能的发展,大数据时代下的商业智能,为了满足未来商业智能的发展，应该将大数据技术和商业智能技术结合起来,大数据(Big Data)是对你在数据仓库技术中现有投资的补充,

11、主要的商业智能 （BI）供应商都宣布对大数据技术的支持，或在解决方案中使用大数据技术,数据海洋中的大数据要做的事不仅要对大规模的信息运行分析而且也成为数据仓库的一种来源,大数据有益于大型分析以及长期的战略方向,大数据是传统数据库、数据仓库、BI概念外延的扩展，手段的扩充，不存在取代的关系，也并不是互斥的关系,大数据时代下的商业智能,大数据与商业智能的结合,例如，某位信用卡用户月均刷卡10次，月均刷卡300元，每年平均打5次客服电话，但是从未投诉。那么按照这些信息，该客户是一命满意度较高，流失率很低的客户。,利用商业智能得出的结论,真实情况,该客户多次打客服电话都没有接通，客户多次在微博和博客上

12、进行抱怨还款不方便， 客户服务不好，所以该客户的流失风险很高。,大数据时代下的商业智能,大数据概念的提出,最早提出“大数据”时代已经到来的机构是全球知名咨询公司麦肯锡。 2011年，麦肯锡出版了研究报告大数据：创新、竞争和生产力的下一个新领域，产学研界对“大数据”的关注达到历史性新高度。 麦肯锡在研究报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。 互联网、移动互联网、物联网、云计算的快速兴起以及移动智能终端的快速普及，正使得当前人类社会的数据增长比以往任何一个时期都要快。 越来越大、越来越快、

13、越来越复杂，数据特性的演变和发展，催生了一个全新的概念大数据。,大数据时代下的商业智能,结构化数据：存在于关系数据库中，多年来一直主导着IT应用； 半结构化数据：包括电子邮件、文字处理文件以及大量发布在网络上的新闻等，以内容为基础，这也是谷歌和百度存在的理由； 非结构化数据：广泛存在于社交网络、物联网、电子商务之中。伴随着社交网络、移动计算和传感器等新技术不断产生，有报告称，超过80%的数据属于非结构化数据。,大数据 是一个涵盖多种技术的概念，简单地说，是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。 IBM将“大数据”理念定义为4个V，即数量（Volume）、多样性

14、（Variety）、速度（Velocity）及数据的准确性（Veracity）。,大数据时代下的商业智能,数据规模 TB 至PB 级数据,数据的多种形式 结构化、非结构化、文本、多媒体,数据的运动 分析流数据，在不 到一秒内做出决策,数据的不确定性 管理数据的可靠性和可预测性，尽管原生数据内生性的不精确,多样性（Variety）,精确性 （Veracity）,速度（Velocity）,数量（Volume）,大数据时代下的商业智能,大数据和商业智能结合已应用于各行各业,能源与公用事业 智能电表分析 资产管理,零售 全渠道营销 实时促销,司法执法 多点监测 网络安全检测,交通运输 物流优化 缓解交

15、通拥堵,金融服务业 欺诈检测 360客户视图,数字媒体 实时广告定位 属性分析,健康与生命科学 病历分析 疾病监测,通讯 客户资料货币化 网络分析&优化,大数据时代下的商业智能,在大数据领域，不能充分形成大数据使用能力的竞争者将被淘汰,大数据时代下的商业智能,大数据的使用情况,大数据时代下的商业智能,4、大数据的应用不仅仅是精准营销,通过用户行为分析实现精准营销是大数据的典型应用，但是大数据在各行各业特 别是公共服务领域具有广阔的应用前景,消费行业,金融服务,食品安全,医疗卫生,军事,交通环保,电子商务,气象,大数据时代下的商业智能,大数据涉及的关键技术,需求大数据涉及的关键技术,描述,技术,

16、海量数据存储技术,分布式文件系统,实时数据处理技术,Streaming Data,流计算引擎,数据分析技术,Text Analytics Engine Visual Data Modeling,自然语言处理、文本情感分析、机器学习、聚类关联、数据模型,数据高速传输技术,服务器/存储间高速通信,Infini Band,Hadoop，x86/MPP Map Reduce,搜索技术,文本检索、智能搜索、实时搜索,Enterprise Search,大数据时代下的商业智能,建立对非结构化数据进行SQL语法查询的支持，实现与结构化数据的集成关联（key）,非结构化数据,数据获取,结构化数据,分析应用,数据集市,数据集市,EDW,结构化 元数据,Hadoop,建立非结构化信息的标签、摘要、索引、日志、内容等,提取结构化的元数据信息，如类别、标引、摘要等；实现与结构化数据的整合,ODS,SQL,大数据下的商业智能架构,大数据时代下的商业智能,大数据BI系统的底层技术体系,分布式计算 内存计算 实质