财会大数据分析与可视化358

商务智能基础项目一添加标题在此P A R T 0 1添 加 相关 标 题文 字 添 加 相关 标 题文 字 相关 标 题文 字学习目标汪刚制作添加标题在此P A R T 0 1添 加 相关 标 题文 字 添 加 相关 标 题文 字 相关 标 题文 字项目导图汪刚制作情境案例 2015年前后，中国民生银行（以下简称“民生银行”）“阿拉丁”平台诞生，它是信息管理部提供的一个海量数据查询、展示、交互、分析的整体解决方案。“阿拉丁”平台上线以来，分行业务人员基于此平台产生了很多有价值的经典案例“阿拉丁”平台上线后，一线财务人员通过Smartbi分析工具将转账交易情况做了一个简单的归类，发现有些客户存在一个很有意思的情况，就是每个月定期往其他银行账号上转钱，而且转账金额基本差不多。经过抽样了解发现，这些客户都是中小企业的会计，他们每月定期通过民生银行给自己的员工发工资。业务人员通过数据分析和挖掘，积极开展精准营销，为银行带来了大量工资卡客户。这些都是业务人员通过开放的“阿拉丁”平台接触到数据之后，利用自身的业务经验，再结合数据工具创造出的价值。目前，“阿拉丁”平台已经为民生银行培养了近千人规模的数据分析挖掘团队，使得更多一线业务人员贡献业务经验，形成了更大的数据分析产品群落，最终获得效益的提升。案例来源：中国民生银行和Smartbi官方网站。汪刚制作1商业智 能概述2可视化 技术基础3常见 数据类型4主目录4常 见 数 据 分 析 模 型汪刚制作商业智 能概述任务一汪刚制作子任务一商业智能的定义提出：提出：Gartner的分析师 Howard Dresner1996年年提出商业智能描述了一系列的概念和方法，应用基于数据的分析系统辅助商业决策的制定。商业智能技术为企业提供了迅速收集、分析数据的技术和方法，把这些数据转化为有用的信息，提高企业决策的质量。汪刚制作子任务一商业智能的定义企业界：企业界：Microsoft认认为为：商业智能是任何尝试获取、分析企业数据以便更清楚地了解市场和顾客，改进企业流程，更有效地参与竞争的过程。商业智能是下列软件工具的集合：终端用户查询和报告工具、在线分析处理工具、数据挖掘软件、数据集市、数据仓库产品和主管信息系统。Oracle认认为为：商业智能是一种商务战略，能够持续不断地对企业经营理念、组织结构和业务流程进行重组，实现以顾客为中心的自动化管理。SAP认为：认为：商业智能是收集、存储、分析和访问数据以帮助企业更好决策的技术。IBM认为：认为：商业智能是一系列技术支持的简化信息收集、分析的策略集合。IDC认认为为：商务智能是下列软件工具的集合终端用户查询和报告工具，在线分析处理工具，数据挖掘软件，数据，集市数据仓库，产品和主管信息系统。帆帆软软认认为为：商业智能是利用数据仓库、数据可视化与分析技术，将指定的数据转化为信息和知识的解决方案，其价值体现为满足企业不同人群对数据查询、分析和探索的需求，使企业实现对业务的监测和洞察，从而支撑企业管理决策，提升企业管理水平，提高企业业务运营效率，改进优化企业业务。汪刚制作子任务一商业智能的定义复旦大学赵卫东：复旦大学赵卫东：商商业业智智能能是融合了先进信息技术与创新管理理念的结合体，集成了企业内外的数据，加工处理并从中提取能够创造商业价值的信息和知识，面向企业战略并服务于管理层、业务层，指导企业经营决策，提升企业竞争力；商业智能不仅是指一套技术，更是一套完整的解决方案；商业智能的本质本质就是数据智能数据智能。汪刚制作子任务二商业智能的系统构架汪刚制作子任务二商业智能的系统构架数据获取层数据获取层从数据来源看从数据来源看企企业业内内部部：财务系统、采购系统、销售系统、生产系统等ERP系统的数据、办公自动化OA的数据等；企业外部企业外部：政策数据、市场数据、行业数据、竞争对手的数据、各类统计数据等；从数据存储结构上看从数据存储结构上看结构化数据：以二维表格形式存储的数据；非机构化数据：所有格式的办公文档、文本、图片、音频和视频文件等；从数据存储形式上看从数据存储形式上看分为.xls文件、.txt文件、.csv文件、各类数据库文件等；BI系统获取数据后，还要经过数数据据清清洗洗即即ETL(Extract-Transform-Load)操作。ETL是将业务系统的数据经过抽取、转换之后加载到数据仓库的过程；子任务二商业智能的系统构架数据管理层数据管理层数据仓库数据仓库，英文名称为英文名称为Data Warehouse，可简写为，可简写为DW。数据仓库是面向主题的，数据仓库中的数据是按照一定的主题域进行组织；数据仓库是集成的，数据仓库的数据有来自于分散的操作型数据，将所需数据从原来的数据中抽取出来，进行加工与集成，统一与综合之后才能进入数据仓库；数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询；数据仓库中的数据通常包含历史信息；元数据（元数据（Meta Data）是关于数据仓库的数据，指在数据仓库建设过程中所产生的有关数据源定义，目标定义，转换规则等相关的关键数据；元数据还包含关于数据含义的商业信息，所有这些信息都应当妥善保存，并很好地管理。为数据仓库的发展和使用提供方便。汪刚制作子任务二商业智能的系统构架数据分析层数据分析层联机分析处理：联机分析处理：OLAP(Online Analytical Processing)OLAP是以海量数据为基础的复杂分析技术；它支持各级管理决策人员从不同的角度、快速灵活地对数据仓库中的数据进行复杂查询和多维分析处理，并且能以直观易懂的形式将查询和分析结果展现给决策人员；OLAP使用的逻辑数据模型为多维数据模型；OLAP是验证型验证型的分析工具；数据挖掘：数据挖掘：DM（Data mining）数据挖掘是从海量数据中，提取隐含在其中的、人们事先不知道的但又可能有用的信息和知识的过程；数据挖掘的数据有多种来源，包括数据仓库、数据库或其他数据源；数据挖掘是预测型预测型的分析工具；汪刚制作子任务二商业智能的系统构架数据展示层数据展示层数据展示层主要是通过可视化技术可视化技术将分析内容以各种图表的方式展示出来；供企业决策人员、管理人员、分析人员、业务人员等相关人员进行洞察和决策；可视化技术是以计算机图形学、以图像处理技术为基础，将数据转换为图形或图像形式，显示到屏幕上，并进行交互处理的理论方法和技术。它涉及计算机视觉图像处理，计算机辅助设计，计算机图形学等多个领域，并逐渐成为一种研究数据表示数据，综合处理决策分析的问题的综合技术；数据分析的内容包括利润分析、收入分析、成本分析、资产分析、运营分析、投融资分析等。企业数据分析需要展示哪些指标和内容，与企业战略、经营管理需要有密切关系。汪刚制作子 任务三商业智 能 的 价值增强业务洞察能力优化企业营销策略提高市场响应能力加强风险管理能力改善客户关系管理汪刚制作子 任务三商业智 能 的 价值啤酒和尿布的故事这是发生在美国沃尔玛连锁超市的真实案例，并一直为商家所津津乐道。沃尔玛拥有世界上最大的数据仓库系统，为了能够准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的购物行为进行购物篮分析。沃尔玛数据仓库里集中了其各门店的详细原始交易数据。在这些原始交易数据的基础上，沃尔玛利用数据挖掘方法对这些数据进行分析和挖掘。一个意外的发现是：跟尿布一起购买最多的商品竟是啤酒！经过大量实际调查和分析，揭示了一个隐藏在尿布与啤酒背后的美国人的一种行为模式：在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%40%的人同时也为自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。这是著名的“啤酒和尿布的故事”，沃尔玛正式根据这一发现，及时调整营销策略，在尿布旁边摆放啤酒，从而大大增加了两种商品的销售收入。汪刚制作子 任务四自 助 式 商业智 能 分 析 工 具分分类商商业智能工具智能工具特点特点国外Power BI微软官方推出的可视化数据探索和交互式报告工具；Power BI 应用包含：Power BI Desktop、Power BI Online-Service、Power BI Mobile。其中桌面应用程序Power BI Desktop为免费版；TableauTableau 成立于 2003 年，是斯坦福大学一个计算机科学项目的成果；Tableau 在 2019 年被 Salesforce 收购，但使命不变：帮助人们查看并理解自己的数据；Tableau家族产品：Tableau Desktop、Tableau Server、Tableau Online、Tableau Public和Tableau Reader；国内Fine BIFineBI是帆软软件有限公司推出的一款商业智能(Business Intelligence)产品；FineBI的系统构架包括四部分：（1）数据处理；（2）即时分析；（3）多维度分析；（4）Dashboard；Smart BISmartBI是思迈特软件公司旗下产品。思迈特软件成立于2011年，致力于为企业客户提供一站式商业智能解决方案;其产品系列主要包括:（1）大数据分析平台;（2）数据化运营平台;（3）大数据挖掘平台;（4）SaaS分析云平台;汪刚制作可视化 技术基础任务二汪刚制作数据可视化定义数据可视化定义人类从外界获取信息83%来自视觉，来自视觉，11%来自听觉，来自听觉，6%来自其他来自其他；数数据据可可视视化化，就是将工作中处理的各各类类数数据据映映射射为为视视觉觉模模式式，来探索、解释隐藏在数据背后的信息，在保证信息传递的基础上寻求美感，用数据讲故事；数据可视化既是一门科学科学，又是一门艺术艺术。汪刚制作子任务一认识数据可视化子任务一认识数据可视化数据可视化作用数据可视化作用数据表达：数据表达：最原始的作用；常见的形式：文本、图表、图像、地图等；数据操作数据操作：人与数据的交互需求；包括：自然交互、可触摸、自适应界面和情景感应等；数据分析：数据分析：包括：定位、识别、区分、分类、聚类、分布、排列、比较关联等；汪刚制作经典可视化作品经典可视化作品“南丁格尔玫瑰图南丁格尔玫瑰图”护护士士届届最最高高奖奖项项“南南丁丁格尔奖格尔奖”；5 5月月1212日日“护护士士节节”-南南丁格尔的生日；丁格尔的生日；统计学家；统计学家；汪刚制作子任务一认识数据可视化格式塔视觉原理格式塔视觉原理一个基本点：一个基本点：人类的视觉是整体的；人类的视觉是整体的；两两个个假假设设：分分别别是是捆捆绑绑假假设设和和关关联联假假设设。捆捆绑绑假假设设认认为为每每个个复复合合体体都都是是有有基基本本内内容容和和片片段段组组成成；而而关关联联假假设设则则认认为为，如如果果任任意意对对象象或或场场景景频频繁繁与与另另一一对对象象或或场场景景一一同同出出现现，那那么么人人们们通通常常倾倾向向于于在在其其中中一一个个对对象象或或场场景景出出现现时，召唤另一个。时，召唤另一个。五五个个原原则则：相相似似原原则则、接接近近原原则则、连连续续原原则则、闭闭合合原原则则、图图形形与与背背景景关关系系原则。原则。汪刚制作子任务一认识数据可视化视觉编码视觉编码将视觉信息映射成可视化元素的技术；常见：Bertin视觉编码视觉编码;Mackinlay视觉编码视觉编码；Bertin视觉编码位置位置：根据位置的不同判断趋势和群组；大小大小：通过图形的大小，反映某一变量取值的大小；形状形状：形状不同，可以表示不同的分组；数值数值：指颜色的饱和度数值。同一颜色的饱和度不同，则变量的取值不同；色相色相：也指色调，即颜色。颜色不同，分组不同；方向方向：表示趋势的不同，也可用作比较；纹理纹理：表示分组的不同，与色相类似；汪刚制作子任务一认识数据可视化子任务二常见可视化图表图形选择决策树（图形选择决策树（来自明月说数据公众号来自明月说数据公众号)汪刚制作子任务二常见可视化图表汪刚制作子任务二常见可视化图表汪刚制作数据类型任务三汪刚