《企业实施大数据的路径》由会员分享，可在线阅读，更多相关《企业实施大数据的路径（13页珍藏版）》请在金锄头文库上搜索。
1、重磅，公司实行大数据的途径 公司实行大数据重要有四个方面的内容： 第一,公司要建立数据文化,公司作决策应当用数据来说话。 第二,公司要建立数据的战略。 第三,公司在数据战略之下组织数据管理团队的能力。第四,公司实行大数据的技术能力。公司实行大数据的具体的建设途径有两个方面,一方面是自下而上，另一方面是自上而下。自上而下 自上而下的途径，一方面是有序地在管理层建立数据的决策文化，在公司文化层面建设起数据的使用意识，然后建立相应的组织架构、相应的部门和团队,拟定需要招聘什么样的人进来、需要多少人、具体职责怎么划分,最后建立起相应的技术平台。 自下而上 自下而上第一是让员工学习和掌握有关技术技能，可
2、以通过内部培训,也可以通过外部招聘。第二,要有规划地设计，后来系统怎么走、怎么做,要有一种长期的规划。第三,要有明确的绩效考核的指标,数据的管理、质量的管控、效益怎么保证。第四,在思维上要保持一种开放的态度,互联网时代大数据还在发展的初期,一般觉得大数据在公司的应用还处在幼儿园阶段,这个时候尚有诸多东西要学习,必须保持一种开放的心态，不断地学习,才干真正把事情做好。(一)建立公司的数据文化 文化是公司看待事物的价值观和执行行动的衡量原则。建立数据文化就是要在整个公司层面建立一种以客观的数据为决策根据和衡量原则的价值观和制度体系,为公司可以真正运用大数据产生价值提供基本。没有这个基本,公司虽然拥
3、有再好的技术和资源，也无法运用好它们来为公司服务。 什么叫公司数据文化？它涉及六个方面的内容。 第一，数据文化重要体目前数据驱动决策，决策重要通过数据来说话。第二,公司运营效率的分析。一方面,通过对数据进行深度分析,可以像望远镜同样理解公司各方面的运营状况，另一方面，数据可以像显微镜同样去观测公司运营的细节，找到以优化的地方。第三,通过数据来分析营销规划的得失。一般公司做促销活动，销售量提高了就觉得是成功了,但是促销是有成本的，销量提高了，是不是真的就带来效益了呢? 第四,在以人为本的时代,公司对员工的人身安全和健康的责任越发重大了。如果能通过客观可衡量的数据,关注员工的工作环境和舒服性，对保
4、障良好健康的工作环境、提高员工的满意度将起到非常重要的作用。 第五，员工绩效，必须要有一种数量化的指标。 第六,价值链中的数据管理。在纵向供应链中通过数据的分享和互换，可以更好地让供应链上下游的公司理解整个供应链上的需求、库存和供应，从而可以优化链条上的库存，积极发起供应的准备,更快地应对市场的变化。在横向生态链中，通过度享和互换数据，可以在全方位生活场景中对顾客进行分析,从而打造出满足顾客更广泛需求的一站式服务,不仅可以挖掘出更多的商业机会,并且增强了顾客的粘性。 (二) 建立公司的数据战略 建立公司的数据战略,需要建设三个方面的内容，如下图 第一种方面是建立完整的数据模型。数据模型的目的是
5、对的地定义数据，对数据进行分类和拟定数据交互之间的原则。将对公司业务管理的理解,转化为数据的规定，从而理解究竟什么样的数据需要管理。不同的系统产生不同的数据，各系统之间的数据和数据之间互相交互的内容是什么。公司内部有不同的系统,ERP系统、供应链系统、CP系统等，顾客信息放在哪,供应商信息、物联网信息、财务信息分别放在哪,她们之间怎么协调，怎么沟通?这些都是需要考虑的问题。 数据服务 第二个方面是建立数据服务体系，涉及选用什么样的技术平台、采用什么样的数据技术,不同的系统如何使用这些不同技术,涉及老式的数据库、数据仓库、商业智能、新型的Hadop等。基于业务架构的设计,来设计数据应用的架构，然
6、后通过数据交互接口来互换数据，从而避免浮现数据孤岛，同步建立统一的数据规划，保证数据源的统一和一致性，为后期的数据分析提供支持。第三个方面是建立数据的治理体系。数据治理涉及数据的管理制度和整体生命周期的管理。数据正在成为一种资产，与此相相应的,资产需要体系化的管理。数据的资产权利管理,涉及拟定数据的所有权、拟定每个数据的所有者、谁是这个数据的管理者、谁来负责这个数据的精确性、谁来保障数据的质量，等等。数据的高质量是进行数据分析的基本,数据如果是错误的，怎么分析都不会有对的的成果。同步,数据的合规和安全的管理也是核心环节，例如谁可以操作数据、谁负责数据的安全、备份和服务等,一种严格的数据的合规和
7、安全管控制度是必不可少的。 数据的生命周期管理，涉及如何和何时建立数据、什么时候可以修改、谁批准修改、数据如何消除等。国内的公司这方面做得比较欠缺，不只是数据,还涉及设备、电脑等，电脑报废了不能用了,就直接丢弃。在这方面,国外公司做得不错，国外信息安全的公司,一般会花钱请第三方公司来进行专业的数据销毁的解决，甚至每台电脑耗费几百块钱来进行环保型销毁。例如在某些数据消除案例中，数据要用多种措施来保证被彻底擦除,例如有些公司规定对数据进行格式化七遍,以避免也许的数据恢复。(三) 建立公司的数据组织能力 建立数据的组织能力,涉及设立合适的组织角色的定位、招聘到合适的人员、设立合适的组织构造以及设计合
8、适的责权利，等等。 第一，数据的组织能力，建议有条件的公司可以建立首席数据官（ifDat fce)岗位，这个岗位重要是设计整个数据的战略，领导数据战略的落地,以及通过数据和业务管理层进行沟通、对话，传递数据的价值。第二，数据科学家的作用非常重要,数据科学家研究的是如何用最佳、最科学的算法得出最佳的成果。同样一堆数据在那儿，十个不同的人在看，十个人看的成果都不同。那么为什么科学家算得准呢?由于她的知识够进一步,她理解哪个因素最重要,那么多因素里面她应当选哪部分来分析。数据科学家目前是整个市场上最欠缺的人才,由于同步兼具数据算法专业知识和业务知识的人才是极其难得的。数据科学家可以分为三种类型,第一
9、种是技术型数据科学家，她们是计算算法方面的行家，对多种记录分析技术非常在行;第二种是应用数据科学家，她们对数据架构非常熟悉,熟悉数据在各个系统中的分布,可以较好地把多种数据进行集成管理;第三种是业务数据科学家，这些人对行业知识和公司业务非常熟悉，同步兼具一部分对数据解决技术的理解，能较好地把业务的需要和特性转换成数据的解决规定,同步可以较好地将数据解决成果转换成业务的视角和言语,来传递给业务管理者。 第三，对于一定规模的公司,我们一般建议,公司要建立一种集中式的数据管理运营中心。云计算服务就是集中化管理方式,成本最低、灵活性最高、扩展性最强。 第四，整个数据组织的架构原则不是以技术、产品来交付
10、,而是以商业价值交付为衡量原则。考量数据分析的产出能力，不是数据分析的速度有多快,也不是数据量有多大，而是数据分析的成果对业务究竟有无协助、是不是有指引意义。这也是所有数据分析的核心价值,也是对大数据中“大”的含义的最核心的衡量原则“大”到产生业务价值。这个衡量原则对技术组织来说，执行起来有些困难，因此必须建立一种明确的绩效评估原则和价值评估原则，让技术人员可以更多地从业务角度来考虑所做的工作的价值，而不陷入技术优先论的境地。 第五，提高一线人员的业务决策权和数据决策权，建立一种扁平化管理的组织。通过系统化的培训来不断培养员工的数据分析能力。由专业数据分析人员和算法人员设计的数据分析解决方案或
11、者产品,必须以简朴易用的方式提供应一线员工，同步更为重要的是,加强有关的解决方案或者数据产品的系统化培训，让更多的员工意识到这些解决方案或者产品的价值，并乐于在平常工作中使用。我们建议数据建模数据产品研发的费用和针对一线员工的使用培训的投入应当是对半分的。为了更好地推动培训,公司还可以考虑成立爱好驱动的数据协会,让更多的员工加入到该协会中，定期举办培训课程、研讨沙龙以及聘任外部专家做有关分享以开拓视野。 建立了公司的数据组织能力后，公司使用数据的过程如下论述。 图2 数据的使用过程 一方面收集数据，从不同地方把数据找到，找到后来选择算法。另一方面进行业务关联的分析,拟定哪些指标、哪些维度是故意
12、义的,这就是数据科学干的事。业务科学家和数据科学家可以分离，也可以整合，大部分公司是一套人马来做,展示成一种业务的可以接受、可以理解的措施,如果单纯是数据展示,也许管理层、业务部门看不懂,这就需要转换成业务管理者可以理解的语言和信息。最后,提交给管理层或者是相应的部门作商业决策。这就完毕了一种完整的价值交付。在上述的数据解决过程中，数据团队中有不同的岗位来执行相应的工作。在数据的采集和清理环节，重要是数据管理员，涉及公司内部的数据抓取,外部的微博、淘宝、第三方电信等的数据采集,数据诸多,需要做清理,把某些没有用的数据解决掉,留下来有效的数据，这重要是数据管理员要做的事情。接下来是数据科学家,选
13、择对的的算法,同步可以根据业务的维度制作多种不同的模型，来得出一种分析的成果。再接下来，尚有一种团队是业务分析师,根据这些分析成果，将其转换成业务人员可以理解的语言和展示措施,交给CDO和核心管理层、决策层做沟通,协助她们作决策。作为整个技术平台的提供者，尚有一种技术团队做具体的平台搭建,可以自行开发基于Haop开源的大数据平台，或者购买第三方的系统做管理维护,也可以直接使用大数据的SaaS服务平台来迅速建立大数据技术能力。 (四) 选择技术平台 公司以往使用老式数据进行复杂分析时,多使用数据仓库和商务智能系统，也就是所谓的OLA系统，对老式数据例如财务数据、顾客数据进行抓取、挖掘和分析,然后
14、通过页面展示出来,这是非实时的分析系统。在互联网+时代，要将第三方的社交数据和电商数据，例如微博、电商数据等放进来分析是很难的,由于老式的架构是基于构造化的数据基本上的,而目前更大量的数据是非构造化的数据，老式方式很难支持。这样我们分析数据就遇到某些困难,大数据应运而生,Hdop是其中最重要的一种平台。Hdo是一种生态系统，它里面涉及了某些计算的系统、数据存储的系统、数据分析的系统，它是阿帕奇组织在正式开展的一种项目。aoop是一种非常重要的革命性的应用,由于它是免费发布,让诸多人均有机会使用，目前诸多公司都是以Hadoo开源平台为基本，再由内部技术人员做某些优化来使用。 老式数据和大数据的关
15、系是一种发展和结合的关系。老式数据还是可以分析出对业务有价值的信息，也还是用此前仓库的方式分析,新型数据用大数据的方式分析，两个系统最后进行整合，形成一种后端的解决方案;目前也浮现了一种完全集成式的方案，这是近来一两年浮现的新的大数据平台,可以同步兼容新的大数据和老式的数据，这种集成式的应用将会越来越多。市场上诸多公司的商业套件和adoop开源的方案有什么区别呢?它们的重要区别是商业套件在性能上做了优化、提高,在安全上做了增强,它加入了针对相应行业的业务理解，协助公司预置了建模的措施和工具,但问题是价格比较贵。因此，多种方案的选择是基于公司的实际状况,涉及预算和团队能力等因素综合考虑的。 (五) 数据的开放和共享 对于数据的来源,公司内部一般不具有大数据分析所需要的所有数据。，国内的大数据市场规模84个亿，估计达到1个亿,增长4%。相信随着大数据交易平台的建设,增长还会更多。根据中国信息通讯研究院的研究报告,公司对大数据的认同度,觉得“比较重要”的达到97%,这阐明公司对大数据的重要性是有结识的，问题是怎么来落地。公司看待大数据往往关注的是安全性和稳定性。这阐明虽然公司已经意识到大数
