《大质量大数据大管理》由会员分享，可在线阅读，更多相关《大质量大数据大管理（25页珍藏版）》请在金锄头文库上搜索。
1、Four short words sum up what has lifted most successful individuals above the crowd: a little bit more.-author-date大质量、大数据、大管理大数据以其所拥有的大数据量而产生的强大变革，正在彻底改变着我们的生活，与此同时，大数据也会为我们的社会带来一定程度的风险。大数据以其所拥有的大数据量而产生的强大变革，正在彻底改变着我们的生活，与此同时，大数据也会为我们的社会带来一定程度的风险。在大数据背景之下，为了分享大数据发展所带来的利益并对其所产生的挑战进行积极应对，质量专业工作者必须转变自
2、身观念，获取更多数据和知识，更新自身原有技能，并不断拓展自身的角色。30年前，约瑟夫朱兰（Joseph M. Juran）博士创造了“大质量”一词，以描述在质量管理领域正在发生的根本性变化。对此，朱兰博士将产品的质量定义为“小质量”，而将组织所有过程的改进称之为“大质量”。这种“大质量”彻底改变了质量伞所覆盖的范围，并在质量伞之下增加了大量相关内容，从而使质量管理实践及质量管理观念发生了根本性改变。当今世界也正在经历着另一个从小到大的变革：即由小数据到大数据的变革。对于大数据来讲，其所固有的性质正在从正反两方面深刻地影响着我们的社会，而对于质量专业工作者来讲，则必须学会如何在这种大数据时代背景
3、之下长期生存和持续成功。何谓大数据大数据是指若干组数据的集合，而这种数据集合所包含的数据量极及庞大而复杂，以至于采用传统数据库和数据处理方式无法对其进行有效处理。大数据所包含的巨大数据特点，可以从以下3个方面来理解：数据储存容量当前，储存在世界上的数据正在直线增长，2013年的数据容量达到1.2zettabyte（1zettabyte等于1021byte），而到2015年，估计世界数据储存容量将达到8zettabyte，这意味着数字8后面带有21个0。与此同时，数据储存成本则以同样速度直线下降，由二十世纪80年代的每gigabyte（1gigabyte等于109 byte）数据储存成本为100
4、万美元，下降到2010年每gigabyte数据储存成本只有10美分。数据传导速度在此期间，数据传导速度也如同数据储存容量增长趋势一样得到了快速提高，从而使数据的生成、收集、储存及处理速度有了大幅度提升，以满足社会对数据的需要。数据多样化大数据来源于社会方方面面，如数据库、文件、电子邮件、电话记录、仪表、传感器、影像、视频及音频档案、财务信息等，这些都是大数据的来源之处。进而言之，你的行为、言谈或在电脑上输入的文字、访问过的网站、逗留过的地点、遇见的人 等等，都可能会以数据方式被记录和储存在某个地方。大数据的力量即使在开始阶段，大数据也已经对我们生活中的方方面面产生了深刻的影响，并极大地加速了经
5、济成长、科学进步及国际化发展。在大数据时代，巨量数据可以被处理，而在一些情况下，所有与一个特别事物相关的数据都可以得到系统地分析。另外，大数据还可以针对某一事物的若干子类信息进行深度探寻和处理，而这一点是采用传统取样分析方法根本无法实现的。大数据无论是针对私人企业，还是针对公共领域，在决策过程中都扮演着越来越重要的角色。表1中所列出的一些运用大数据进行分析的案例，则仅仅展示出其冰山一角而已。大数据现在是一种能够产生新经济价值形式的业务原材料。实际上，大数据已经成为了一种价值源，因为数据可以在第一次使用（首次使用）之后，还可以针对不同目的进行一次又一次的使用（二次使用）。大数据的负面作用然而，大
6、数据如果没有得到有效管理，可能会对人类隐私、个人意愿及民主制度产生极大的威胁。最近，众所周知的美国国家安全机构监视计划所带来的激烈争论正在全世界范围内发酵，而且还没有结束的迹象。这一监视计划引发了关于在大数据时代如何保护普通公民隐私范围的广泛讨论。大数据不仅仅增加了个人隐私的风险，而且也改变了相关风险的性质。由于大数据可以用于二次使用，这样传统保护个人隐私的方法（如：个人信息通告、准许、决定退出及匿名等）的有效性会受到极大的损害。在美国，越来越多的假释委员会正在通过大数据进行预先分析，然后根据预先分析结果做出是否准许囚徒假释的决定。另外，越来越多的城市也采用这种预先分析方法，来选择和确定是否应
7、当对某个地点和某个人进行额外监视。如果针对某人所做出的惩罚或监视决定主要是根据其尚未承认的犯罪可能性，那么这种处罚或监视决定将是非常危险的。这一做法的主要问题恐怕已经远远超出了法律执行范畴，其中包括雇主开除员工、银行拒绝抵押贷款或妻子与丈夫离婚等，只因为任何一件已经发生的坏行为都会引发高度犯罪的可能性。同样，如果大数据分析结果在预先分析中没有得到正确判定，那么我们所知道的民主制度也将可能会处于危险之中。转变你的观念如果这样的话，那么大数据对于质量专业工作者意味着什么呢？你是否已经准备好来迎接这一彻底改变你生活及工作方式的变革所带来的挑战？你必须改变关于抽样大小、精确度及因果关系的思维模式。第一
8、个观念转变是从部分转变到全部。在小数据时代，你要被迫去处理小数据结果，因为你不可能收集并分析所有数据。为了使抽样统计代表全部人口，你尽可能随机收集抽样数据。然而，实现全面随机抽样是比较困难的，即便采用随机抽样方法不是不可能的，但随机抽样却很难从子群中抽取到相关数据。随机抽样也具有错失不经常出现但却很重要信息的风险，而偏见也会不知不觉地产生于抽样过程之中，例如回答问卷调查。在大数据时代，你可以收集到更多的数据，甚至全部数据。利用全部数据可以判明数据之间的相互联系，并可以对数据及其子数据组详细信息进行深度探究。大数据可以使你自由地核对许多假定事物，以及从不同角度密切审查相关数据。大数据还可以减少由
9、抽样引起的偏见，因为数据收集都是在人们正在从事日常活动的情况下进行的。第二个观念转变是对可能发生的事放宽精确性。在小数据时代，对一件事物通常会尽可能多地要求其具有明确性和确定性。进入到大数据时代，你不必担心某一数据观点会对整体分析造成偏见，因为你可以依靠大量数据进行预先评估。实际上，通过放宽精确性，你可以收集到更多数据来改进预先评估结果的准确性，并帮助你对事实产生更加全面的认识。诚然，大数据由于其用来收集和分析信息的工具不完善，在某种情况下会产生麻烦。然而，在大数据时代由于追求精确性所产生的困扰通常对事物也是无益的，因为这样会浪费资源，并阻碍收集和分析更多数据的努力。因此，我们不应当把缺乏精确
10、性当作是一个问题，而应当将其视为事实的一部分。第三个观念转变是对相互关系的因果分析放宽限制。在小数据时代，对相互关系分析的方法选择往往建立在某种假定的基础之上，其准确性要通过相互关系分析来核查，而这一经常带有偏见且仅凭直觉的判断过程不仅进展缓慢，而且成本昂贵。在小数据组基础上对真正因果关系进行调查常常会不切实际，并经常用来作为确认现有知识和信念的捷径。而在大数据时代，大量数据可供你选择，强有力的计算功能可以快速确定最佳方法。建立在大数据基础上的相互关系分析会提供可能性，而不是确定性；可以告诉我们是什么，而不是告诉我们为什么。在许多情况下，这种快速而便宜的无关联分析已经足够好了，这种分析如同事先
11、提供可能的理由一样，有助于因果关系的研究。获取更多数据当今，数据正在成为新的燃料，供驱动经济发动机使用。终有一天，数据价值将作为一种新资产分类出现在公司的资产负债表中。那些在大数据价值链上的相关者，如数据持有者、数据专家及具有大数据观念的机构，无疑将会从大数据中获得利益。然而，归根结底，其最大价值则在于数据本身，这是因为数据常常会说话数据中总是存在值得人们去学习和认识的知识和信息。数据的价值常常可以通过数据首次使用及其二次使用来获取。在数据推动一切的今天，那些掌握了大数据的组织将有机会战胜其竞争伙伴，并保持领先地位。一个小而灵活机智的组织虽然规模不大，照样能够健康发展，与此同时，一个不能掌握全
12、部数据的组织将面临为生存而战斗的巨大压力。质量专业工作者必须帮助其所在组织获取更多数据，并通过大数据分析来协助做出正确决定（如表1中所展示大数据分析应用案例）。你可以通过自动化和数据推动业务过程获取更多内部数据。大数据不应当只用于撰写报告，也应当用于提取预测解析模式。通过从政府所拥有的公共数据库中挖掘数据，使预测解析结果不仅能够用于政府管理目的，而且也能够使非政府组织从中获益。组织可以从私人数据持有者那里购买数据，也可以通过中间人将自己掌握的数据与其他数据持有者分享或合并。通过签署某种业务协议，所有对数据组合并做出贡献的人都可以从这些数据组中获得实际价值。最后，组织通过针对不同目的重复使用数据
13、组，通过将不同数据组结合为新的数据组，通过针对多种用途将数据组延伸到大数据中，并通过收集自然产生的数据（数据已成为人们行为和活动所自然产生的副产品），可以从数据组中获取并利用更多的价值。在必要的情况下，数据还可以转卖给数据购买者，而一个组织也可以向其数据使用者收取相关费用。更新技能在小数据时代，人们所做出的决定主要根据综合相关事实、对事物的看法及有根据推测，而贯穿于一生经验所获得的才能和知识在传统决策过程中发挥着至关重要作用。进入大数据时代，这一切正在发生变化，针对任何决定，都要经过大数据分析才能做出，或者至少要经过大数据确认。质量专业工作者必须学习和掌握与大数据相关的知识和技能，如统计学、初
14、级预测建模、基础计算机编程等，从而使这些知识和技能在决策过程中发挥有效作用。关于统计学，相关分析方法及回归分析方法是最需要掌握的。彼尔逊（Pearson）积矩相关系数是最通用的相关分析方法，以测量两个变数之间的线性关系，而史皮尔曼（Spearman）等级相关系数则是针对两个变数之间统计相关性的非参数测量方法。在回归分析方法方面，最小平方是一种通用的方法，而其他回归分析程序还有非线性回归、正交回归及逻辑回归方法。关于预测建模，决策树是你首先要学习和掌握的一种方法，因为这种方法以其简明而有效的方式受到了大数据科学家们最广泛的青睐和应用。这种方法并不像你所想象的那样复杂。图1所示为摩根大通（Chas
15、e）银行所使用的决策树状图，以预测个人抵债人的预付款所产生的相关风险。这种决策树状图基本上是由若干代表价值试验矩形图而组成的流程图结构，而每一试验结果则直接产生为下一级图示。每个下一级图示会引导出一个新试验，直到做出决定为止（在这一案例中，决策就是预付款的风险）。为了预测一个抵债人预付款风险，每一个案例采取由高至低倒树状形式，并通过一系列试验来测算，直到做出相应决定为止。例如，这一模型预测抵债人玛丽鲍赛（Mary Bowser）有26.5%倾向来预付其抵押。这一预测是基于其数据：利率为8.8%、100000美元抵押及80%贷款/价值比率。针对玛丽鲍赛这一案例的预测分析路径如图1所示。另外，可以用于预测建模的工具包括人工神经网络、对数线性回归、支持向量机、树状网等方法。如果你想要学习预测建模，可以通过阅读相关网络和书籍，或通过参加网上课程来获得相关知识和信息。质量专业工作者必须学习如何与大数据科学家紧密合作并一道工作。这些大数据科学家是数据分析、人工智能和统计方面的专家，他们的知识与技能是对质量专业工作者所掌握知识与技能的补充，并为大数据时代带来了新的观念与做法：他们通常已经养成了不带任何预先断定及偏见而让数据说话的专业化习惯。同样，我们应当遵守目前的政府相关方针和法律法规，以保护我们的社会免受大数据风险的影响，并防止产生数据巨头。为此，未来政府关于大数据方针及相关法律法规
