《大数据思维方式》由会员分享，可在线阅读，更多相关《大数据思维方式（10页珍藏版）》请在金锄头文库上搜索。
1、大数据是需要新处理模式才能具有更强的决策力、洞察发现 力和流程优化能力的海量、高增长率和多样化的信息资产。有关 大数据的思维方式有哪些呢今天为大家带来了，一起来看看吧!大数据研究专家舍恩伯格指出，大数据时代，人们对待数据 的思维方式会发生如下三个变化：1 人们处理的数据从样本数据变成全部数据;2 由于是全样本数据，人们不得不接受数据的混杂性，而放弃 对精确性的追求;3 人类通过对大数据的处理，放弃对因果关系的渴求，转而关 注相关关系。事实上，大数据时代带给人们的思维方式的深刻转变远不止 上述三个方面。笔者认为，大数据思维最关键的转变在于从自然 思维转向智能思维，使得大数据像具有生命力一样，获得
2、类似于 “人脑”的智能，甚至智慧。1、总体思维社会科学研究社会现象的总体特征，以往采样一直是主要数 据获取手段，这是人类在无法获得总体数据信息条件下的无奈选 择。在大数据时代，人们可以获得与分析更多的数据，甚至是与 之相关的所有数据，而不再依赖于采样，从而可以带来更全面的 认识，可以更清楚地发现样本无法揭示的细节信息。正如舍恩伯格总结道：“我们总是习惯把统计抽样看作文明 得以建立的牢固基石，就如同几何学定理和万有引力定律一样。 但是，统计抽样其实只是为了在技术受限的特定时期，解决当时 存在的一些特定问题而产生的，其历史不足一百年。如今，技术 环境已经有了很大的改善。在大数据时代进行抽样分析就像
3、是在 汽车时代骑马一样。在某些特定的情况下，我们依然可以使用样本分析法，但这 不再是我们分析数据的主要方式。”也就是说，在大数据时代， 随着数据收集、存储、分析技术的突破性发展，我们可以更加方 便、快捷、动态地获得研究对象有关的所有数据，而不再因诸多 限制不得不采用样本研究方法，相应地，思维方式也应该从样本 思维转向总体思维，从而能够更加全面、立体、系统地认识总体 状况。2、容错思维在小数据时代，由于收集的样本信息量比较少，所以必须确 保记录下来的数据尽量结构化、精确化，否则，分析得出的结论 在推及总体上就会“南辕北辙”，因此，就必须十分注重精确思 维。然而，在大数据时代，得益于大数据技术的突
4、破，大量的非 结构化、异构化的数据能够得到储存和分析，这一方面提升了我 们从数据中获取知识和洞见的能力，另一方面也对传统的精确思 维造成了挑战。舍恩伯格指出，“执迷于精确性是信息缺乏时代和模拟时代 的产物。只有 5%的数据是结构化且能适用于传统数据库的。如果 不接受混乱，剩下 95%的非结构化数据都无法利用，只有接受不精 确性，我们才能打开一扇从未涉足的世界的窗户”。也就是说， 在大数据时代，思维方式要从精确思维转向容错思维，当拥有海 量即时数据时，绝对的精准不再是追求的主要目标，适当忽略微 观层面上的精确度，容许一定程度的错误与混杂，反而可以在宏 观层面拥有更好的知识和洞察力。3、相关思维在
5、小数据世界中，人们往往执着于现象背后的因果关系，试 图通过有限样本数据来剖析其中的内在机理。小数据的另一个缺 陷就是有限的样本数据无法反映出事物之间的普遍性的相关关系 而在大数据时代，人们可以通过大数据技术挖掘出事物之间隐蔽 的相关关系，获得更多的认知与洞见，运用这些认知与洞见就可 以帮助我们捕捉现在和预测未来，而建立在相关关系分析基础上 的预测正是大数据的核心议题。通过关注线性的相关关系，以及复杂的非线性相关关系，可 以帮助人们看到很多以前不曾注意的联系，还可以掌握以前无法 理解的复杂技术和社会动态，相关关系甚至可以超越因果关系， 成为我们了解这个世界的更好视角。舍恩伯格指出，大数据的出 现
6、让人们放弃了对因果关系的渴求，转而关注相关关系，人们只 需知道“是什么”，而不用知道“为什么”。我们不必非得知道 事物或现象背后的复杂深层原因，而只需要通过大数据分析获知 “是什么”就意义非凡，这会给我们提供非常新颖且有价值的观 点、信息和知识。也就是说，在大数据时代，思维方式要从因果 思维转向相关思维，努力颠覆千百年来人类形成的传统思维模式 和固有偏见，才能更好地分享大数据带来的深刻洞见。4、智能思维不断提高机器的自动化、智能化水平始终是人类社会长期不 懈努力的方向。计算机的出现极大地推动了自动控制、人工智能 和机器学习等新技术的发展，“机器人”研发也取得了突飞猛进 的成果并开始一定应用。应
7、该说，自进入到信息社会以来，人类 社会的自动化、智能化水平已得到明显提升，但始终面临瓶颈而 无法取得突破性进展，机器的思维方式仍属于线性、简单、物理 的自然思维，智能水平仍不尽如人意。但是，大数据时代的到来，可以为提升机器智能带来契机， 因为大数据将有效推进机器思维方式由自然思维转向智能思维， 这才是大数据思维转变的关键所在、核心内容。众所周知，人脑 之所以具有智能、智慧，就在于它能够对周遭的数据信息进行全 面收集、逻辑判断和归纳总结，获得有关事物或现象的认识与见 解。同样，在大数据时代，随着物联网、云计算、社会计算、可 视技术等的突破发展，大数据系统也能够自动地搜索所有相关的 数据信息，并进
8、而类似“人脑”一样主动、立体、逻辑地分析数 据、做出判断、提供洞见，那么，无疑也就具有了类似人类的智 能思维能力和预测未来的能力。“智能、智慧”是大数据时代的显著特征，大数据时代的思 维方式也要求从自然思维转向智能思维，不断提升机器或系统的 社会计算能力和智能化水平，从而获得具有洞察力和新价值的东 西，甚至类似于人类的“智慧”。舍恩伯格指出，“大数据开启了一个重大的时代转型。就像 望远镜让我们感受宇宙，显微镜让我们能够观测到微生物一样， 大数据正在改变我们的生活以及理解世界的方式，成为新发明和 新服务的源泉，而更多的改变正蓄势待发”。大数据时代将带来深刻的思维转变，大数据不仅将改变每个 人的日
9、常生活和工作方式，改变商业组织和社会组织的运行方式 而且将从根本上奠定国家和社会治理的基础数据，彻底改变长期 以来国家与社会诸多领域存在的“不可治理”状况，使得国家和 社会治理更加透明、有效和智慧。大数据的结构大数据包括结构化、半结构化和非结构化数据， 非结构化数据越来越成为数据的主要部分。据 IDC 的调查报告显 示：企业中 80%的数据都是非结构化数据，这些数据每年都按指数 增长 60%。大数据就是互联网发展到现今阶段的一种表象或特征而 已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下， 这些原本看起来很难收集和使用的数据开始容易被利用起来了， 通过各行各业的不
10、断创新，大数据会逐步为人类创造更多的价值。其次，想要系统的认知大数据，必须要全面而细致的分解它， 着手从三个层面来展开：第一层面是理论，理论是认知的必经途径，也是被广泛认同 和传播的基线。在这里从大数据的特征定义理解行业对大数据的 整体描绘和定性;从对大数据价值的探讨来深入解析大数据的珍贵 所在;洞悉大数据的发展趋势;从大数据隐私这个特别而重要的视 角审视人和数据之间的长久博弈。第二层面是技术，技术是大数据价值体现的手段和前进的基 石。在这里分别从云计算、分布式处理技术、存储技术和感知技 术的发展来说明大数据从采集、处理、存储到形成结果的整个过 程。第三层面是实践，实践是大数据的最终价值体现。
11、在这里分 别从互联网的大数据，政府的大数据，企业的大数据和个人的大 数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝 图。大数据的意义现在的社会是一个高速发展的社会，科技发达 信息流通，人们之间的交流越来越密切，生活也越来越方便，大 数据就是这个高科技时代的产物。12阿里巴巴创办人马云来台 演讲中就提到，未来的时代将不是IT时代，而是DT的时代，DT 就是 DataTechnoog 数据科技，显示大数据对于阿里巴巴集团来说 举足轻重。有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、 无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本 又不一样。与此类似，大数据并不在“大”，而
12、在于“有用”。 价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何 利用这些大规模数据是赢得竞争的关键。大数据的价值体现在以下几个方面：1 对大量消费者提供产品或服务的企业可以利用大数据进行精 准营销2 做小而美模式的中小微企业可以利用大数据做服务转型3 面临互联网压力之下必须转型的传统企业需要与时俱进充分 利用大数据的价值不过，“大数据”在经济发展中的巨大意义并不代表其能取 代一切对于社会问题的理性思考，科学发展的逻辑不能被湮没在 海量数据中。著名经济学家路德维希冯米塞斯曾提醒过： “就今日言，有很多人忙碌于资料之无益累积，以致对问题之说 明与解决，丧失了其对特殊的经济意义的了解。”这
13、确实是需要 警惕的。在这个快速发展的智能硬件时代，困扰应用开发者的一个重 要问题就是如何在功率、覆盖范围、传输速率和成本之间找到那 个微妙的平衡点。企业组织利用相关数据和分析可以帮助它们降 低成本、提高效率、开发新产品、做出更明智的业务决策等等。例如，通过结合大数据和高性能的分析，下面这些对企业有益的 情况都可能会发生:1 及时解析故障、问题和缺陷的根源，每年可能为企业节省数 十亿美元。2 为成千上万的快递车辆规划实时交通路线，躲避拥堵。3分析所有SKU，以利润最大化为目标来定价和清理库存。4 根据客户的购买习惯，为其推送他可能感兴趣的优惠信息。5 从大量客户中快速识别出金牌客户。6 使用点击流分析和数据挖掘来规避欺诈行为
