《指引大数据未来发展方向的九大真理》由会员分享，可在线阅读，更多相关《指引大数据未来发展方向的九大真理（6页珍藏版）》请在金锄头文库上搜索。
1、指引大数据未来发展方向的九大真理笔者总会时不时沉浸在对大数据原则的思索当中，这里讨论的并不是 Hadoop 与关系数据库或者 Mahout 与 Weka 的对抗，而是更具根源性的智慧将数据作为“新时代货币”的思维方式。不过也许将数据描述成“新时代的石油”更加贴近，或者，我们还需要一种新的比喻更全面地诠释数据的价值与内涵。比喻本身既非事实也难以证明，但它们确实能够创造出指引我们找到真理的话题。比喻让复杂的概念变得更易理解，正如本文中所引用的经典语录它们有助于解释大数据的各项基本原则。本文将列举八条与大数据密切相关的真理大家对此也许有所耳闻、至少略有耳闻并按时间进行排序。最后，笔者将做出自己的推测
2、，与各位朋友分享“未来的真理”。1. “相关性并非因果关系”这样的说法我们已经听过不止一次。在大学的哲学课堂上，我了解到这样一个关于基础谬论的表述版本，叫作 post hoc ergo propter hoc，翻译过来就是“后发者因之而发”。听起来实在有些隐晦，更直白点解释，就是说“B 事发生于 A 事之后，因此 B 事由 A 事而起”。大家可以读读 OReilly Radar 的博客。在其中一篇名为猜测的隐性成本的文章中，Alistair Croll 指出：“最明显的相关性表现在大数据的专长方面并行计算、算法的改进以及摩尔定律的准确特性已经大大降低了对数据集进行分析的成本，”由此衍生出一个“
3、由数据驱动的社会，既聪明又愚蠢。”最终结论?保持聪明的特性，尊重相关性与因果关系之间的差别。模式只是表现、并非结论。2. “所有模型都是错误的，但其中一些确实管用”意外事件统计学家 George E.P.Box 在他 1987 年编撰的教科书实证模型构建与响应面当中写下了这样的结论。在从教的整个职业生涯当中，Box 一直努力将自己的思路转化成模型，而这种习惯对于大数据分析技术而言非常适用。1976 年 12 月，美国统计协会杂志曾经发表过一篇题为科学与统计的文章，其中具体论证了模型的前世今生与现实意义。3. 大数据(几乎)洞悉一切如果大家还无法认同这一结论，请尽快强迫自己接受。这句话源自 Sc
4、ott McNealy 在 1999 年发表的一份声明，他表示“大家将彻底告别隐私请学会适应这一点。”值得一提的是，McNealy正是 Sun Microsystems 公司的联合创始人兼 CEO。如今大数据侵入个人生活的例子比比皆是：分析师有能力根据社交言论推断发言者的性别，或者通过购买习惯判断其家中是否存在孕妇;Acxiom 等从事大量商业信息存储的企业迎来辉煌的业务飞跃;预测及防灾信息整合正全面崛起;美国国安局的“棱镜门”事件也已经大白于天下。4. “与业务相关的信息当中，有八成源自非结构化形式，主要是文字(但也包括视频、图像以及音频)”在 2008 年的一篇文章中有这样的结论虽然正如当
5、时所说，由于很难精确量化，可能早在上世纪九十年代初非结构化数据已经扮演起重要角色，只是我们当时体会不到。总而言之，八成以上的说法只是种模糊的概念而不能过分较真，因为据我所知，没有任何一种评估机制针对这个问题进行过系统性衡量。尽管如此，相信每一位与 Box 秉持相同理念的统计学者都会认为“八成非结构化”这一论断颇具指导意义即使其并不正确。无论具体数量如何，文本与内容分析都应该成为大家工具包中的常驻成员。5. “这不是信息超载，而是过滤器故障”Clay Shirky 在 2008 年 9 月于纽约举办的 Web 2.0 博览会上提出了这一论断。Shirky 对于过滤器本身的评价显得有些保守，例如“
6、数据量的增加并不意味着就能带来更好的结论”，但这正好与我的观点不谋而合。但前提是事情别做过头;大家千万别像 Eli Pariser那样认为“过滤器概念纯粹是泡沫”，他的眼界最多也只能达到自动化的层面、无法再望向更为广阔的未来。6. “相同的含义可以通过多种不同方式进行表达，相同的表达当中可以涵盖多种不同含义”在 2009 年 3 月 IEEE 智能系统大会上，谷歌公司员工 Alon Halevy、Peter Norvig 以及 Fernando Pereira 在一篇题为数据的非合理化有效性一文中陈述了以上观点。数据的非合理化有效性是如何显露出来的?他们给出的答案是，“不精确且模棱两可的”自然
7、语言的语义解释就是最好的实例。此外，通过机器学习进行关系推断、从而实现对大规模聚合内容的解释也能证明这一点。7. “大数据的核心不是数据!大数据的价值在于分析”哈佛大学教授 Gary King 在与第六条中的几位谷歌员工一同出席 IEEE 会议时表达了这一观点。不过我并不完全赞同 King 的这种说法。在核实数据需求并制定理想方案以收集并整理数据结构的执行过程当然也存在价值。分析能够帮助我们发现这些价值，因此我站在 King 的肩膀上总结出这样一种更准确些的表述：大数据的价值通过分析来实现。不过这只是我的想法，未必能得到 King 本人的认同。对这个话题感兴趣的朋友可以点击此处查看由 Stev
8、e LaValle、Eric Lesser、Rebecca Shockley、Michael S. Hopkins 以及 Nina Kruschwitz 于 2010 年 12 月在麻省理工大学-斯隆管理评论期刊上发表的文章大数据、分析以及由观点到价值的路径。8. “直觉的重要性并未受到影响”这句话来自 Phil Simon，也就是今年早些时候发表的大到不容忽视：大数据商业案例一文的作者。(我为该文的撰写提供了关于文本及情感分析的一些材料。)Simon 解释称，“大数据并没有，至少目前还没有，取代直觉;后者仅仅作为前者的补充存在。二者之间的关系是连贯统一的，而绝不是非黑即白。”Tim Lebe
9、recht 在今年六月由 CNN 刊发的为什么大数据永远无法替代商业直觉一文中也做出了类似的表述。最后，这八大指引未来的真理还需要最后一点补充才够完整不过这一点尚未得到广泛理解：9. 大数据的未来在于综合与背景大部分解决方案当中所欠缺的元素在于整合不同来源信息的能力，这种能力会以适当方式考量与内容相关的产生环境，从而得出准确的结论。这里我打算引用设计策略师 Jon Kolko 在一份启发性论文中所涉及的论证过程(当然，多少会有些断章取义)。首先，Kolko 援引了认知心理学家他们尝试研究直觉与解决方案之间的联系的结论作为例子。当事者会“根据实际背景理解人物、地点以及事件之间的关联，弄清事件发生的具体时间，从而对未来可能发生的情况做出判断并采取相应的行动。”Kolko 将设计综合性视为关键性要素，是一种“将数据的操作过程、组织、调整以及过滤过程与背景相结合的方式，旨在将数据转化为信息与知识。”这能带来怎样的结果?IBM 公司研究员 Jeff Jonas 认为，“通用目的”型背景系统将有助于在同一数据空间内对不同数据加以定位。此类方案能够使我们对不断变化的观察空间进行可规模化扩展、实时且前所未见的探索。这不正是我们为大数据制定的发展目标吗?从模式检测向可操作结论迈进。我希望自己总结的这九大真理能够帮助各位了解大数据的这一发展路径。
