《大数据思维范畴探究》由会员分享，可在线阅读，更多相关《大数据思维范畴探究（9页珍藏版）》请在金锄头文库上搜索。
1、大数据思维范畴探究 张弛 华中科技大学新闻与信息传播学院 摘 要： 大数据思维有两层含义:一是人们思想上对大数据的认识和重视,这是一种思维态度;二是大数据思维范畴,这是一种思维方式。大数据思维范畴是大数据时代主观逻辑和客观逻辑的有机统一,反映了大数据这一新生事物存在发展的辩证关系。大数据的汹涌来潮,会改变人们传统的对可能和现实、必然和偶然、原因和结果、部分和整体、精确和模糊等一系列思维范畴的认识。关键词： 大数据; 大数据思维; 思维范畴; 作者简介：张弛,华中科技大学新闻与信息传播学院博士生,研究方向为新闻传播、大数据传播。收稿日期：2014-11-30Big Data Will Chang
2、e Several Major Thinking CategoriesZHANG Chi School of Journalism &Information Communication,HUST; Abstract： The heated discussion about big data thinking has two meanings:first is knowing and attaching importance to big data in thought,which is a kind of thinking attitude;Second is big data thinkin
3、g category,which is a way of thinking.Big data thinking category is the organic unity of subjective logic and objective logic in the big data era,which reflects dialectical relationship of its existence and develpment.Big data surge will change the peoples traditional understanding about a series of
4、 thinking categories including possibility and reality,inevitability and contingency,causation and correlation,part and whole,accuracy and vague and so on.Keyword： big data; bit data thinking; thinking category; Received： 2014-11-30大数据的发展,不仅取决于大数据资源的扩展,还取决于大数据技术的应用,更取决于大数据思维的形成。也就是说,大数据发展必须是数据、技术、思维
5、三大要素的联动。在网络时代数据无处不在、技术快速发展的条件下,大数据思维已成为决定大数据成败的关键。目前,大数据思维缺失,跨越学术与产业、技术与应用之间鸿沟的方法论缺位,是大数据发展的最大障碍。“出身不重要,思维更重要”1,只有具有大数据思维,才能更好地运用大数据资源和大数据技术。需要说明的是,大数据思维包含有两个意思:一个是在思想上对大数据的认识和重视,这是一种思维态度;另一个是大数据思维范畴,这是一种思维方式。本文着重讨论的是大数据思维范畴问题。众所周知,思维范畴是主观逻辑和客观逻辑的有机统一,反映了事物存在发展的辩证关系。大数据思维范畴反映的是大数据时代人们思维方式的变革。一、可能和现实
6、关系可能与现实是常见的思维范畴。现实标志着当下的实际存在,可能则是指包含在事物之中的、预示事物发展前途的种种趋势。在小数据时代传统思维条件下,人们对预示事物发展趋势的可能性的认识往往是经验式的,可称之为经验式的可能性认识。这种经验式的可能性认识对事物发展趋势的预测不准,主要是因为缺乏准确的、全面 的、海量的数 据作为支 持。大数据一书的作者涂子沛引用胡适的著名文章差不多先生传来比喻中国人带有“差不多先生”的文化标签2329,是说中国人的思维方式缺乏科学性,习惯于“大概”。“大概”的预测准确率低,当然缺少科学性。而在大数据时代,在拥有海量的、整体的、实时的数据条件下,人们对事物发展趋势的预测就会
7、准确得多,这种预测,可称之为科学式的可能性认识。在谈到大数据的核心价值时,一致的观点认为大数据的核心是预测。中国工程院院士邬贺铨指出,大数据预测可运用到各行各业,“宏观经济学方面,IBM 日本公司建立经济指标预测系统,从互联网 新闻中搜 索影响制 造业的 480 项经济数据,计算采购经理人指数的 预测值。印第安纳大学利用谷歌公司提供的心情分析工具,从近千万条网民留言中归纳出三种心情,进而对道琼斯工业指数的变化进行预测,准确率达到 87%。”347 在医学领域,加拿大的研究人员开发了一种大数据诊疗技术,以便能预测早产婴儿的感染。他们通过把包括心率、血压、呼吸和血氧水平等 16 种生命体征转化成每
8、秒 1000 多个数据点的信息流,从中找到早产婴儿生命体征极其轻微的变化与较为严重病情之间的关联性。在城市管理领域,美国纽约市开发了一套新的火灾预防方案,这一方案在全市 90 万座建筑物的数据库中加入市政 19 个部门所收集到的其他数据,包括欠税扣押记录、水电使用异常、缴费拖欠、服务场所、鼠患投诉等各类数据,并将这些数据与过去 5年的火灾记录进行计算分析,从而发现了建筑物类型和建造年份与火灾的相互关系,还发现了非法在屋内打隔断的建筑物发生火灾的高概率,在此基础上制定出新的火灾预防方案。火灾已经发生是现实性,火灾可能发生是可能性。火灾已经发生我们只能通过救火努力把损失降到最低限度,而最好的办法是
9、通过可能性预测预防火灾不要发生。医学领域同样如此,最好的办法不是生病以后再去治病,而是通过可能性预测预防疾病不要发生。大数据的核心意义在于发现和挖掘潜在价值,而不在于发现现实价值。其科学方法论意义不在于从“已知”的现实中发现问题和规律,而在于从“未知”的种种 可能中发 现问题和 规律。中国工程院倪光南院士指出,科学研究的实验型范式、理论型范式、计算型范式都是在已知规律的情况下发现新的规律,而大数据“则是在未知规律的情况下,运用计算能力从大数据中发现规律并发挥规律的作用。”4通过“未知”发现规律,就很难预设理论模型,正是因为大数据是从“未知”中发现规律,图灵奖获得者吉姆格雷(JimGray)才提
10、出将大数据列为科学研究的第四范式(thefourthparadigm)。大数据预测拉近了可能与现实的距离,使我们有能力逐步做到将好的可能性变成现实,将不好的可能性不变为现实。中国工程院李德毅院士指出,“大数据整天和我们在一起,大数据已成为连接虚 拟世界和 现实世界 之间的桥梁。”5可以说,在大数据时代,虚拟世界和现实世界的距离和界线将发生新的变化,人们对事物的认知不仅满足于“已知”,更能精准地认识“未知”,不仅能描写性地分析“现在”,更能预测性地分析“未来”。大数据在“此岸”与“彼岸”之间架通了一座快速便捷的桥梁。二、必然和偶然关系必然和偶然范畴是与可能和现实范畴联系较为紧密的思维范畴。可能性
11、既与偶然性有一定联系,也与必然性有一定联系。我们在预测事物发展的可能性时,必须同时考虑制约它的必然因素和偶然因素。长期以来,人们传统的思维定势习惯于将自然界和人类社会看成是二元世界,由此采用“科学”和“历史”两个叙事框架,并形成科学主义和人文主义两大思潮。科学主义认为,自然界是决定论的,它的运动变化是有必然规律的,是可预测的,而人类社会是非决定论的,它的运动变化充满随机性、偶然性,是不可预测的。著名科学哲学家波普尔就否定历史决定论,主张非决定论。在小数据时代,之所以有人认为人类社会运动发展不可预测,是因为社会领域的数据杂乱无章,大都是非结构性数据,特别是情感数据、社交数据更是千头万绪、变动不居
12、。但在大数据技术条件下,人类拥有了处理非结构性数据的强大能力,人们通过 LBS 采集人在地球上的全部运动轨迹,通过在线支付采集人们的全部支付记录,通过 SNS采集人们的全部网络交往记录,通过电子邮件、文档、Timeline、视频监控等采集人们的言行记录。这使得大量随机的、偶然出现的数据可以实时捕获处理,使之变成确定性的、必然性的东西。马克吐温说,历史不会重演,但自有其规律。历史事件虽然往往表现为一些偶发事件,但偶然性背后存在的是必然规律。随着科学技术的进步,支持历史发展存在规律的观点的人越来越多,而大数据技术使人类揭示和认识社会历史规律更有可能和更加快捷。因此,有人认为,“与其说大数据的核心价
13、值是对未来的预测,不如说是对过去沉睡的规律的揭示。”6也就是说,大数据不仅是人们认识事物发展可能性的强大武器,也是人们认识事物必然性的有力工具。在描述大数 据的 4V 特征时,实时快捷(Velocity)是大数据的重要特征之一。在实际应用中,大数据技术的实时快捷分析能帮助人们捕获随机出现的、稍纵即逝的、看似价值不大的信息。在大数据时代,正是数据来源的多元化和实时快速处理,使人们能更多摆脱偶然性的干扰而把握必然的东西。2011 年 10 月,美国国家气象局(NWS)宣布,该局在全国数千辆客运大巴上安装了数据传感器,随着客运大巴的运动,这些传感 器将沿途 所采集的 温度、湿度、露水、风力、光照度等
14、数据实时传回国家气象局的数据中心,数据采集是每 10 秒钟一次,传感器每天要采集 10 万次以上的数据,数据中心对这些实时的、随机的、高粒度、高频率的数据进行分析处理,其发布的天气预报就不再仅仅只是“预”报,而逐渐走向“实”报、“精”报。大数据用数据事实不断改变人们对历史和社会发展的现象与本质、偶然与必然的认识,使人们更易于透过偶然把握必然。“无尺度网络”概念的提出者艾伯 特 - 拉斯洛 巴拉巴西 指出,“虽然万事皆显出自发偶然之态,但实际上它远比你想象中容易预测”。他认为“人类行为 93%是可以预测的”。只是“过去我们没有相关数据,也没有一定的方法来探究人类的行为”。其实,“人类的大部分行为
15、都受制于规律、模型以及原理法则,而且它们的可重现性和可预测性与自然科学不相上下。”人类社会的运动规律和自然界一样,“许多事情遵循幂律分布:一旦幂律出现,爆发点就会出现。”7巴拉巴西所指出的人类社会呈现幂律式周期爆发运动,是用科学方式揭示了人类社会周期式的治乱规律。在大数据条件下,社会科学越来越多地运用定量分析方法研究问题,雅虎的首席科学家沃茨博士在自然上发表了一篇题为21 世纪的科学的文章,认为得益于计算机技术和海量数据库的发展,个人在真实世界的活动得到了前所未有的记录,这种记录为社会科学的定量分析提供了极为丰富的数据。由于能测得更准,计算得更准确,他认为社会科学将脱下“准科学”的外衣,真正走
16、进科学的殿堂8489。三、原因和结果关系在关于大数据思维变革的研究中,大数据对因果关系范畴的影响讨论相对较多。举得最多的案例是沃尔玛在其卖场中将啤酒与尿布摆放在一起销售的故事,还有在季节性飓风来临之前,将手电筒与 蛋挞放在 一起销售 的例子。这些案例说明,在大数据条件下,看似两个互不相干的没有什么因果关系的事物,通过销售数据分析可以发现它们之间存在某种相关关系。而对于追求利润率的商家来说,不需要知道“为什么”啤酒与尿布放在一起会增加销量,只需要知道结果“是什么”就行。传统思维中的因果关系分析是建立在严密的数理推理逻辑基础上的。中国工程院院士李国杰形容说,“我们都是从做平面几何证明题开始进入科学大花园的,脑子里固有的逻辑思维模式少不了因果分析,判断是否是真理也习惯看充分必要条件,对于大数据的关联分析蕴含的科学意义往往理解不深。”9传统的因果关系分析虽然逻辑链条完整,但由于是小数据,往往容易以部分代替整体,难免出现误差。寻找事物的因果关系是人类长久以来形成的习惯,因果关系研究促进了科学
