大数据与云计算论文

《大数据与云计算论文》由会员分享，可在线阅读，更多相关《大数据与云计算论文（6页珍藏版）》请在金锄头文库上搜索。

1、大数据与云计算大数据与云计算摘摘 要：要：大数据（Big Data）这个概念近年来在越来越多的场合、被越来越多的人提及， 并且经常和云计算联系在一起，云计算与大数据之间到底是什么关系成为热点话题。本 专题报告包含以下四个方面内容：1. 大数据的价值；2. 大数据带来的挑战;3. 大数据研究成果； 4. 云计算是大数据挖掘的主流方式。通过本报告阐述我们对大数据的理解，以及对大数据的价值 的认识，探讨大数据处理与挖掘技术，大数据主要着眼于“数据”，提供数据采集、挖掘、分析的 技术和方法; 云计算技术主要关注“计算”，提供IT 解决方案。大数据、云计算技术可以促进持 续审计方式的发展、总体审计模式的

2、应用、审计成果的综合应用、相关关系证据的应用、高效数据 审计的发展和大数据审计师的发展。强化大数据、云计算技术审计应用的措施包括制定长远发展战 略、加快审计法规建设、建立行业平台、加强研发和提高利用能力。 关键词：大数据 云计算 数据挖掘 对审计影响 政策建议 引言引言 目前，大数据伴随着云计算技术的发展，正在对全球经济社会生活产生巨大的影响。大数据、 云计算技术给现代审计提供了新的技术和方法，要求审计组织和审计人员把握大数据、云计算技术 的内容与特征，促进现代审计技术和方法的进一步发展。 一、大数据、云计算的涵义与特征一、大数据、云计算的涵义与特征 随着云计算技术的出现，大数据吸引了全世界越

3、来越多的关注。哈佛大学社会学教授加里金 ( 2012) 说: “这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界 还是政府，所有领域都将开始这种进程。” ( 一) 大数据的涵义与特征 “数据”( data) 这个词在拉丁文里是“已知”的意思，也可以理解为“事实”。2009 年， “大数据”概念才逐渐开始在社会上传播。而“大数据”概念真正变得火爆，却是因为美国奥巴马 政府在2012 年高调宣布了其“大数据研究和开发计划”。这标志着“大数据”时代真正开始进入 社会经济生活中来了。“大数据”( big data) ，或称巨量资料，指的是所涉及的数据量规模大到 无法利用现行主流

4、软件工具，在一定的时间内实现收集、分析、处理或转化成为帮助决策者决策的 可用信息。互联网数据中心( IDC)认为“大数据”是为了更经济、更有效地从高频率、大容量、不 同结构和类型的数据中获取价值而设计的新一代架构和技术，用它来描述和定义信息爆炸时代产生 的海量数据，并命名与之相关的技术发展与创新。大数据具有4 个特点: 第一，数据体量巨大( Volume) ，从TB 级别跃升到PB 级别。第二，处理速度快( Velocity) ，这与传统的数据挖掘技术 有着本质的不同。第三，数据种类多( Variety) ，有图片、地理位置信息、视频、网络日志等多 种形式。第四，价值密度低，商业价值高( Va

5、lue) 。存在单一数据的价值并不大，但将相关数据 聚集在一起，就会有很高的商业价值( 金良，2012) 。大数据时代，不仅改变了传统的数据采集、 处理和应用技术与方法，还促使人们思维方式的改变。大数据的精髓在于促使人们在采集、处理和 使用数据时思维的转变，这些转变将改变人们理解和研究社会经济现象的技术和方法。 (1)是在大数据时代，不依赖抽样分析，而可以采集和处理事物整体的全部数据。19 世纪以来， 当面临大的样本量时，人们都主要依靠抽样来分析总体。但是，抽样技术是在数据缺乏和取得数据 受限制的条件下不得不采用的一种方法，这其实是一种人为的限制。过去，因为记录、储存和分析 数据的工具不够科学

6、，只能收集少量数据进行分析。如今，科学技术条件已经有了很大的提高，虽 然人类可以处理的数据依然是有限的，但是可以处理的数据量已经大量增加，而且未来会越来越多。 随着大数据分析取代抽样分析，社会科学不再单纯依赖于抽样调查和分析实证数据，现在可以收集 过去无法收集到的数据，更重要的是，现在可以不再依赖抽样分析。 (2)是在大数据时代，不再热衷于追求数据的精确度，而是追求利用数据的效率。当测量事物 的能力受限制时，关注的是获取最精确的结果。但是，在大数据时代，追求精确度已经既无必要又不可行，甚至变得不受欢迎。大数据纷繁多样，优劣掺杂，精准度已不再是分析事物总体的主要手 段。拥有了大数据，不再需要对一

7、个事物的现象深究，只要掌握事物的大致发展趋势即可，更重要 的是追求数据的及时性和使用效率。与依赖于小数据和精确性的时代相比较，大数据更注重数据的 完整性和混杂性，帮助人们进一步认识事物的全貌和真相。 (3)是在大数据时代，人们难以寻求事物直接的因果关系，而是深入认识和利用事物的相关关 系。长期以来，寻找因果关系是人类发展过程中形成的传统习惯。寻求因果关系即使很困难且用途 不大，但人们无法摆脱认识的传统思维。在大数据时代，人们不必将主要精力放在事物之间因果关 系的分析上，而是将主要精力放在寻找事物之间的相关关系上。事物之间的相关关系可能不会准确 地告知事物发生的内在原因，但是它会提醒人们事情之间

8、的相互联系。人们可以通过找到一个事物 的良好相关关系，帮助其捕捉到事物的现在和预测未来。 ( 二) 云计算的涵义与特征 “云计算”概念产生于谷歌和IBM 等大型互联网公司处理海量数据的实践。2006 年8 月9 日， Google首席执行官埃里克施密特( Eric Schmidt) 在搜索引擎大会首次提出“云计算”的概念。 2007 年10 月，Google 与IBM 开始在美国大学校园推广云计算技术的计划，这项计划希望能降低 分布式计算技术在学术研究方面的成本，并为这些大学提供相关的软硬件设备及技术支持( Michael Mille，2009) 。目前全世界关于“云计算”的定义有很多。“云计

9、算”是基于互联网的 相关服务的增加、使用和交付模式，是通过互联网来提供动态易扩展且经常是虚拟化的资源。美国 国家标准技术研究院( NIST) 2009年关于云计算的定义是: “云计算是一种按使用量付费的模式， 这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池( 资源包括网络、 服务器、存储、应用软件、服务等) ，这些资源能够被快速提供，只需投入很少的管理工作，或与 服务供应商进行很少的交互。”根据这一定义，云计算的特征主要表现为: 首先，云计算是一种计 算模式，具有时间和网络存储的功能。其次，云计算是一条接入路径，通过广泛接入网络以获取计 算能力，通过标准机制进行访问。第

10、三，云计算是一个资源池，云计算服务提供商的计算资源，通 过多租户模式为不同用户提供服务，并根据用户的需求动态提供不同的物理的或虚拟的资源。第四， 云计算是一系列伸缩技术，在信息化和互联网环境下的计算规模可以快速扩大或缩小，计算能力可 以快速、弹性获得。第五，云计算是一项可计量的服务，云计算资源的使用情况可以通过云计算系 统检测、控制、计量，以自动控制和优化资源使用。 ( 三) 大数据与云计算的关系 从整体上看，大数据与云计算是相辅相成的。大数据主要专注实际业务，着眼于“数据”，提 供数据采集、挖掘、分析的技术和方法，强调的是数据存储能力。云计算主要关注“计算”，关注 IT 架构，提供IT 解决

11、方案，强调的是计算能力，即数据处理能力。如果没有大数据的数据存储， 那么云计算的计算能力再强大，也难以找到用武之地; 如果没有云计算的数据处理能力，则大数据 的数据存储再丰富，也终究难以用于实践中去。 从技术上看，大数据依赖于云计算。海量数据存储技术、海量数据管理技术、Mapeduce 编 程模型都是云计算的关键技术，也都是大数据的技术基础。而数据之所以会变“大”，最重要的便 是云计算提供的技术平台。数据被放到“云”上之后，打破了过去那种各自分割的数据存储，更容 易被收集和获得，大数据才能呈现在人们眼前。而巨量的数据也只能依靠云计算强大的数据处理能 力，才能够“淘尽黄沙始得金”。 从侧重点看，

12、大数据与云计算的侧重点不同。大数据的侧重点是各种数据，广泛、深入挖掘巨 量数据，发现数据中的价值，迫使企业从“业务驱动”转变为“数据驱动”。而云计算主要通过互 联网广泛获取、扩展和管理计算及存储资源和能力，其侧重点是IT 资源、处理能力和各种应用， 以帮助企业节省IT部署成本。云计算使企业的IT 部门受益，而大数据使企业的业务管理部门受益。从结果看，大数据与云计算带来不同的变化。大数据对社会经济带来的变化是巨大的，涉及到各个领域。大数据已经与资本、人力一起作为生产的主要因素影响着社会经济的发展。数据创造价 值，而挖掘数据价值、利用数据的“推动力”就是云计算。云计算将信息存储、分享和挖掘能力极

13、大提高，更经济、高效地将巨量、高速、多变的终端数据存储下来，并随时进行计算与分析。通过 云计算对大数据进行分析、总结与预测，会使得决策更可靠，释放出更多大数据的内在价值。 二、大数据、云计算技术对审计的影响分析二、大数据、云计算技术对审计的影响分析 审计技术和方法的发展是随着科学和管理技术的发展而发展的。现代审计技术和方法体系是在 原始的查账基础上从低级向高级、从不完备到比较完备发展起来的。在业务和会计处理手工操作阶 段，审计实施的是账表导向的审计技术和方法; 当内部控制理论和方法全面应用于业务和会计处理 时，审计实施的是系统导向的审计技术和方法; 当风险管理理论和方法全面应用于业务和财务管理

14、 时，审计实施的是风险导向审计技术和方法; 与风险导向审计技术和方法并行的是，计算机技术广 泛应用于业务和会计处理时，审计实施的是IT 审计技术和方法。目前，面对大数据、云计算技术 的产生和发展，审计人员需要应时而变来适应由此而带来的变化，分析大数据、云计算技术对审计 方式、审计抽样技术、审计报告模式、审计证据搜集等技术和方法的影响。 ( 一) 大数据、云计算技术促进持续审计方式的发展 传统审计中，审计人员只是在被审计单位业务完成后才进行审计，而且审计过程中并不是审计 所有的数据和信息，只是抽取其中有的一部分进行审计。这种事后和有限的审计对被审计单位复杂 的生产经营和管理系统来说很难及时做出正

15、确的评价，而且对于评价日益频繁和复杂的经营管理活 动的真实性和合法性则显得过于迟缓。随着信息技术迅速发展，越来越多的审计组织对被审计单位 开始实施持续审计方式，以解决审计结果与经济活动的时差问题。但是，审计人员实施持续审计时， 往往受目前业务条件和信息化手段的限制，取得的非结构化数据无法数据化，或者无法取得相关的 明细数据，致使对问题的判断也难以进一步具体和深入。而大数据、云计算技术可以促进持续审计 方式的发展，使信息技术与大数据、云计算技术较好交叉融合，尤其对业务数据和风险控制“实时 性”要求较高的特定行业，如银行、证券、保险等行业，在这些行业中实施持续审计迫在眉睫。如 审计组织对商业银行的

16、审计，实行与商业银行建立业务和数据系统的接口，在开发的持续审计系统 中固化了非结构化数据结构化和数据分析模块，该模块可以在海量贷款客户中挖掘、分析出行业性 和区域性贷款风险趋势，实现在线的风险预警，并将发现的风险数据、超预警值指标及问题登记为 疑点，并建立实时审计工作底稿，按照重要程度进行归类、核实或下发给现场审计人员进行现场核 实，以较好处理非结构化数据的利用和数据的实时分析利用问题。 ( 二) 大数据、云计算技术促进总体审计模式的应用 现时的审计模式是在评价被审计单位风险基础上实施抽样审计。在不可能收集和分析被审计单 位全部经济业务数据的情况下，现时的审计模式主要依赖于审计抽样，从局部入手推断整体，即从 抽取的样本着手进行审计，再据此推断审计对象的整体情况。这种抽样审计模式，由于抽取样本的 有限性，而忽视了大量和具体的业务活动，使审计人员无法完全发现和揭示被审计单位的重大舞弊 行为，隐藏着重大的审计风险。而大数据、云计算技术对审计人员而言，不仅仅是一种可供采用的 技术手段，这些技术和方法将给审计人员提供实施总体审计模式的可行性。利用大数据、云计算技 术，对数据的跨行业、