《2017公需科目大数据时代课件》由会员分享，可在线阅读，更多相关《2017公需科目大数据时代课件（32页珍藏版）》请在金锄头文库上搜索。
1、大数据时代的互联网信息安全 讲 义第一章 认识大数据的基本常识 大数据时代悄然而至我们每天坐在电脑前在网上搜索、购物、发信息、发图片，用手机打电话、发彩信很多人都在不经意中制造和使用着数据。因此，产生的数据量正在以惊人的速度增长数据已经渗透到生活和工作的方方面面，成为时代的特征。大数据时代已经悄然来临。在这样的背景下，人们逐渐认识到大数据给自己带来的作用。这就让人们需要一个巨大容量的存储设备。所以，大数据产生的一个显著标志就是：为了满足市场的要求，数据存储设备的容量越来越多，处理数据的速度越来越快。数据暴涨的不仅是人数，更有因人数剧增而产生的一些技术性数据。事实上，今天的全球互联网巨头都已经意
2、识到大数据时代数据的重要意义。包括易安信、惠普、IBM、微软在内的全球IT巨头纷纷通过收购大数据相关厂商来实现技术整合，这足以看出它们对大数据的重视。 大数据产生的背景大数据之所以会进入主流大众的视野，我们分析得知，缘于三种趋势的合力。第一，随着互联网的发展，许多高端消费公司为了提供更先进的、更完美的服务，加大了对大数据的应用。可以看出，大家都在利用大数据产生利益，反过来，利用大数据的人就变成了催生大数据时代到来的力量之一。第二，人们在无形中纷纷为大数据投资。第三，商业用户和其他以数据为核心的消费产品，也开始期待以一种同样便捷的方式来获得大数据的使用体验。所以，商业用户也成为了推动大数据发展的
3、动力之一。一切都可以数据化凡事皆可量化。只要我们能够找到观察问题的方式，并从一个新的角度去衡量它，不管从这个新的角度衡量它到底精准度如何，只要它能我们知道得比以前更多，那么它就是一种可行的量化方法。实际上，对那些看似不可量化的东西，人们总能找到相对简单的量化方法。在大数据时代，数据在以我们无法想象的速度增长着，有些问题是无法实现非常精确的计算的，而费米分解就为我们提供了很好的思路。我们要避免陷入不确定性及“无法”分析的泥潭，为了避免被显而易见的不确定性压倒，应该从知道的事情开始提问。评测我们已了解的事物的数量，是量化那些似乎根本不可量化的事物的重要步骤。在未来的世界里，一切都可以数据化。一切都
4、保存在互联网的数据库中，当你有一天需要的时候，数据库服务商能够将这些数据调出来给你，对其进行数字化。统计学：解析大数据的工具统计学的概念最早出现在古希腊的亚里士多德时期，最初的用途是计算各个城邦王国的经济和居民状况等社会经济问题。现在，统计学被广泛应用于国家管理、企业运营、科学研究各个不同领域。以统计学在社会中的作用来看，其发展经历了三个阶段。1.城邦政情古希腊亚里士多德撰写的“城邦政情”是最早应用统计学方法的记录。2.政治算术政治算术的特点是，统计方法与数学计算、推理方法开始结合，分析社会经济问题的方式，更加注重运用定量分析方法。3.大数据时代随着计算机和现代检测技术的发展，提取数据越来越容
5、易。大数据用于形容那些数量庞大到无法用人工，甚至用简单的计算机软件进行处理的海量数据。检测技术还可以越来越成为方便地统计温度、压力、温度、亮度、粉尘颗粒等信息，从而积累大量的数据，用于分析人们在不同条件下的行为变化。大数据现在也成为另一种概念，也就是用大量的数据信息进行统计，从看似没有关联的事物中获取有价值的规律。大数据时代，我们离不开统计学，否则，大数据时代的建立和数据的实际运用就是一场空谈。数据大小怎么算 人们发现，大数据的主要特点为数据量大（Volume）、数据类别复杂（Variety）、数据处理速度快（Velocity）以及数据真实性高（Veracity），合起来被称为4V。大数据中的
6、数据量非常大，而且这庞大的数据中，不仅仅包括结构化数据，如数字、符号等数据，还包括非结构化数据，如文本、图像、声音、视频等数据。第二章 数据的收集管理和使用收据数据不是最要紧的大数据时代，不管你用与不用，数据就零零碎碎地散放在那里。但是，要想使用大数据，首先要做的是收集大量数据，但收集数据并非仅是把收集过来的数据放到硬盘里那么简单，更重要的是对数据进行分类、存放及管理。数据的价值在于使用，不是存储。人们发现，大数据的真正价值是将数据用于形成主动收集数据的良性循环中，以带动更多的数据进入自循环中，并应用于各个行业。“活”做数据收集所谓“活”做数据收集，就是指用户不要局限于只收集自己用户产生的数据
7、，还要把“别人”的数据收集过来进行综合分析。前面提到过，数据收集，一方面是“自己用”用其他外面的数据来增加自己手上数据的精准度，为我所用；而另一方面是“给别人用”把我的数据贡献给很需要我的数据的人，从而提高他的数据的精准度。做大数据收集，有时候需要更多的灵活变通。“活”做数据收集，就是要跳出既定思维的框架，从相关联的行业和业务中去收集能够为现在所用的数据，找到能够更好地佐证企业现有业务决策和发展的数据。而“活”做数据收集的一大好处，就是能够规避现有数据框架的弊端，更好地反映用户的实际需求和市场的实际情况。“活”看数据指标“活”看数据指标就是指企业不要局限于已有的数据框架，而应该结合用户需求的不
8、同场景来灵活应用收集到的“活”数据。我们不仅要灵活第收集数据，而且还要注意到，数据收集只是第一步，如果不让数据“活”起来，仅仅是把收集的数据简单地堆砌在一起，是没有意义的。“活”用数据，就是你是否看出这个数据本身的局限是什么。一方面，是数据为用户体验改善了什么；另一方面，企业在使用数据时，对活数据的运用解决了什么问题，或者创造了什么机会，要牢牢记住，活用数据很重要。“活”的数据是活用数据的精髓所在。企业能够基于场景和相关的“活”数据将数据应用发挥出最大的价值，那么新的商业模式的开创也就会在不远的将来成为可能。数据的存放与管理就数据的收集而言，最重要的不是看我们收集了什么数据，而是要思考这些数据
9、如何使用以及搜集这些数据到底能够起到社么样的作用。用一句话来说，就是收集数据不是目的，收集起来的数据如何产生价值才是最终的目标。不贵哦，如何收集在未来具有价值的数据的确是一个难题，当中就需要一些经验的判断了。数据存储下来以后，数量和广度都很大，就需要对之进行完善的管理。数据管理的内容包括很多方面，比如，数据的来源、如何让数据不丢失、如何保护数据的安全、如何让数据准确和稳定以及如何更好地运用数据，这些都是数据运营中的管。但是“管”并没有一个标准可循。大数据管理到底是怎么做？目前还没有准确答案。数据管理，是大数据行业的脏活、苦活和累活，是最悲催和最难解决的事情。如果没这些背景做铺垫，人们对很多公司
10、在做的所谓的大数据的运营就持有怀疑态度了。注意数据分类的维度在观察与分析数据中，我们要从中抽象出来，更好地将数据进行归类和整理，从而更加清晰地识别出数据的价值。权威的数据公司从数据分类的角度讲数据分为以下四种。1.按照是够可可以再生的标准来看，可以分为不可再生数据和可再生数据。不可再生数据通常就是最原始的数据。可再生数据就是通过其他数据可以生成的数据，原则上，指标类数据的衍生数据都是可再生的只要原始的不可再生数据还在，就可以通过重新运算来获得。对于不可再生的数据而言，已有的数据要严格保护，想要但是是还没有的数据就要及早收集。对于可再生数据而言，要及早做好业务的预判和数据处理的规划，这样一来，数
11、据在需要的时候就能够快速地获得应用，人们把这一数据称为数据中间层。2.按照数据所处的存储层次来看，可以分为基础层、中间层和应用层。基础层通常与原始数据基本一致，也就是仅仅存储最基本的数据，不做汇总，以尽量避免失真，从而用作其他数据研究的基础；中间层是基于基础层加工的数据，通常被认为是数据仓库层，这些数据会根据不同的业务需求，按照不同的主体来进行存放；应用层则是针对具体数据的应用，比如作为解决具体问题的数据分析和数据挖掘的应用层的数据。在存储层这个层面上，最大的问题就是数据的冗余和管理的混乱。尤其是对于一些拥有海量数据的大公司而言，数据的冗余问题尤为严重，由此造成了大量的浪费。3.按照数据业务归
12、属来看，可以分为各个数据主体对于数据的分类则主要根据业务特点进行归类，并没有一个特别的硬性规定。总体的原则就是让数据的存储空间更少，分析及挖掘的过程更简单、快捷。4.按照是否隐私来区分，可以分为隐私数据和非隐私数据顾名思义，隐私数据就是需要有严格的保密措施来保护的数据，否则会对用户的隐私造成威胁。用户的交易记录属于隐私类数据，对于一家有着良好数据管理机制的公司而言，通常的管理方法是对数据的隐私级别进行分层，数据从安全的角度可以进行两种类型、四个层次的数据分层。两种类型就是企业级别和用户级别。企业级别的数据包括交易额、利润、某大型活动的成交额等；个人级别的素具就像是刚才提到的身份证号码、密码、用
13、户名、手机号码等。四个层次是对数据进行分类，分别由公开数据、内部数据、保密数据、机密数据。如何应用存储的数据从使用数据的角度来说，电商行业就有很多值得其他行业借鉴的地方，可以让数据能够真正地使用起来，并且产生实际的商业价值。建立标签，简单地说就是通过数据的分析来对用户的偏好进行描述，建立标签通常有以下三种方法。第一是通过业务规则结合数据分析来建立标签，这一类型的标签和业务人员的经验紧密结合。第二是通过模型来建立标签。第三是通过模型的组合来生成新的标签。标签的应用是指在电商网站的首页或者具体的类目网页，进行标签的使用。标签的使用，最核心的就是数据中间层和前台业务层的对接，并且能够让运营人员非常方
14、便地进行商品的设置。这里涉及两个核心点：一是中间层和业务层的对接；二是中间层的易用性。对于数据从业者来说，让数据变得超级简单是一个非常重要的使命，所以界面的设计和后台的管理等内容都非常重要，否则可能会失去标签系统的价值。第三章 看看大数据的价值在哪里数据中蕴藏着宝藏在大数据时代，我们都认为信息是个好东西，但是在大数据时代，信息爆发式增长，给存储、管理和分析信息的人带来巨大的压力。在大数据时代，无论是个人、企业还是政府，都面临着如何管理和利用信息的难题。与此同时，随着数据数量的汇集，数据的管理和分析工作变得格外很总要。数据的价值正在成为企业成长的重要动力，它不仅提供了更多的商业机会，也是企业运运
15、营情况及财务状况的中药分析依据。数据的分类估值在大数据时代，每做一件事情我们都要知道确切的目的是什么。从自我的角度考虑，当我们给数据分类之后，就能更容易理解大数据存在的价值。从数据角度来说，估值就是通过不同的维度去思考数据的价值。只有基于对数据的分类和对数据价值的不同人事，才能去对数据做筛选。数据座位一种资产，不同数据含金量必然不同，自然就会产生不同的价值。对于数据而言，不同的场景也会产生不同的价值，有些数据可能会变成一个运营指标，能够让我们更好地对业务进行决策。数据作为一种资产，不同的数据含金量必然不同，自然会产生不同的价值。而且，就同一组数据而言，在不同的环境下甚至会呈现出不同的价值。认清数据的五大价值1.识别与串联价值识别的价值，肯定是唯一能够锁定目标的数据。2.描述价值用来描述数据最好的一种方式就是分析数据的框架，在复杂的数据中抽象出核心的点，让使用者能够在极短的时间里看到经营状况，同样，又能让使用者看到更多他想看的细节数据。分析数据的框架是对一个数据分析师的基本要求基于对数据的理解，对数据进行分类和有逻辑的展示。通常，
