数字媒体技术(共9单元)06-数字新媒体技术(一)-

天津科技大学Tianjin University of Science&Technology新媒体技术2 0 2 0CONTENTS 6数字新媒体技术数字新媒体技术 01.大数据技术02.云计算03.物联网技术04.移动技术（5G）05.虚拟增强现实技术06.人工智能技术01大数据技术大数据技术基本概念技术原理解决方案基本概念基本概念大数据(big data，mega data)即巨量资料，指的是无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据时代中大数据指不采用随机分析法(抽样调查)而采用所有数据进行分析处理。基本概念基本概念技术原理技术原理（一）大数据技术解决大数据问题的核心包括数据本身的规模、采集数据的工具、平台和数据分析系统。技术原理技术原理1.1.数据采集数据采集：技术原理技术原理2.2.数据存取数据存取：关系数据库、：关系数据库、NOSQLNOSQL、SQLSQL等。等。3.3.基础架构基础架构：云存储、分布式文件存储等。：云存储、分布式文件存储等。技术原理技术原理4.4.数据处理：数据处理：NLP NLP：Natural Language ProcessingNatural Language Processing技术原理技术原理5.5.统计分析：统计分析：统计方法假设假设检验检验显著显著性检性检验验T T检检验验差异差异分析分析曲线曲线估计估计方差方差分析分析对应对应分析分析bootstrap技术技术聚类聚类分析分析技术原理技术原理6.6.数据挖掘数据挖掘分类Classification、估计Estimation、预测（Prediction）、聚类Clustering、相关性分组或关联规则Affinity grouping or association rules、描述和可视化Description and Visualization、复杂数据类型挖掘:Text，Web，图形图像，视频，音频等。7.7.模型预测模型预测预测模型、机器学习、建模仿真。8.8.结果呈现结果呈现云计算、标签云、关系图等。BIG DATA技术原理技术原理（二）大数据分析：五个基本方面可视化分析Analytic Visualizations数据挖掘算法Data Mining Algorithms预测性分析能力Predictive Analytic Capabilities语义引擎Semantic Engines数据质量和数据管理Data Quality and Master Data Management解决方案解决方案1.阿里云数加是阿里云为企业大数据实施提供的一套完整的一站式大数据解决方案，覆盖了企业数仓、商业智能、机器学习、数据可视化等领域。数加大数据链路数加采用完整大数据链路，一站式集成开发环境，降低数据创新与创业成本，如图所示。解决方案解决方案数加产品首页阿里云数加平台简单快速接入MaxCompute等计算引擎，支持ECS、RDS、OCS、AnalyticDB等云设施下的数据同步。多种可视化和BI报表模板、图形化的开发界面使得使用较少的投入获取大数据最大的好处。集成最新的阿里云大数据产品，且产品性能和安全性较强。采用了“可用不可见”的数据合作方式，提供全方位的数据安全服务。解决方案解决方案腾讯云产品2.腾讯腾讯云是腾讯公司倾力打造的面向广大企业和个人的公有云平台；提供云服务器、云数据库、云存储和CDN等基础云计算服务，以及提供游戏、视频、移动应用等行业解决方案。解决方案解决方案腾讯云大数据解决方案通过挖掘数据深层次价值，共享行业经验，帮助各中小企业挖掘数据价值，激发数据价值，带来产业效能提升，在各行业中充分激发大数据价值。解决方案解决方案3.百度百度开放云架构图解决方案解决方案（1）百度开放云将数据轻松的收集到云中的数据收集方式：针对有大量历史数据需要上传的情景，可以选择硬盘邮寄服务。使用实时的数据收集工具，将数据实时传输到云中。直接上传数据到对象存储服务BOS中。解决方案解决方案（2）百度开放云支持数据的加密存储，有一套严格的权限控制体系，任何运行在百度开放云上的客户的数据所有权绝对属于客户本身。所有数据分级保护；签署保密协议，全方位保护；敏感信息以最高安全等级机密级别进行管理；解决方案解决方案（3）对数据进行处理和分析大规模数据的预处理：百度MapReduce BMR服务；数据建模和预测：使用百度机器学习BML服务来进行数据的建模和预测。大规模数据的在线查询：Palo是百度自主研发性能卓越的PB级联机分析处理引擎。02云计算云计算基本概念技术原理解决方案基本概念基本概念云计算技术是指通过互联网，从专门的数据中心，向用户提供可扩展的定工具。云计算运作模式云计算是一种按量付费模式提供快捷、按需使用、以及无线扩展的网络访问进入可配置计算机的资源共享池；五大重要元素：网络，服务器，存储，应用软件，和服务。基本概念基本概念云计算环境具有以下特点：数据安全可靠、客户端需求低、高灵活度、超大计算能力等，如图所示。云计算数据中心与终端关系云计算的管理目标技术原理技术原理1.虚拟化技术最重要的核心技术之一技术:虚拟化是一种在软件中仿真计算机硬件，以虚拟资源为用户提供服务的计算形式。表现形式:将一台性能强大的服务器虚拟成多个独立的小服务器，服务不同的用户;将多个服务器虚拟成一个强大的服务器，完成特定的功能。云服务平台统一运行管理技术原理技术原理2.分布式数据存储技术Net平台下分布式文件存储方式采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，提高了系统的可靠性、可用性和存取效率，并易于扩展。Google的GFS和Hadoop开发的开源系统HDFS是比较流行的两种云计算分布式存储系统。技术原理技术原理Google的GFSGFS(Google File System)技术：满足大量用户的需求，并行地为大量用户提供服务,使其数据存储技术具有高吞吐率和高传输率的特点。技术原理技术原理Hadoop开发的开源系统HDFSHDFS(Hadoop Distributed File System)技术：大部分ICT厂商，包括Yahoo、Intel的“云”计划采用的都是HDFS的数据存储技术。技术原理技术原理MapReduce模式-云计算主流并行编程模式之一3.编程模式MapReduce模式将任务自动分成多个子 任 务，通 过 Map（映 射）和Reduce（化简）两步实现任务在大规模计算节点中的高度与分配。即先通过Map程序将数据切割成不相关的区块，分配(调度)给大量计算机处理，达到分布式运算的效果，再通过Reduce程序将结果汇整输出。技术原理技术原理4.大规模数据管理BT(Big Table)数据管理技术：非关系的数据库，是一个分布式的、持久化存储的多维度排序Map.BigTable建立 在 GFS,Scheduler,LockService和MapReduce之上，将所有数据都作为对象来处理，形成一个巨大的表格，用来分布存储大规模结构化数据。Bigtable设计目的：可靠的处理PB级别的数据，且部署到上千台机器上。技术原理技术原理利用HBase技术在PCServer上搭建大规模结构化存储集群开源数据管理模块HBase:Hadoop的子项目，定位于分布式、面向列的开源数据库，适合于非结构化数据存储的数据库。作为高可靠性分布式存储系统，HBase在性能和可伸缩方面都有比较好的表现。技术原理技术原理Borg技术架构图保证系统状态的关键：在多节点的并发执行环境中，各个节点的状态需要同步，并且在单个节点出现故障时，系统需要有效的机制保证其它节点不受影响；重要性：资源庞大，且可能跨跃多个地域，保证它们正常提供服务，需要强大的技术支撑。5.分布式资源管理技术原理技术原理图 云计算使用数据在云计算体系中，安全涉及到包括网络安全、服务器安全、软件安全、系统安全等等。积极研发云计算安全产品和方案，传统杀毒软件厂商、软硬防火墙厂商、IDS/IPS厂商在内的各个层面的安全供应商都已加入到云安全领域。使用云计算32%未用云计算45%其它23%23%6.信息安全调查技术原理技术原理云计算三种部署结构云计算系统的平台管理技术，需具有高效调配大量服务器资源，使其更好协同工作的能力。其中，方便地部署和开通新业务、快速发现并且恢复系统故障、通过自动化、智能化手段实现大规模系统可靠的运营是云计算平台管理技术的关键。7.云计算平台管理技术原理技术原理节能环保时代大主题。云计算以低成本、高效率着称。云计算具有巨大的规模经济效益，提高资源利用效率,节省大量能源。绿色节能技术已经成为云计算必不可少的技术。8绿色节能技术解决方案解决方案(案例案例)（一）政务云案例津云图 津云APP天津紧密结合政务服务和营商环境建设工作实际，在全国政务服务系统创新设立了智能政务推动处，是我国第一个智能政务机构。解决方案解决方案(案例案例)智智能能政政务务推动处负责统筹推进全市“互联网+政务服务”体系建设，构建全市一体化政务服务平台；组织拟订政务服务信息共享的种类、标准、范围、流程，协调推动部门政务服务联通共享、业务协同、网上办理；负责有关“互联网+政务服务”系统平台的研发、维护、应用、监督等工作。解决方案解决方案(案例案例)1.1.建建设设“政政务务一一网网通通”平平台台，构建起“三级中心四级服务”网络体系，切实做到让数据多跑路、群众少跑腿。2.2.推推进进政政务务无无人人超超市市建建设设，推进实体政务大厅服务向计算机终端、自助服务终端延伸，实现线上线下无缝衔接。3.3.建建成成集集成成智智能能监监控控中中心心，进行全方位多角度监督管理。天津网上办事大厅解决方案解决方案(案例案例)（二）教育云特点：特点：1.1.基于云计算的教育资源公共服基于云计算的教育资源公共服务平台务平台；2.2.教学方案多样化，提升学生学教学方案多样化，提升学生学习兴趣习兴趣；3.3.利利用用信信息息技技术术实实现现校校园园管管理理、教学、生活的高效快捷教学、生活的高效快捷；4.4.学习不受时间与空间的限制学习不受时间与空间的限制。楼兰云云计算智慧教育解决方案解决方案解决方案(案例案例)（二）教育云将非共享的教育专用“信息孤岛”转变为动态管理和集中可共享的IT资产，提高教育资源利用率。建立统一规范的智慧教育标准体系，注重信息系统、各类软硬件环境的规划、建设、应用等方面的标准规范要求。立思辰“教育云服务平台解决方案解决方案(案例案例)（三）医疗云医疗行业迈入大数据时代，其发展呈现趋势：2.远程医疗火爆;1.精准医疗成趋势;解决方案解决方案(案例案例)3.整合资源建立生态，实现“互联网+医疗”三大主要业务发展方向：个人健康、医疗机构、公共卫生。特点：数据体量巨大、处理速度够快、数据类型繁多、商业价值够高、随时随地可享、完成精准定位以及优化就医体验。“云盾”一站式安全服务。阿里医疗云03物联网技术物联网技术基本概念技术原理解决方案基本概念基本概念物联网：把所有物品通过射频识别等信息传感设备与因特网连接起来，实现智能化识别和管理。物物联联网网(定定义义):):通过射频识别（RFID）、红外感应器、全球定位系统、激光扫描器等信息传感设备，按约定的协议，把任何物品与互联网连接起来，进行信息交换和通讯，以实现智能化识别、定位、跟踪、监控和管理的一种网络。英国工程师凯文艾什顿（Kevin Ashton）基本概念基本概念物联网的特征：1.实时性：决策处理的实时性和有效性；2.大范围：对现实世界中大范围内的信息进行采集分析和处理；3.自动化：用自动化设备代替人工，实现自动化控制；4.全天候：布设可以基本不受环境条件和气象变化的限制。基本概念基本概念物联网的应用：物联网技术在九大领域的应用物联网拓扑图基本概念基本概念物联网与互联网的区别与联系1.“物联网”在“互联网”的基础上，将其用户端延伸和扩展