大数据时代信息化发展趋势

《大数据时代信息化发展趋势》由会员分享，可在线阅读，更多相关《大数据时代信息化发展趋势（64页珍藏版）》请在金锄头文库上搜索。

1、“大数大数据据时代代”信息化信息化发展展趋势 杨学山杨学山二二o o一三年五月十日一三年五月十日2024/7/22主要内容主要内容1. 大数据的大数据的由来由来和和发展展2. 信息技信息技术为大数据开辟了前大数据开辟了前进道路道路3. 大数据大数据是走向信息是走向信息时代的奠基石代的奠基石4. 大数据大数据发展的关展的关键环节5. 电子子政政务发展中的大展中的大数据数据一、一、大数据的由来和大数据的由来和发展展大数据大数据是一个自然形成的是一个自然形成的发展中、展中、阶段性段性概念概念 本本报告告所称大数据是指具有数量巨大、所称大数据是指具有数量巨大、多多类型、不同型、不同结构化程度、不均衡价

2、构化程度、不均衡价值密度、密度、不一致不一致动态特征、不同特征、不同应用用处理特征等特点理特征等特点信息集合。信息集合。 本本报告告所称大数据系所称大数据系统是指一个是指一个围绕特特定目的而形成的数据及其定目的而形成的数据及其处理系理系统。并不是。并不是每一个大数据系每一个大数据系统的信息集合都具有上述全的信息集合都具有上述全部特征，一种或两种部特征，一种或两种类型，数量巨大，也是型，数量巨大，也是大数据。大数据。在在计算机算机处理理能力不断能力不断发展、展、信息系信息系统处理理的信息日益增的信息日益增长，特，特别是互是互联网（包括移网（包括移动互互联网）的网）的发展、展、传感技感技术的广泛的

3、广泛应用，用，大数据概念大数据概念应运而生运而生在在这里，大数里，大数据和信息、信据和信息、信息息资源是同源是同义词为什么叫大数据：一是数量大什么叫大数据：一是数量大YB:2的的80次方，次方，ZB的的1000倍倍ZB:2的的70次方，次方，EB的的1000倍倍EB:2的的60次方，次方，PB的的1000倍倍PB:2的的50次方，次方，TB的的1000倍倍TB:2的的40次方，次方，GB的的1000倍倍GB:2的的30次方，次方，MB的的1000倍倍绝大部分大部分应用在用在这两个数量两个数量级我我们每个人都在制造和使用信每个人都在制造和使用信息息每秒发出每秒发出290290万条短信万条短信每天

4、每天TwitterTwitter上发布上发布50005000万条万条微博微博每天每天GoogleGoogle处理的数据处理的数据24PB24PB20122012年年1111月月1111日第一秒，用日第一秒，用户向阿户向阿里网购里网购提出提出1 1千万请求千万请求全球新增全球新增网页网页571571个个过去过去3 3年数据量比以往数万年数据量比以往数万年还多年还多20202020年数据产出量将比年数据产出量将比20092009年的年的4444倍还多倍还多20062006年全球生成、复制的年全球生成、复制的数字化信息量大约数字化信息量大约16.116.1万万PBPB，当年的信息产生量约，当年的信息

5、产生量约是历史上图书信息总量的是历史上图书信息总量的30003000倍倍二是二是类型多型多结构特征：构特征：结构化、半构化、半结构构化、非化、非结构化构化拥有特征：私有、有特征：私有、共有、公开共有、公开形形态特征：特征：语音、文本、音、文本、数数值、图像、像、视频为什么叫大数据：二是什么叫大数据：二是类型多型多三是更接近把握信息三是更接近把握信息资源的本源的本质大数据真正开始把信息大数据真正开始把信息变成成资源源有的文章将大数据看作石油，大数据研究与有的文章将大数据看作石油，大数据研究与自然自然资源利用源利用发现、开采、提、开采、提炼存在一定的存在一定的相似之相似之处研究大数据，首先要研究各

6、种有用的信息在研究大数据，首先要研究各种有用的信息在何何处，就是找，就是找矿其次是把其次是把满足特定需求的信息收集足特定需求的信息收集过来，就来，就是开是开矿第三是把收集的信息按第三是把收集的信息按应用需求用需求进行行结构化构化处理，就是提理，就是提炼，如同石油必，如同石油必须经过炼化才化才能能变成消成消费用的汽油、柴油或作用的汽油、柴油或作为原料用的原料用的聚乙聚乙烯、聚丙、聚丙烯第四是将第四是将这样的信息与具体的的信息与具体的应用用结合，使合，使之之发挥作用，作用，这就是基于大数据的就是基于大数据的应用系用系统，或称之或称之为围绕应用的大数据管理系用的大数据管理系统，如同，如同汽油通汽油通

7、过加油站加到消加油站加到消费者的汽者的汽车内，石化内，石化原料原料变成衣服、成衣服、设备或其部件。或其部件。大数据是一个大数据是一个阶段性的概念段性的概念 大数据大数据是信息和信息是信息和信息资源开源开发利用利用这个个稳定概念在今天定概念在今天这个个特定特定时期的代表名期的代表名词。关于大数。关于大数据所有作用和意据所有作用和意义的期待，都包的期待，都包含在含在1970年哈佛大学关于年哈佛大学关于资源三源三角形的角形的论述中。述中。这个个论述述简而言而言之就是材料、能源、信息是推之就是材料、能源、信息是推动社会社会发展的三种基本展的三种基本资源。美国源。美国人相信它人相信它40多年了，并多年了

8、，并为之持之持续不断地做了大量的工作，也是美不断地做了大量的工作，也是美国在国在IT领域，包括信息域，包括信息资源源领域，域，一家独大的一个原因。一家独大的一个原因。材料材料信息信息能源能源管理管理二、二、信息技信息技术为大数据开辟了前大数据开辟了前进道路道路信息技信息技术进展是大数据展是大数据产生和生和发展的主要展的主要动力力传感技感技术：大数据的主要来源：大数据的主要来源存存储技技术：不：不仅数据量大，而且要有信息存数据量大，而且要有信息存储模式模式传输技技术：不：不仅提供提供传输能力，能力，还是数据的是数据的创造者造者处理理技技术：不不仅是是处理理能能力力，更更是是处理理方方法法（结构构

9、化化语义处理）理） 信息技信息技术继续快速快速发展，技展，技术体系更体系更趋完善完善1、处理、传输、存储技术延续高速发展、处理、传输、存储技术延续高速发展2、感知、显示、获取技术驶入快车道、感知、显示、获取技术驶入快车道3、内容处理、智能系统技术不断成熟、内容处理、智能系统技术不断成熟4、技术体系不断完善、技术体系不断完善12传输技术：走向宽带泛在普及 传传 输输人与人人与人物与人物与人物与物物与物人与物人与物走向走向G级级从个位数从个位数到到T级级P级级 甚至更高甚至更高超高速超高速泛在泛在新的体系新的体系架构架构更加深入的融合：三网、固移，工作网、物联网、互联网当前的关键技术：端到端G级、

10、下一代互联网、新技术条件下的城域网和骨干网体系架构，端到端数百兆到吉比特，4个以上数量级的汇接带宽，3D及虚拟现实等传输要求，许多场景下并发数量急剧增加2024/7/22处理存储技术：20年内提升3个数量级处处理理/存存储储集成度，从当前的集成度，从当前的32/28nm，快步前进到，快步前进到14/16nm及以下及以下低功耗、嵌入式、可靠性、小型、可移动低功耗、嵌入式、可靠性、小型、可移动高性能，超级计算机、汇聚计算资源能力高性能，超级计算机、汇聚计算资源能力高性能，一些重要高性能，一些重要的应用，需要继续的应用，需要继续沿摩尔定律提升沿摩尔定律提升3个以上数量级个以上数量级 处理能力的处理能

11、力的集成，更加集成，更加复杂的存储复杂的存储与处理系统与处理系统更加复杂和更加复杂和智能化的应智能化的应用，需要寻用，需要寻找新的技术找新的技术2024/7/22感知获取技术：一组需求驱动快速发展的技术感感知知/获获取取RFID生生物物/光光磁磁转转换换声声音音/文文字字转转换换遥感遥感技术类型技术类型声纳声纳热、压、声热、压、声构成、损伤、构成、损伤、关系关系空间、地球、生物、生命、空间、地球、生物、生命、社会等全方位、细粒度的感社会等全方位、细粒度的感知知各类感知各类感知远、细、远、细、清的要求清的要求机器阅读机器阅读及其他语及其他语义信息的义信息的获取获取感知什么感知什么2024/7/2

12、2显示反应技术：走向智能显显示示/反反应应生生物物/光光磁磁转转换换声声音音/文文字字转转换换表表情情语语言言3D及多维及多维控制技术控制技术机器人机器人文文字字与感知、网络能力并行的反与感知、网络能力并行的反应、行动能力，在不同空间应、行动能力，在不同空间范围信息系统的物理行为无范围信息系统的物理行为无需人来执行需人来执行虚拟现实虚拟现实虚实结合虚实结合的现实的现实三维空间三维空间精确行为精确行为清晰清晰色彩色彩轻便轻便节能节能适应适应可靠可靠打印机、打印机、复印机、复印机、传真机、传真机、扫描仪扫描仪2024/7/22软件和系统集成：承载信息社会运行控制软软件件和和系系统统集集成成建模技术

13、、软件工程技术、自动编程技术、验证技术设备和技术的多样复杂、非结构化事务和信息的处理、设备和技术的多样复杂、非结构化事务和信息的处理、2的的50-100次方级大数据的组织与利用、跨领域且物理次方级大数据的组织与利用、跨领域且物理世界相对松散的事务处理、设备（系统）控制与事务世界相对松散的事务处理、设备（系统）控制与事务处理的融合，复杂系统、不同类型对象的建模处理的融合，复杂系统、不同类型对象的建模重用、测试、可靠性、安全性、生产率、适应新模式使设备和系统变使设备和系统变成可靠的工作系成可靠的工作系统统 Saas及新的及新的业态，构建智业态，构建智能的系统能的系统应对设备和系应对设备和系统复杂化

14、和多统复杂化和多样化的进程样化的进程2024/7/22信息内容的技术：走向智能的核心信信息息组组织织、管管理理和和利利用用文字声音的转化、声音处理、图像处理机器翻译为代表的自然语言处理机器翻译为代表的自然语言处理应对数量变化，应对数量变化，2的的50-100次方次方应对应用需求应对应用需求的变化的变化应对音视频信应对音视频信息类型的变化息类型的变化概念体系为基础、不同粒度、不同场景的大规模信息组织、管理和利用2024/7/22信息技信息技术体系架构不断完善，信息、能源、材体系架构不断完善，信息、能源、材料技料技术融合，以智能技融合，以智能技术为标志的新一代生志的新一代生产力力 体系逐体系逐渐成

15、形成形感感知知/获获取取处处理理/存存储储显显示示/反反应应 传传 输输软件和系统集成软件和系统集成信息组织、管理与利用信息组织、管理与利用2024/7/22大数据技术，大数据技术，从内容角度从内容角度要重视三个方面的来源要重视三个方面的来源 一是关于数据管理和一是关于数据管理和处理研究，包括物理研究，包括物理和理和语义两个两个领域数据管理。数据域数据管理。数据结构、算构、算法和数据法和数据库相关相关领域取得的域取得的进展最展最为突出，突出，如文件系如文件系统、数据、数据库、数据、数据仓库、元数据、元数据、数据模型、内存数据模型、内存处理、云存理、云存储的研究。的研究。应当当看到近十年来，关于

16、多看到近十年来，关于多维数据数据结构和算法、构和算法、机器机器视觉和和摄录象研究和技象研究和技术，对于大数据于大数据研究具有极其重要的参考意研究具有极其重要的参考意义。 二是关于数据利用及适二是关于数据利用及适应应用需求的研用需求的研究，包括用究，包括用户视图、联机数据分析、数据挖机数据分析、数据挖掘、掘、检索等。索等。大数据技术，大数据技术，内容角度内容角度要重视三个方面的来源要重视三个方面的来源 三是关于三是关于语义上理解信息的研究，几乎可上理解信息的研究，几乎可以将人工智能研究的全部成果作以将人工智能研究的全部成果作为大数据研究大数据研究的基的基础，因，因为从从语义角度理解信息是人工智能

17、角度理解信息是人工智能的基的基础。从。从图灵灵测试到到专家系家系统，从五代机到，从五代机到cyc，从模式，从模式识别到神到神经网网络，从自然，从自然语言言识别和理解到机器人，都是从不同角度研究理解信和理解到机器人，都是从不同角度研究理解信息的技息的技术、方法理、方法理论。 IBM的的DeepQA，通，通过针对广泛收集特定广泛收集特定应用用领域的信息和知域的信息和知识，在适度，在适度结构化、一系构化、一系列列规则和算法的基和算法的基础上，具上，具备这一一领域人的智域人的智能。其代表作能。其代表作“沃森沃森”，已，已经击败了美国了美国电视台台“危危险”这个具有之力个具有之力竞赛性性质的的娱乐节目的

18、冠目的冠军，今天，又落，今天，又落户纽约州的州的伦斯勒里工学院，斯勒里工学院，与学生一起学与学生一起学习，英，英语和数学。和数学。Google的的“谷谷歌大歌大脑”将将1.6万个万个处理器构成当前世界上最大理器构成当前世界上最大的人工的人工脑，模，模拟人人类脑神神经系系统，通，通过算法从算法从互互联网中提取信息网中提取信息识别猫。猫。三、三、大数据大数据是走向信息是走向信息时代的奠基代的奠基石石35亿年前开始年前开始生命形成生物生命形成生物进化化千万年千万年猴子到人的猴子到人的进化化约300万年人的万年人的进化化约8000年年文字形成文字形成约2000年年纸和印刷和印刷术的的发明形成明形成最近

19、几十年最近几十年计算机、信息网算机、信息网络、传感和感和记录等技等技术的的发明明35亿年生命史，展示了信息是亿年生命史，展示了信息是智能进化的主要因素智能进化的主要因素感知、传递、反应感知、传递、反应意识、思维、概念意识、思维、概念（更高层次的抽象）（更高层次的抽象）模仿（抽象）、记忆、判断、反应模仿（抽象）、记忆、判断、反应感知、传递、反应感知、传递、反应模仿（抽象）、记忆、判断、模仿（抽象）、记忆、判断、反应反应意识、思维、概念（更高层意识、思维、概念（更高层次的抽象）次的抽象）文字、记录文字、记录感知、记录、传输、存储、处理感知、记录、传输、存储、处理数数亿年年动物的物的进化化语言、概念

20、体系语言、概念体系语言、概念体系语言、概念体系文字、记录文字、记录感知、记录、传输、存储、处理感知、记录、传输、存储、处理形成了当今世界的智能体系和水形成了当今世界的智能体系和水平平有效信息总量 知识总量和质量使用者总量和质量同一 交流平台人数 发展环发展环境系数境系数设一个具有若干个紧密联系群体且有一定相互关联地域，其信息与社会发展关系函数为f(d)：令f(d)=Y+Z+S+Tx其中Y=有效信息总量Z=知识总量和质量S=使用者总量和质量T= 同一交流平台参与人数=发展环境系数实际上，YZST是非独立的，最关键的因子是T2024/7/22有效信息总量 知识总量和质量使用者总量和质量同一 交流平

21、台人数 发展环境发展环境系数系数以以T主线，我们可以初步推主线，我们可以初步推论信息交流平台和参与人论信息交流平台和参与人数与社会发展的关系数与社会发展的关系 有效信息总量 知识总量和质量使用者总量和质量同一 交流平台人数 发展环境发展环境系数系数1-10百百-千千万万-十万十万十万十万-百万百万千万千万-亿-几十几十亿原始社会原始社会农业社会社会工工业社会社会信息社会信息社会这是是发展速展速度的示意度的示意图，不是不是规模模原始家族原始家族2024/7/22经过约300万年：万年： 语言言记忆思思维概念等能力的形成概念等能力的形成约8000年年文字形成文字形成约2000年年纸和印刷和印刷术的

22、的发明形成明形成最近几十年最近几十年计算机、信息网算机、信息网络、传感和感和记录等技等技术的的发明明示意图时间尺度不成比例示意图时间尺度不成比例信息能力不仅是生命、智能进化的基础，也与产业发展正相关对历史纵切面的分析有两点主要结论对历史纵切面的分析有两点主要结论1.历史史发展展进入一个新的入一个新的转型期：从工型期：从工业社会走社会走向信息社会，在向信息社会，在这个个历史史发展展转型期型期，中国存，中国存在超越的可能在超越的可能2.这个个可能可能在于在于13亿人的素人的素质：知：知识、聪明、勤明、勤奋，我，我们会有会有5亿以上的人口以上的人口进入入经济社会社会发展展的的综合平台上，形成合平台上

23、，形成强大的大的发展展动力，力，远远超超过其他其他强国国 中国中国的的IT梦梦与中国梦重合的与中国梦重合的历史必然史必然2024/7/22信息战：显示了将所有战争要素集中在一个信息平台上的力量2024/7/22从人工细化分工到自动化生产线从人工细化分工到自动化生产线从大规模生产到个性化生产从大规模生产到个性化生产主要的变化也是信息感知、传输、处理、利用的能力增加2024/7/22灵活供灵活供应链建模与仿真建模与仿真智能工厂智能工厂分分销配送配送用用户应对消费者需求及供应对消费者需求及供应商变化的应商变化的IT供应链供应链连接产品开发与设计，连接产品开发与设计，再到制造的工艺再到制造的工艺工厂工

24、人用知识为基础的技术，优化生产、降低成本简化产品移动的工厂与配送中心的实时信息流用户定制产品，产品使用全过程跟踪以及产品回收和再制造全球先进制造全球先进制造业发展新趋势业发展新趋势先进制造企业先进制造企业概念概念信息信息资源成源成为现代化代化发展的基展的基础资源源在在这这样样的的企企业业中中，起起引引领领作作用用的的是是什什么么？四、四、大数据大数据发展的关展的关键环节：1.收集、收集、组织、管理、利用、管理、利用2.认识、技、技术、法律、制度、法律、制度、标准准3.主体、商主体、商业模式或运行机制模式或运行机制4.信息的信息的结构化构化5.大数据管理系大数据管理系统（一）收集、（一）收集、组

25、织、管理、利用、管理、利用1.找找矿2.开开矿3.炼矿4.用用矿找找矿：发现需要的信息需要的信息资源源定定义需要的信息需要的信息资源源确定的信息确定的信息资源在哪里源在哪里是否已是否已经以信息形式存在以信息形式存在是否需要采集是否需要采集开开矿：收集和：收集和获取取用何种方法收集、用何种方法收集、获取取要用什么要用什么样的方式采集的方式采集已有的怎么已有的怎么获取：取：购买、交、交换、再收集、再收集没有的怎么采集：没有的怎么采集：委托、技委托、技术方案、自采方案、自采提提炼：变成适用信息成适用信息相相对于于信息信息，提，提炼的本的本质是是按按应用需求用需求进行行结构化构化处理理按需求按需求语义

26、和物理的机构化和物理的机构化语义相相对于于应用的目的用的目的物理相当于物理相当于处理、存理、存储、传输的速度和成的速度和成本本利用：与具体利用：与具体应用的用的结合合将将结构化构化的信息与具体的的信息与具体的应用用结合，使之合，使之发挥作用作用这就是基于大数据的就是基于大数据的应用系用系统，或称之，或称之为围绕应用的大数据管理系用的大数据管理系统，如同汽油通，如同汽油通过加油站加到消加油站加到消费者的汽者的汽车内，石化原料内，石化原料变成衣服、成衣服、设备或其部件。或其部件。企企业信信息息示示意意人人员信息：信息：业务流信息流信息1：客客户信息信息资金信息：金信息：注册注册信息信息供供应链信息

27、：信息：法人、管理法人、管理层、职工，薪工，薪资、岗位、位、业绩供供应链信息：零部件、原信息：零部件、原材料、能源、供材料、能源、供应商商物流信息：物流信息：研研发设计、生、生产、库存、存、管理、决策、管理、决策、销售、服售、服务、统计、年、年报业务流信息流信息2：业务流信息流信息n：承运者、工具、地点、承运者、工具、地点、计划划注册注册资本、本、应收、收、应付、付、营收、成本、收、成本、库存、固定存、固定资产、投、投资、利息、利息机构客机构客户：名称、法人代：名称、法人代表、表、货品名称、供品名称、供货时间、联系方式、信誉等系方式、信誉等级个人客个人客户：姓名、：姓名、货品、品、时间、地点、

28、地点、联系方式系方式注注销信息信息记录文本文本信息信息状状态信息信息音音视频场景因果景因果信息信息客客户信息信息客客户信息信息财富信息：富信息：与与应用，如用，如质量管理量管理的要求一致的要求一致吗？还要做什么？要做什么？个个人人信信息息示示意意奖惩信息：信息：工作信息工作信息1：财富信息：富信息：健康信息：健康信息：出生出生信息信息学学习信息信息1：奖励事励事项、惩处事事项、违法法记录、失信、失信记录学学习信息信息2：单位、位、岗位、位、职务、职称、称、起止起止时间、工、工资工作信息工作信息2：工作信息工作信息n：学校、学校、专业、科目、成、科目、成绩、入学入学毕业时间、活、活动病病历、基本

29、健康信息、基本健康信息存款、存款、证卷、保卷、保险、其他、其他投投资、不同、不同产死亡死亡信息信息学学习信息信息n：生活信息：生活信息：关系信息：关系信息：家人、家人、亲戚、朋友、同事、戚、朋友、同事、学学术、网友、网友吃、睡、行、休吃、睡、行、休闲，类型、型、品种、特点品种、特点记录文本文本信息信息状状态信息信息音音视频场景因果景因果信息信息与与应用，如用，如质量管理的量管理的要求一致要求一致吗？还要做什么要做什么？质量量信信息息示示意意材料材料1信息：信息：材料、部件材料、部件检测信息：信息：生生产工工艺销售售环节信息：信息：产品品质量量信息信息部件部件1信息：信息：材料生材料生产、运、运

30、输、保管信、保管信息，略息，略部件部件2信息：信息：生生产过程信息程信息产品品检测信息：信息：部件生部件生产、运、运输、保管信、保管信息，略息，略运运输、保管、保管、销售、服售、服务见下下图部件部件n信息：信息：执行行标准、准、检测方法、将方法、将侧工具、工具、检测结果果记录文本文本信息信息状状态信息信息音音视频材料材料2信息：信息：材料材料n信息：信息：执行行标准、准、检测方法、方法、检测工具、工具、检测结果、果、生生产过程信息程信息执行行标准准生生产装装备生生产班次班次责任人任人生生产过程程检测包装包装可溯源的可溯源的完整信息完整信息流流与与应用，如用，如质量管理的量管理的要求一致要求一致

31、吗？还要做什么要做什么？（二）（二）认识、技、技术、法律、制度、法律、制度、标准准认识:走向透明的社会、智能的社会、走向透明的社会、智能的社会、被数据包围的环境，认识准备好了被数据包围的环境，认识准备好了吗？吗？经济社会社会发展模式展模式管理：政府与企管理：政府与企业科技、教育科技、教育和文化和文化人的人的发展与生存展与生存生活方式生活方式认识、技、技术、法律、制度、法律、制度、标准准技技术：下面下面专门分析分析传感感处理理存存储数据管理数据管理数据分析数据分析认识、技、技术、法律、制度、法律、制度、标准准法律法律：收集收集利用利用管理管理权利利义务认识、技、技术、法律、制度、法律、制度、标准

32、准制度制度：相相对于法律的关于信息于法律的关于信息资源的制度源的制度国家国家层面：如面：如资产、责任、利用、安全任、利用、安全机构机构层面：如面：如资产、责任、使用、安全任、使用、安全认识、技、技术、法律、制度、法律、制度、标准准标准准：范范围，国家、行，国家、行业、机构、机构类型，收集、存型，收集、存储、处理、管理、利理、管理、利用；文本、数用；文本、数值、图像、音像、音频、视频目的目的，保密、安全、，保密、安全、连接、共享接、共享（三）信息的（三）信息的结构化构化信息的信息的结构化是大数据技构化是大数据技术的的核心、关核心、关键和和难点点大数据大数据结构化是一个不断构化是一个不断发展的展的

33、渐进过程程 追求追求结构化是数据管理的基本构化是数据管理的基本动力和目力和目的。的。获取、取、处理、存理、存储、传输、利用的效率，、利用的效率，特特别是利用的有效性基于信息的机构化程度。是利用的有效性基于信息的机构化程度。 数数值及事及事务处理等理等计算机信息系算机信息系统早期早期对象象结构化已构化已经成熟，成成熟，成为大数据大数据结构化的构化的基基础。其他相关。其他相关类型的信息：文本、音型的信息：文本、音视频、图形形图像等也在数据像等也在数据库或数据管理或数据管理发展展实践践中得到不同程度的关注，中得到不同程度的关注，产生了一些技生了一些技术方方法，法，大数据大数据正是在正是在这样的基的基

34、础上上发展展。结构化的两个构化的两个维度：内在度：内在逻辑完完备度和度和应用完用完备 内在内在逻辑的完的完备度与度与应用需求的完用需求的完备度度之之间的的约束。束。这类约束超越了一个具体系束超越了一个具体系统的范畴。人的范畴。人类科学和文明科学和文明进步的主要客步的主要客观存存在物是概念体系，概念体系的主要在物是概念体系，概念体系的主要载体又是体又是文本。即使是文本。即使是严格定格定义的科学著作，也没有的科学著作，也没有将其内在将其内在语义结构表示作构表示作为要求，科学越要求，科学越发展，展，积累的文献越多，文本信息累的文献越多，文本信息结构化的构化的难度越大、任度越大、任务越重。学越重。学术

35、界及不少国家已界及不少国家已经认识到到这个个问题对科学研究和提升科学研究和提升创新能力新能力的重要性，并着手部署相的重要性，并着手部署相应的研究的研究计划和工划和工程，著名的有美国和英国科学基程，著名的有美国和英国科学基础设施施计划。划。（四）（四）大数据管理系大数据管理系统p 关关键流程分析流程分析p 基本功能要求基本功能要求p 体系架构分析体系架构分析p 比比较与重点与重点大数据管理系大数据管理系统一般架构示意一般架构示意图第一第一层前置前置处理体系：通信、理体系：通信、场景、任景、任务分配、安全等分配、安全等第二第二层信息信息结构化构化处理体系：理体系：场景分景分类、单元划分元划分规则、

36、算法、算法、单元地元地址和址和语义命名命名规则、单元元为基基础的的记录数据数据库及其管理系及其管理系统、地址函数、地址函数库、语义特征函数特征函数库、物理、物理标识库和和语义标识库及其管理系及其管理系统第三第三层信息存信息存储体系：体系： 实体体库、规则库、函数、函数库、标识库、算法、算法库、索、索引引库的存的存储结构，中构，中间库、原始、原始库、工作、工作库第四第四层信息信息处理体系：理体系： 信息信息获取取处理、信息理、信息组织处理、内部理、内部处理（包括理（包括学学习、反、反馈、整理等等）、整理等等）、应用用处理理第五第五层软硬件硬件资源：源： 网网络、软件、件、计算机等算机等体系架构分

37、析体系架构分析p 目前已目前已经商用的大数据管理系商用的大数据管理系统或工具，或工具，还没有全面没有全面应对大数据系大数据系统的需要，的需要，这正是正是我我们的机遇所在的机遇所在（五）大数据演（五）大数据演进方向方向机构机构事事务服服务研究研究是指一个机构（包括企是指一个机构（包括企业）为自身自身发展目的展目的而构建大数据系而构建大数据系统，并不断推向完善，并不断推向完善这样的大数据系的大数据系统基于机构，服基于机构，服务于机构。于机构。基于机构的大数据系基于机构的大数据系统数量上构成全社会数量上构成全社会拥有量的主体有量的主体 这样的大数据系的大数据系统演演进，特点是目的明确、，特点是目的明

38、确、类型多型多样、利用已有技、利用已有技术和方法和方法为主要路径主要路径大数据系大数据系统演演进的的领域：机构域：机构是指是指基于基于一一类事事务或一或一类重要信息重要信息类型而收型而收集信息、集信息、组织信息、提供服信息、提供服务。人口、企人口、企业、空空间信息、交通、水信息、交通、水务等都是基于事等都是基于事务的大的大数据系数据系统与基于机构的大数据系与基于机构的大数据系统显著不同就是追求著不同就是追求一一类事事务或一或一类信息的完信息的完备度，并具有跨机度，并具有跨机构性构性质。事事务大数据系大数据系统演演进的主要特点是的主要特点是对该类信信息的息的逻辑分析在技分析在技术上要求居于上要求

39、居于领先水平先水平大数据系大数据系统演演进的的领域：事域：事务是指提供基于互是指提供基于互联网网服服务的大数据系的大数据系统。显著特征是著特征是赢利利为目的目的，演，演进以商以商业模式模式要求要求为前提前提要区分同一企要区分同一企业服服务型和研究型的大数据型和研究型的大数据系系统及相关研究工作，大型互及相关研究工作，大型互联网和信息网和信息技技术企企业服服务企企业都可能存在都可能存在这两种两种类型型要区分一个企要区分一个企业商商业化化产品、公布的研究品、公布的研究成果与其前沿研究的差成果与其前沿研究的差别除了数据除了数据结构、算法，也就是本构、算法，也就是本报告所称告所称语义特征函数的基特征函

40、数的基础理理论和方法研究，以和方法研究，以科学研究科学研究为基基础的信息的信息结构化外，构化外，该领域域大数据系大数据系统的研究和服的研究和服务均均处于于领先水平先水平大数据系大数据系统演演进的的领域：服域：服务是是指指主主要要目目的的是是科科学学研研究究，研研究究结果果为大大数据系数据系统所用。所用。三三种主要种主要类型：型：一一是是特特定定类型型科科学学研研究究，如如基基因因、地地震震波波、声声纹等等二二是是人人工工智智能能及及部部分分应用用系系统的的研研究究，如如“DeepQA”,“谷谷歌歌大大脑”，感感知知识别、自自然然语言言理理解解、机机器器人人等等领域域，声声纹库、指指纹库、交交通

41、通监视视频、安安全全监视视频，相相片片集集、计算算机机辅助助设计集集、自自然然事事件件观察察集集等等。等等。三三是是数数学学、计算算机机科科学学的的基基础研研究究。主主要要贡献在数据献在数据结构和算法构和算法大数据系大数据系统演演进的的领域：研究域：研究大数据系大数据系统演演进的技的技术方法方法研究如何提升研究如何提升逻辑能力和能力和处理能力理能力研研究究大大数数据据特特有有的的演演进模模式式，如如何何在在网网络环境境下下的的互互动参参与与平平台台，开开放放与与管管理理的的原原则与与方方法法。交交互互式式为主主，适适度度采采用用计算算或或推推理理是是信息信息结构化的主要模式构化的主要模式通通过

42、内内部部学学习和和调整整处理理，使使系系统具具备自自我我演演进的功能。的功能。大数据系大数据系统演演进的技的技术方法方法 建立大数据管理系建立大数据管理系统最重要的技最重要的技术方法方法问题是信息是信息结构如何形成。构如何形成。 关系数据关系数据库中中实体和关系的确立，即体和关系的确立，即单元的切分和元的切分和标识的形成是人的形成是人为的。但面的。但面对类型多型多样、来源不一、数量、来源不一、数量庞大的信息，如何大的信息，如何切分切分单元，如何元，如何给予成熟的、可予成熟的、可处理、可利理、可利用的用的语义标识，人，人们会首先会首先倾向于通向于通过算法算法或推理，或推理，实际上上这是行不通的。

43、是行不通的。五、五、电子政子政务发展中的大数据展中的大数据以以质检部分事部分事务系系统为例例 信息化信息化应用已用已经延伸到延伸到质检各个各个领域，在域，在检验检疫、疫、质量技量技术监督督认证认可、可、标准、政准、政府网站、局行政管理等工作中府网站、局行政管理等工作中发挥重要作用，重要作用，信息安全保障能力逐步提升，大数据信息安全保障能力逐步提升，大数据对进一步一步提升提升质检系系统信息化水平具有十分重要的作用，信息化水平具有十分重要的作用，要在要在质检总局局电子政子政务发展全局中推展全局中推进。利用信息技术完善食品、农产品安全追溯体系推广推广RFID、二、二维码、条形、条形码等技等技术应用，

44、在供港澳牛奶、猪用，在供港澳牛奶、猪肉、蔬菜等食品率先建肉、蔬菜等食品率先建设食品安全追溯体系，食品安全追溯体系，实现食品、食品、进出口出口农产品安全品安全监管管 “一一键溯源溯源”。提供包括食品追溯相关。提供包括食品追溯相关记录信息信息查询、统计、分析等功能。建立、分析等功能。建立进出口食品出口食品质量安全量安全数据数据库和服和服务平台，食品平台，食品问题预警和事后快速警和事后快速处理提供支持。理提供支持。推广商品条推广商品条码标识在食品安全追溯中的在食品安全追溯中的应用，制定用，制定标准，准，实现食品安全食品安全监管从粗放模糊型向集管从粗放模糊型向集约精确型精确型转变。信息收集信息收集更好

45、利用更好利用结构化，构化，质量量需要需要进一步完善的工作：信息是否一步完善的工作：信息是否满足溯源需求、信息来源足溯源需求、信息来源及及质量如何保量如何保证、信息如何支持、信息如何支持预警和事件警和事件处置置利用信息技利用信息技术加加强质量量诚信体系信体系 进一步完善一步完善质量信用信息管理制度，量信用信息管理制度，规范信息的范信息的记录、归集、集、处理、使用、公开等工作。以理、使用、公开等工作。以组织机构机构代代码为基基础，有效整合，有效整合质检系系统内部内部质量信用信息量信用信息资源，建立源，建立质量信用信息数据量信用信息数据库。搭建。搭建质量信用信量信用信息交息交换和服和服务平台，平台，

46、实现质量信用分量信用分类管理，管理，满足足各各级质监和和检验检疫部疫部门。信息收集信息收集更好利用更好利用结构化，构化，质量量需要需要进一步完善的工作：信息是否一步完善的工作：信息是否满足足质量管理需求、信息量管理需求、信息管理是否管理是否满足足业务工作需求、成本效率工作需求、成本效率质量分析量分析利用信息技利用信息技术提升出入境提升出入境检验检疫疫业务监管水平管水平实现全面全面实时掌握全国出入境掌握全国出入境检验检疫疫业务情况，加快情况，加快监管管指令的下达速度，提高科学决策和指令的下达速度，提高科学决策和统一指一指挥能力；能力；实现各地各地检验检疫机构疫机构对进出口出口货物全程跟踪，全面提

47、升口岸局与内物全程跟踪，全面提升口岸局与内地局之地局之间业务协作和作和执法能力，提高法能力，提高检验检疫疫严密密监管的能管的能力；力；实现企企业、产品、品、证书等信息的高度共享，促等信息的高度共享，促进出入境出入境检验检疫疫业务协同同监管水平的提升。管水平的提升。信息收集信息收集更好利用更好利用需要需要进一步完善的工作：如何一步完善的工作：如何实现进出口出口货物全程跟踪，物全程跟踪，全程如何定全程如何定义、范、范围是什么、跟踪的深度，然后才是信息是什么、跟踪的深度，然后才是信息有没有、从哪儿来、如何整合、如何与有没有、从哪儿来、如何整合、如何与业务流程流程连接接推进信息资源整合建设建立信息建立

48、信息资源整合与交源整合与交换体系体系、完善基完善基层数据采集机制。采用数据采集机制。采用电子子标签、传感感设备、GPS定位等手段定位等手段实现基基层数据采集，数据采集，实现一数一源。一数一源。建建设整合信息整合信息统一管理机制。搭建跨部一管理机制。搭建跨部门的的质量信息量信息资源交源交换机制。机制。推推动全国全国质量信息量信息资源整合中心与平台建源整合中心与平台建设。推推进一批重点信一批重点信息息资源源库建建设。建。建设重点重点产品基品基础信息信息库，增，增强信息溯源能力；信息溯源能力；建建设空空间转移移轨迹信息迹信息库，实现过程控制、全程程控制、全程监管；完善法管；完善法律法律法规库，加，加

49、强法制信息化建法制信息化建设。这种方式采集的数据如何种方式采集的数据如何结构化，与文本信息构成构化，与文本信息构成统一的大数据一的大数据什么什么产品溯源，品溯源，如何如何实现溯源、溯源、溯源的深度把握溯源的深度把握统一的信息一的信息资源中心就是大数据的典源中心就是大数据的典型例子，系型例子，系统性、性、质量、制度量、制度大数据从哪儿来：来自一切客大数据从哪儿来：来自一切客观存在，宇存在，宇观到微到微观的的物理世界，各种生物体，人物理世界，各种生物体，人类社会活社会活动，人，人类感知、感知、认识和思和思维的的结果果重重视视大大数数据据发发展展提提高高信信息息化化质质量量大数据的形态：数值、文字、

50、符号、音频、视频大数据的形态：数值、文字、符号、音频、视频大数据主要相关技术：获取能力、转换能力、组织能大数据主要相关技术：获取能力、转换能力、组织能力、传输能力、处理能力、展示能力，涉及到所有信力、传输能力、处理能力、展示能力，涉及到所有信息技术，最直接的是获取、转换、组织、利用能力息技术，最直接的是获取、转换、组织、利用能力大数据怎么得到：人类的感知、思维，传感器获取大数据怎么得到：人类的感知、思维，传感器获取大数据主要影响：改写信息技术和产业版图，成为人大数据主要影响：改写信息技术和产业版图，成为人类社会发展转型的主要基础类社会发展转型的主要基础大数据有多大：无限，这正是信息技术和产业的需求大数据有多大：无限，这正是信息技术和产业的需求和发展前景所在。和发展前景所在。P级是级是2的的50次方，走向次方，走向2的的100，200次方，更多次方，更多大数据发展路径：各环节相互制约、推动，逐步发展大数据发展路径：各环节相互制约、推动，逐步发展2024/7/22