《探讨大数据分析技术在空管中应用汇编》由会员分享,可在线阅读,更多相关《探讨大数据分析技术在空管中应用汇编(44页珍藏版)》请在金锄头文库上搜索。
1、2016年9月 探讨大数据分析技术 在空管中应用 * 内容提纲 一、数学知识 二、技术背景 三、主流技术 四、空管需求 五、应用场景分析 1 一、数学知识 数学知识 3 概念; 算法; 建模; 分析与挖掘。 1 数学概念(1) 4 l基本定义 英文名称:Mathematics,简称Maths或Math,是研究数 量、变化、空间、结构以及信息等概念的一门学科。 l数量 代数; l变化 函数; l空间 几何; l结构 拓扑; l信息 分析(e.g.统计分析)。 l推理严密:每一个结论的成立都需要足够合理的条件支撑; l结论唯一:每一个结论都是确定的,不是模棱两可的。 1 数学概念(2) 5 l特点
2、 抽象性; l符号抽象:e.g. (无穷大); l无实物参考:e.g.“直线、平面”(无限延伸)。 严谨性; 广泛性。 l日常生活应用广泛:e.g. 买菜、购物等吃穿住行; l其他学科领域依赖:e.g.力学、天文学、物理学、化学等。 1 数学概念 (3) 6 l问题分类 白化问题 灰色问题 模糊问题 p信息准确; p信息不准确; p问题清晰。 p信息不准确; p问题清晰。 p问题不清晰。 1 数学概念(4) 7 l空管应用举例 空域结构优化; 空中交通流量管理; 4D轨迹优化; 机场进离场排序等。 1数学算法(1) 8 l概念 英文名称:Algorithm,是指解题方案的准确而完整的描 述,是
3、一系列解决问题的清晰指令,代表着用系统的方法 描述解决问题的策略机制。 l特点 有穷性; 确切性; 输入输出; 可行性。 1 数学算法(2) 9 l分类 迭代 p特点:函数内部实现循环,通过使用计数器结束循环。 递归 p特点:重复调用函数自身实现循环,遇到满足终止条件的情况 时逐层返回来结束。 穷举 p特点:对所有可能的情况逐一验证。 回溯 p特点:从一条路出发,能进则进不能进则退,换一条路再试。 动态规划 p特点:求解决策过程最优化的数学方法。 1 数学算法(3) 10 l空管应用举例 卡尔曼滤波算法(监视目标跟踪处理); 地图投影算法(经纬度坐标转换为直角坐标); 视频压缩算法(景象记录)
4、; 带约束优化算法(进离场排序)等。 1 数学建模(1) 11 l概念 英文名称:Modeling,是对事物抽象的一种描述。 l特别声明 数学建模: 工程建模; p通过使用数学符号,数学式子,程序,图形等对某一事物或 问题进行抽象描述。 1 数学建模(2) 12 l空管应用举例 4D轨迹估算(质点运动数学模型); 中期冲突探测(几何运动数学模型); 短期冲突告警(质点运动数学模型); 空域侵入告警(质点运动数学模型)等。 1 数据分析挖掘(1) 13 l概念 数据分析:Data Analysis,通过使用适当的统计分析方 法对收集来的大量数据进行分析,提取有用信息和形成 结论而对数据加以详细研
5、究和概括总结的过程。 数据挖掘:Data Mining,通常是指从大量的数据中通过 算法搜索隐藏于其中信息的过程。 1 数据分析挖掘(2) 14 l区别 数据挖掘,目标不是很清晰,要依靠挖掘算法来找出隐 藏在大量数据中的规则、模式、规律等 ; l联系 数据挖掘,是数据分析的基础支持,简单来说,就是先对原始数 据进行业务关联性、时效性、有效性等逻辑性挖掘,其次抽取有 效数据,清理、格式化数据,为数据分析提供数据支持。 数据分析,一般要分析的目标比较明确,分析条件也比 较清楚。 1 数据分析挖掘(3) 15 l常用方法 回归分析、聚类、关联规则、特征、变化和偏差分析、 web页挖掘等。 l数据分析
6、现状 传统数据分析技术比较成熟,e.g.基于SQL数据库查询 的统计分析。 基于大数据的数据分析,发展迅速,良莠不齐,任重而 道远。 1 数学概念(4) 16 l空管应用举例 飞行计划配对统计; 出入境飞行计划统计; 军民航飞行计划统计; 空域飞行流量信息统计等。 二、技术背景 技术背景 18 数据; 存储; 计算。 2 数据(1) 19 l数据 英文名称:Data,是信息的表现形式和载体,可以是 符号、文字、数字、语音、图像、视频等。 l特点 数据和信息是不可分离的,数据是信息的表达,信息是 数据的内涵。数据本身没有意义,数据只有对实体行为 产生影响成为信息时,才会产生重要价值。 2 数据(
7、2) 20 l传统数据 特点: 应用: p数据量小 p初级建模 p信息相对较少 p辅助维护 p p 2 数据(3) 21 l大数据 特点 应用 p数据量大; p预测分析; 现状 p处理复杂,难度大,云架构、并行处理是共识; p数据复杂。 p决策评估。 p结合行业进行充分发掘是难题,也是未来企业保持行业竞争优 势的重要砝码。 l存储现状 存储设备变强,e.g.服务器和工作站,硬盘和内存容量 越来越大,由M-G-T增长; 2 存储 22 存储方式多样,e.g.移动介质、固定介质、私有云、公 共云等。 存储技术先进,e.g. NAS、SAN、ISCSI 。 2 计算 23 l技术现状 分布式计算 p
8、特点:将大的任务分解成小的任务,在多台计算机上同时计算 ,被分解后的小任务互相之间有独立性,节点之间的结果几乎 不互相影响,实时性要求不高。 并行计算 p特点:将大的任务分解成小的任务,在多台计算机上同时计算 ,倾向于海量数据分析处理,计算的结果相互影响,实时性要 求高。 云计算 p特点:由分布式计算、并行计算发展而来的,处于萌芽阶段, 但是未来发展的趋势。 三、云平台架构 云平台架构 25 IAAS服务层; PAAS服务层; SAAS服务层。 云平台架构 26 用户接入 云应用 SaaS应用 云平台 PaaS平台 云资源 IaaS平台 ERP/OA/CRM/HR/BA/SCM/PM/E AM
9、 客户、个人、开发/实施伙伴等创 建的应用服务 第三方SaaS应用服务客户自建SaaS应用服务SaaS应用服务 支付、物流、政务等第三方云应 用服务;外部行业服务组件 aPaaS门户 应用引擎 平台管理 数据管理 应用管理 安全管理 伙伴管理 软件资产生命周期管理:需求 设计 开发 测试 部署 iPaaS门户 BPM ESB EAI MDM管理 Portal LDAP 公共云集成服务 IaaS云计算运营管理平台 公共服务 自助管理/调度管理/资源管理/用户管理/资源监控/计费/安全服务/网络 虚拟化的基础设施层 云计算 云存储 云网络 云安全 空 管 云 管 理 平 台 aPaaS平台服务(a
10、pplication platform as a service) iPaaS平台服务(integration as a service) SaaS管理门户:配置管理/自助管理/授权控制/消息服务/计费/安全管理 IAAS服务层:主要提供基本架构服务,包括基本的计算 服务、网络服务、存储服务、灾备服务、安全服务等; 3 云平台架构(1) 27 lIAAS服务层 PAAS服务层:基于IAAS层,面向SAAS层提供数据存 储、数据分析挖掘等服务。 SAAS服务层:基于PAAS层,提供与行业相关的应用服 务或呈现服务。 四、空管需求 空管需求 29 飞行流量; 管制压力; 信息现状; 技术发展。 乘
11、坐人次增多; 4 空管需求(1) 30 l飞行流量现状 飞行航线增加; 飞行器架次增加; 军民融合; 低空开放。 飞行流量增多,业务需求=工作高效化 自然因素; 4 空管需求(2) 31 l管制压力影响因素: 军航活动; 航班量大; 管理严格; 惩罚严厉。 管制压力增大,使用需求= 工作智能化 l信息现状 职责多; 4 空管需求(3) 32 机构多; 员工多; 系统多; 数据多。 空管信息孤岛,共享需求= 数据共享 l技术发展 大数据挖掘技术; 4 空管需求(4) 33 存储技术; 并行计算技术; 云平台架构; 大数据分析技术。 技术发展,提供支撑= 不可能变可能 4 空管需求(5) 34 (
12、四)技术发 展,提供支撑 ,不可能变可 能(技术保障 ) (一)飞行流 量增多,工作 高效化(业务 需求) (三)信息孤岛 现状,数据共享 (现状问题) (二)管制压力 增大,工作智能 化(使用需求) 需求+问题+保障 空管大数据分析技术 应用天时、地利条 件具备,如何做怎 么做,需要人和, 暂时欠缺。 五、应用场景分析 应用场景分析 36 场景1:4D轨迹估算; 场景2:飞行冲突调配; 场景3:日志分析; 场景4:雷达数据处理。 5 应用场景分析(1) 37 l4D轨迹估算(1) 通常做法 实现弊端 p利用飞行情报并结合BADA库内机型参数,对计划未来航段进 行估算; p如果4D轨迹估算的模
13、型太复杂,精度较高,但接收雷达目标信 息后对未来航段更新比较耗时,易造成人机界面显示比较慢; p接收到雷达目标信息后,对配对的飞行计划进行修正。 p如果4D轨迹估算的模型太简单,精度较低,造成飞行计划冲突 告警虚警率较高,影响管制员日常操作。 5 应用场景分析(2) 38 l4D轨迹估算(2) 大数据分析技术应用 p利用大数据分析技术,对同一航班的历史数 据进行统计分析,分析在同一航路点航班的过 点时间和高度信息,然后对原4D轨迹估算的 结果进行修正或直接强制使用,提高4D轨迹 估算的精度。 5 应用场景分析(3) 39 l飞行冲突调配(1) 通常做法 实现弊端 p若是飞行预先调配或飞行前调配
14、,一般选择进行地面等待,通 过调整飞行时间间隔,使之满足安全标准,依据大多是管制员 的工作经验; p依赖管制员的经验; p若是飞行中调配,一般采取调整高度、速度和空中等待这样的 措施,拉大横向间隔或纵向间隔,使之满足安全标准,依据也 大多是管制员的工作经验。 p效率低资源浪费。 5 应用场景分析(4) 40 l飞行冲突调配(2) 使用现状 大数据分析技术应用 p飞行冲突调配系统有成品,e.g.川大智胜有一套智能化飞行冲 突调配系统,曾在成空有部署。 p对探测到的冲突场景进行分析,找到历史相似的场景(数据挖 掘); p推广难度大,系统提出的调配方案通常与管制员操作习惯不匹 配,调配方案可靠性一般
15、被管制员质疑,选择相信自己经验。 p通过分析历史相似场景的调配方案,修正现有系统的调配方案 (数据分析)。 5 应用场景分析(5) 41 l日志分析 通常做法 实现弊端 pATC系统技术监控进程、一些主要进程实时生成日志文件; p资源浪费; p系统故障、进程出问题时,日志文件才会被用到,而且日志上 的部分信息只有研发人员才会看懂。 p过分依赖供应商。 大数据分析技术应用 p智能化故障诊断。 5 应用场景分析(6) 42 l雷达数据处理 通常做法 p接收到点迹,经过预处理、处理周期性输出系统航迹; p如果在若干个周期内,没有收到点迹信息,系统航迹将会自动 消失。 大数据分析技术应用 p当航空器出现特情时,管制员无法监视到当前航迹,而系统保 留该目标当前时刻之前的信息,通过大数据分析技术,结合历 史数据和机型参数信息,进行预测,为应急搜救提供辅助。 1.mp4 结束语 谢谢 谢!谢!