《工业数据库与数据挖掘(4 实时数据库)讲义》由会员分享,可在线阅读,更多相关《工业数据库与数据挖掘(4 实时数据库)讲义(72页珍藏版)》请在金锄头文库上搜索。
1、背景 空中交通管制、雷达跟踪、工厂生产过程控制、证券交易、电力系统等 领域 工业过程自动控制在线监测和控制,设备运行状态的监控、诊断和事故处理、生产状态和设备间的协调控制,以及厂级生产管理决策与控制 包含了对数据的“定时”存取和对“短暂有效”数据的存取,,第四章 实时数据库,背景 要求在一确定的时刻或一定的时间期限内,从外部环境采集数据、按彼此间的联系存取并处理采集到的数据,再及时地做出响应。所处理的数据往往是“短暂”的,即只在一定的时间范围内是有效的,过时则数据将失去意义,所以这种应用同时需要数据库技术和实时数据处理技术。,第四章 实时数据库,1 需要维护大量共享数据和控制信息 2 应用活动
2、都有很强的时间性,背景 传统的数据库系统旨在处理永久、稳定的数据,强调维护数据的完整性、一致性,其性能目标是高的系统吞吐量和低的代价,而不考虑有关数据及其处理的定时限制,不能满足这种实时应用的需要。,第四章 实时数据库,背景 及时性和正确性同等重要的性能指标. 甚至多数情况下,情愿满足及时性而接受只满足局部正确性的数据,完全正确但超时(过时)的数据将成为无用信息 实时数据库系统(Real-Time Database System RTDBS)就是其数据和事务都具有定时特性或着显式的时间限制的数据库系统,第四章 实时数据库,背景 实时数据库需要具有两方面的特性 实时性: 即其数据是实时的,其数据
3、来源是其自动从工业现场采集实时数据,每一个数据都有时标。 数据库技术: 该系统中管理了大量的数据,同时提供数据的存贮、检索、修改、加工等多方面的数据管理手段,第四章 实时数据库,背景 数据的时间相关性给数据存储、组织与存取都是“识时”的,并非所有数据都是永久性的,相反多数数据都是暂时性的,甚至并非一定要把结果保存到永久数据库中; “识时”协议和“时间正确性”的调度与并发控制,不同于传统数据库,对于实时数据库而言,最重要的并非可串行化调度;,第四章 实时数据库,背景 主要的数据库产品 美国 OSI Software 公司PI ( Plant Information System ) AspenT
4、ech 公司 Infoplus.21 InStep 公司的 eDNA 美国HONEYWELL公司 PHD ( Process History Database ) SUPCON的ESP-iSYS 紫金桥实时数据库产品RealDB,第七章 实时数据库,实时数据模型 实时数据库由三类数据对象组成: 映像对象(IMO,Imagine Object)、 导出对象(DEO,Derived Object) 不变对象(INO,Invariant Object)。,第四章 实时数据库,实时数据模型 映像对象IMO 在RTDB中,现实世界的对象(RWO,Real World Object)由传感器监视,它的值被
5、周期性地采样并写入数据库,数据库中这种被写入RWO值的数据对象就称为映像对象(IMO)。,第四章 实时数据库,实时数据模型 映像对象IMO 一个IMO就是一个RWO在特定时刻的映像。 一个IMO有一个对应于RWO最近采样的时间或有效时间与之相连,这个时间称为“采样(或事件)时标”(Sampling/Event Timestamp),或简称为时标,自此开始至下一次采样发生的时间间隔(Interval)就是该IMO的“有效期“(Validity Interval)或“外部有效期“。,第四章 实时数据库,将一个IMO值的采样与写入操作建模为一个周期的实时事务。一个IMO的值一旦记入数据库,就不再被更
6、改,而将对应RWO在后来时刻的采样值写入数据库作为一新的IMO。实时数据库保存这些IMO的存档记录。例如,工厂中某处传感器在时刻ti所采样的温度就是一个IMO;,第四章 实时数据库,实时数据模型 导出对象DEO 一个DEO在一个事务的执行过程中由一组IMO和/或其它数据对象计算而得,与DEO相连的时标是用来导出它的数据对象的最晚时标或事务时间(Transaction Time),其有效期为各数据对象有效期之交,且可以有多个时间区间之并的形式。与IMO不同,DEO的值在数据库中可能被更新,其存储记录可以保存也可以不保存。,第四章 实时数据库,实时数据模型 不变对象INO 一个INO就是一个对时间
7、而言保持不变的值。它可看作是值不随时间而改变、且其时标为系统初建时刻(设为t0)的实时数据的特例,其有效期总是自RTDBS建立时起到“当前”(即tc)。,第四章 实时数据库,实时数据模型 我们可以得到以下RTDB的定义:,第四章 实时数据库,实时数据模型 设RWO表示现实世界对象的集合,它可看作为VO和CO两子集组成,VO是可变对象集,CO是不变对象集; CAP(VO,ti)表示在时刻ti时对现实世界中可变对象集合VO的采样操作; F(CO)表示对现实世界中不变对象CO的一次性取值,第七章 实时数据库,实时数据模型 DO表示一个数据对象(Data Object)的集合,它是RTDB的子集; C
8、AL(DO)表示对DO的计算操作; IMOn为当前映像对象集, IMO1, IMO2,IMOn-1为数据库的存储映象对象集。,第四章 实时数据库,实时数据模型 一致性特征 一个实时数据对象定义为一个三元组d: 。 其中分量d.v、d.tp、d.avi分别为d的当前状态值、时标和有效期(即自d.tp算起在d.v时间间隔内有效)。,第四章 实时数据库,实时数据模型 一致性特征 外部一致性 RTDB依赖数据库与外部世界频繁交换获取准确、及时的数据。 外部一致性是指事务使用的数据库中的数据在其有效的时间范围内。 相互一致性 对于用来决策或者导出数据的一组数据,在使用时,这样一个相互一致的数据存在相互有
9、效期。 相互一致性是指这组数据在相互有效期内使用。 时间一致性 数据既是外部一致的又是相互一致的。,第四章 实时数据库,实时数据模型 一致性特征 内部一致性 传统意义上的数据库内部一致性,满足预先定义的数据库的完整性和一致性要求。 需要通过数据的完整性检验和事物的可串行化性能。 数据的正确性 数据同时具备内部一致性和时间一致性。,第四章 实时数据库,第七章 实时数据库,第七章 实时数据库,三 实时事务模型 1 事务结构 实时任务往往具有结构上的相互联系,所以传统的无结构的、原子性的和独立的事务模型不完全适用实时应用,第四章 实时数据库,三 实时事务模型 事务结构 功能替代 对于一个任务可以有不
10、同的实现路径; 结果补偿 对于一个(子)事务,可以改变物理世界的状态,当夭折后,可能无法恢复(undo). 需要启动补偿事务,也有可能无法补偿。无法补偿的(子)事务,在确知需要之前,不能提交.,第四章 实时数据库,三 实时事务模型 事务结构 嵌套事务 结构上一个事务是另一个事务的子事务。 事务在特定环境下被触发执行; 对于开端事务,由于资源问题,被分解若干子事务; 形成事务树。,第四章 实时数据库,三 实时事务模型 事务结构 嵌套事务 触发: 开始的事务由外部或内部事件触发;子事务由父事务显式触发; 提交 子事务的结果完成,向父事务提交,由父事务存取,对数据意义库不是严格意义的提交;在开始事务
11、提交后,才将所有结果提交给数据库。,第四章 实时数据库,三 实时事务模型 事务结构 嵌套事务 夭折 父事务夭折,则所有后代夭折; 子事务夭折,可以有如下选择: 重新启动子事务; 执行补偿子事务; 忽略夭折事件; 自身夭折,向上传递;,第四章 实时数据库,三 实时事务模型 事务结构 合作性 实时事务总是“合作”进行的,除了前面所述的结构联系外,彼此间还有许多联系,如共享数据联系、通讯联系、时间上的联系等。,第四章 实时数据库,三 实时事务模型 事务结构 结构相关 开始依赖:事务t1开始意味着事务t2先开始; 提交依赖:只有事务t2提交或夭折后t1才能提交; 夭折依赖:事务t2夭折包含了t1的夭折
12、;,第四章 实时数据库,三 实时事务模型 2 时间特性 “循环”事务(looped transaction) 就是一个被循环地执行着的一般或结构事务。它象一个周期事务,但一次执行的结束就是下次执行的开始,是一个整体。,第四章 实时数据库,三 实时事务模型 2 时间特性 “开端”事务(openended transaction) 一个具有长执行期的一般事务或结构事务。,第四章 实时数据库,三 实时事务模型 定时限制 由需要不断跟踪外部环境所施加于系统的反应时间要求引起。这种定时限制典型地取施加于非周期事务的截止期形式。截止期是一个时区(interval)它被看作是对“将来”的一种限制,如“飞机必
13、须在10秒内完成着陆准备”。,第四章 实时数据库,三 实时事务模型 定时限制 由于要保持由数据库的内容所反映的状态与外部环境的实际状态的一致性而引起的。它可被看作是对“过去”的一种限制的一个时间窗口。这类定时限制常常以周期的形式给出,如“每5秒取样速度一次”。定时限制要求系统具备时间处理机制和“识时”的事务处理。不同的事务表现出不同的定时限制特性“硬、软、固,这取决于事务超过截止期所可能引起的后果。,第四章 实时数据库,三 实时事务模型 定时限制 硬截止事务:事务超过截止期将给系统带来灾难性后果,其价值函数可能取负值,它对应于安全危险性活动。,第四章 实时数据库,三 实时事务模型 2 时间特性
14、 定时限制 软截止事务:截止期并不十分严格。事务超过截止期后仍具有一定的实用意义,其价值函数将保持正值,直至某个时刻其价值函数返回零值或不返回值,并保持不变。,第四章 实时数据库,三 实时事务模型 2 时间特性 定时限制 固截止事务:一旦事务到达截止期,则对系统失去意义,马上别系统放弃。其价值函数返回值马上为零,并保持不变,其实质是软截止的一个特例。,第四章 实时数据库,Hard deadline Soft deadline Firm deadline Non-deadline,第四章 实时数据库,三 实时事务模型 3 时间相关 时间相关性是实时数据库事务所特有的,它表明事务的执行顺序或紧迫度
15、,通常以“事务事件”来表示。我们分别以BEGINt,COMMITt和ABORTt来表示事务t的“开始”,“提交”和“夭折”时间的发生时间,,第四章 实时数据库,三 实时事务模型 3 时间相关 时序相关 事务间按相互关系有7种最基本的时序关系 time A A A A A A A B B B B B B B,第四章 实时数据库,3 实时事务特征 带时限的时序关系 上述时序相关仅表明有关事务中相应事务事件发生的时间顺序,没有截止时间要求。 例子1:事务A必须在事务B提交后5秒内提交。A,B间的时序相关为 例子2:事务 在事务 开始后10秒内执行完毕。其时序相关表示如下:,第四章 实时数据库,4 实
16、时事务调度 事务状态 就绪态指任务己经准备好,可以运行,但由于该任务的优先级比正在运行任务的优先级低,暂时不能运行; 运行态指任务掌握了处理器的控制权,正在运行中; 阻塞态是指任务在等待某一条件的满足(例如等待某外设的操作,等待某共享资源由暂时不能使用变成能使用状态,等待定时脉冲的到来或等待超时信号的到来等等)。,第四章 实时数据库,4 实时事务调度 特征 可预报性 实时事务的定时限制必须确保,因而就要预测这种事务是否会满足其截止期。这要求事先知道事务的最坏情况执行时间及其所需数据与资源,并要求这种最坏情况预测与实际的差别尽可能小。 优先级 大多数实时调度策略都是基于优先级使用的,所以事务优先级的赋值策略对于事务调度的效率是非常重要的。优先级反映了