《一种分布式实时数据系统中的基于动态索引策略的存取定位机制》由会员分享，可在线阅读，更多相关《一种分布式实时数据系统中的基于动态索引策略的存取定位机制（5页珍藏版）》请在金锄头文库上搜索。
1、4 种分布式实时数据系统中的基于动态索引策 略的存取定位机制 一种分布式实时数据系统中的 基于动态索引策略的存取定位机制 A S t o r a ge a n d I n q u i r y L o c a t i o n Me c h a n i s m i n Di s t r i b u t e d Re a l - t i me Da t a Sy s t e m B a s e d o n Dy n a mi c I n d e x S t r a t e g y 李德 文 贾士博 谭 彰 姚 罕琦( 浙江中控技术股份有限公司， 浙江 4A ,li 3 1 0 o 5 3 ) 摘 要
2、 提 出一种分布 式实时数据 系统中的基 于动 态索引策略 的存取定位机制。该机制结合 了改进 的一致性哈希算 法与“ 虚 拟 T o k e n空间” 机 制。 在该机制基础上 ， 针对流程工业领域测点数据的特征和 需求 ， 用大量的廉价服务 器实现 了实时性 高、 吞 吐量 大、 可扩展性好的分布式实时数据库 系统。 该数据库 系统具有测点数据写入位 置的 自寻找、 服务器集群 内部状 态变 更时测点数据位 置的 自切换、 数据查询的 自优化 、 服务器 负载 自均衡等优势。该 系统封装 了分布式 系统的各 种瓶 颈问题 ， 使 用户不需要 关心 系统内部 的机制 ， 可以像 使用单体数据
3、库 系统一样直接 向系统读 写数据 ， 而该 系统性能又是单体数据 库的叠加 。通过在原型 系统中测试验证 ， 结果表明该机制 能够达到设计预期 目标和性能要求。 关键词 ： 分布式 ， 实时数据 ， 虚拟 T o k e n空间， 动 态索引， 负载均衡 Ab s t r a c t A s t o r a ge an d i n quir y l o c at i o n me c ha nis m i n dis t r i bu t ed r e a l t i me da t a s y s t em ba s ed o n dy na mic i n de x s t r a t
4、eg y is pr o po s ed Combi n i n g t h e i mp r o v ed c on s i s t e nt h a s h a l g or it hm wit h a Vi r t u a l To k en Spa c e mec h anis m an d n e ed s of t h e me as u r ing poin t d at a i n t h e f i e l d o f pr o c es s i n du s t r ies ， t h e mec h an i s m ac h i e v es a h i gh ly r
5、 ea l -t i me lar ge t h r o ug hpu t pe r se c on d an d goo d s ca l a bi li t y dis t r i b u t e d r ea l t ime da t ab as e s ys t e ms T h e d a t a bas e s y s t em h as ad va n t age s o f po i n t -da t a s elf loc a t ing， loc a t ion s elf s wi t c hin g wh en t he i n t e r n a l s t a t
6、 e o f t he s er v e r clu st e r c ha n ged，s elf op t imiz i n g of da t a i n qu i r y ， s e l f b alan c i n g of s er v er s loa d Th e s y s t em e n ca ps ula t es a va r ie t y o f bo t t len e ck s pr oble ms in dis t r i b u t e d s y s t e ms ， S O t h a t u s er s d o n ot n e ed t o c a
7、r e ab ou t t h e i n t er n al mec h an i s ms o f s ys t e ms Us er s c ou ld r ea d an d wr it e da t a di r e c t ly t o wa r d t h e s ys t e rn l ik e u s ing a s i n gles e r v er da t a ba s e， bu t t he s y s t em pe r f or ma n c e i s t h e s up er p os it ion of t he s i n gle da t ab as
8、 e Ke y wor ds ： dis t r i bu t ed， r ea l t i me d a t a，Vi r t u a l T ok e n Spa ce ， dy n amic i n de x， loa d ba l a n c e 面向石化 、化工等流程工业领 域的实时数据库是现代 大型 过程控制系统 的核心 数据 平台 ， 向效 益评 估 、 工 艺优化 、 管理决 策等上层应用提供高效的数据服务 。 近年来 ， 随着产业结构优化 和集中度提升 ， 企业的生产规模不断扩大 ，对实 时数据库 的性 能 、 可靠性 、 可扩展性要求越来 越高。而实时数据 的动态存取索 引
9、机制作为 系统提供各项数据服务的基 础 ，其设计 与实现的优 劣直接影响到整个实时数据库的运行效率 、数据安全 与弹性扩 展能力。 因此 ， 如何设计 高效 、 高可靠性 、 高可扩展性的实时数据 动态存取索引机制 ， 成为实时数据库研 究领域 的一项关键问题 。 关注于上层控制策略 的用户对底层数据实时存取系统的封装性 要求也 日益增强 ，更多的用户希望用大量的廉价 服务 器来 实现 系统存取性 能的叠加 ，同时希望系统能克服掉分布式系统相较 于单体系统的 自然缺 陷和瓶颈问题 。 现有实时数据存储动态存取索引方面的研究通过 将实时数 据的组织特点与应用特性结合 i - 2 ， 从而提高数据
10、库的数据存储 、 查询性能。当前主流实时数据库产 品虽然能够在一定程度上实 现分布式存储 ， 但服务器节点 之间运行相对独立 ， 任务协同性不 足 ， 难 以灵活实现数据 扩展与迁移 ， 其带有 Ma s t e r 性质 的节点 又会成为系统可靠性 、 可扩展性和廉价性的瓶颈 。而现有的互联 网行业的分 布式存储 系统， 如 H a d o o p 、 C a s s a n d r a 4 、 L u c e n e m 等 ， 面向的数据对象是相对独立的数据块 ， 无法直接匹配流程工 业领域对大量连续推送 的数据 的实时存取 的特殊需求 。 由于 N o S QL技术 具有 面向海 量数
11、据 应用 、 规 模动 态扩 展 、 系统可用性 与可靠 性高等特点 ， 本 文通过将 N o S QL技术结 合流程工业领域对数据系统 的特殊需要 ，提 出一种基 于分布式 系统的实时数据动态存取索引机制 ，在保证 数据存取实时性的 基础上 ， 有效提高了实 时数据库 的海量数据存储与处理能力 ， 能 够适应当前 流程工业企业对数据高可用性 、 高可靠性 的需求 。 1 概 述 1 1系统结构 系统结构如图 1 所示 。采集器上送的数据通过分布式通讯 服务平台分别存储至 系统 的多个节点 中形成多重冗余 ，当某个 节点无法正常工作而造成数据点备份失效时 ，其他备份仍能够 正常存储 、 检索
12、， 提供与失效节点完全一 一 致 的数据服务 。在数据 库 系统 中， 事务服务负责数据库 系统 中所有 请求的管理 ， 查询 服 务为数据库客户提供统一的查询接 口。 在数据安全性方面 ， 通过 多个数据服务器间产生不 同数量 的冗余备份 ，从 而区别对待关 圈 1 分布 式实时数 据库 系统结构图 工业控制计算机 2 O 1 3年第 2 6卷第 1 1 期 5 键数据与普通数据 ， 兼顾系统成本与可靠性。 系统中的分布式通讯服务平台是一个分布式的通讯 系统 ， 又 可以称为消息系统 ， 为复杂网络、 多平台下 的应用提供消息接 收、 发送服务 ， 保障数据传输的可靠性 、 实时性、 安全性
13、和高效性 。 1 2数据存储方案设计 多个对 等的服务 器节 点、采集器以及应用客户端通过接人 到分布式通讯服务平 台 ， 构成统一的分布式实时数 据库 系统 。 本 文结合 了一致性 哈希算 法 剖及 DH T算 法 1 o ， 设计 了一种基 于 虚拟 T o k e n的索引机制 ，确定 了各个服务 器节点对 测点数据 的 接收范围。系统 的数据存储流程可分为 以下 6步 ： 1 ) 采集 器对实 时数 据进行采集 和整理 、 汇总后直 接通过分 布式通讯服务平台发往实 时数据接 收服务 ； 2 ) 不 同的数据可根据其重要性配置不同份数 的副本 ； 3 ) 根据数 据的 副本 情况 ，
14、 本 文所叙述 的机 制将采 集器的数 据 定位 到 目标节点 ； 4 ) 将实时数据上送至对应的服务器 节点 ； 5 ) 服务器 节点进行解 包 ， 将 数据点名按 照一致性 哈希算法 映射为数据点 I D， 按照各个服务器 节点所指定 的令牌号将相应 I D的数据发送至指定 的服务 器中 ， 从 而进人各个 服务器的 内部 数 据处理过程 ； 6 ) 当节点 不可用或接 近磁盘空 间的存 储上 限时 ， 系统将根 据本 文所提供 的机制智能地 为采集器分配一个新的服务器节点 来 推送数据 。 1 3 数据查询方案设计 数据查询分为历史数据查询和实时数据的订阅查询两个部分。 系统对实 时数据
15、 的订 阅查询 的请求有如下 3个步骤 ： 1 ) 根据 虚拟 T o k e n机制和系统所 维护的集群状态变化 日志 所记 录的当前服务器节点对 T o k e n的管辖情况 ，计算 出待查测 点所在 的服务器节点 ； 2 ) 订阅查询服务 向该 服务 器节点订 阅实 时数据 ； 3 ) 当集群状 态变化 ， 致使该待查 测点 的数 据被推送 到其他 服 务器节点上时 ，系统将订 阅查询 服务 引领至新的服务器节点 上进行订 阅查询 。 系统对历史数据 的查询请求有如下 4个步骤 ： 1 ) 根据虚拟 T o k e n机制 和系统所维护 的集群状态变化 日志 所记 录的当前服务器节点对 T o k e n的管辖情况 ，以及查询 的起 止 时间， 计算出待 查测 点在查 询起止时间范 围内， 每个时 间段上 的历史数据分别位于哪个服务器节点上 。 如果该测点有副本 ， 则 同时提供副本数据每个时刻分别位于哪个服务器 节点 上 ； 2 ) 分布式事务 调度服务将根 据 ( 1 ) 中提供 的测点数据 及副 本数据在不 同时 间段上在个服务器节点 的分 布情况 ，将该查询 事务分解为多个子事务 ， 形成一个高效 的并发查询策略 ； 3 ) 历史数据查询服务将 向( 1 ) 和( 2 ) 中指定 的服务器节点查询； 4 ) 分布式事务调度服务最终归并查询结果 ， 返 回给客
