《数据库管理通用平台设计方案》由会员分享，可在线阅读，更多相关《数据库管理通用平台设计方案（29页珍藏版）》请在金锄头文库上搜索。
1、数据库管理通用平台设计方案第一章 绪 论1.1平台的需求分析通用数据平台是一个支撑企业信息化数据集成的应用平台，需要在给企业用户提供便利、实用和强大的应用环境的同时，还提供统一信息交换，实现企业现有应用系统间数据的整合与集成。企业信息化的过程就是要将企业运作处理的一切程序、资料变成信息资源，通过信息化的手段进行处理，这些信息资源就来源于企业的设计、工艺、生产、销售、采购等各个环节，完善这些环节的信息流的管理将直接加快企业处理信息的过程，从而提高企业的运行效率；而充分利用有效的信息工具，特别是采用统一的数据平台，可以加速企业的整个运作过程，从而达到降低成本的目的；在提高质量方面，信息工具所发挥的
2、作用也是不可忽视的，它将大大减少人为处理过程中错误、误差，并提高准确率和精度。在解决企业信息化的过程中，企业采用的信息化系统不尽相同，可能差异很大，包括系统的编写语言、开发工具、应用环境等等，通用数据平台所需解决的主要问题之一就是整合企业已有的数据资源，充分利用已有的信息，更好地为企业服务。1.2总体功能目标1.2.1支持异构数据库支持国内外常用数据库异构；支持多库的网络分布，平台所联接的数据库可位于网络中不同的主机上支持不同类型数据库的热切换；平台所联接的数据库可在程序运行中更改，实现软切换。连接和访问分布式数据库，提供数据的可靠传输，解决不同软硬件和网络环境中系统的通信问题，实现信息孤岛之
3、间的联通。1.2.2屏蔽数据库类型的差异性对企业应用开发人员屏蔽不同数据库之间的差异。开发人员只需要专注于业务需求，一次开发就可以应用于多种数据库系统，通过简单的配置就可以实现底层数据库的切换。数据库可配置、定义，支持常用数据库：SQL、ORACLE、VFP、ACCESS、EXCEL，以及国产数据库DM、OpenBASE等平台配置自动维护；由定义器完成平台的配置，数据库定义与具体类型无关；通过使用“库-视图-关联定义器”来实现基于平台的软件与数据库类型无关；能降低应用软件规划难度；实现大大减少应用软件的开发量。1.2.3简化数据库访问能结合配置和应用逻辑生成SQL语句；能根据部分新的要求产生完
4、整的SQL语句；能产生复杂逻辑的SQL语句组合；能自动识别数据类型；生成符合格式的SQL语句；能提供尽可能多的错误拦截、识别、信息提示和存盘等功能。实现对分布异构数据库的透明访问。实现数据的集中和汇总，使不同格式、不同数据管理系统中的数据能够相互交流和转换。保持已有系统的自治性，在使用数据应用开发平台的同时不影响已有系统的正常运行。具有良好的开放性和适应性，能够适应向平台中增加新的数据库系统、数据库升级和企业业务需求变更等变化。1.2.4实现多种业务逻辑能动态生成和执行SQL语句；能产生和调用存储过程，由触发器等执行；调用底层API能获取数据库、表结构信息；实现动态业务逻辑变更提供面向对象的数
5、据事务组件；供搭建应用程序构成复杂的数据服务逻辑。1.2.5提供通用的数据管理方法将常用的操作沉淀为程序资源，如：插入、删除、更新、查找、筛选、统计等操作，规范数据操作接口；操作函数的参数格式统一，便于理解和可扩展；数据库升级只需改造平台，对应用程序几乎无影响；应用程序编程员不必太了解数据库技术；减少重复代码，实现一处维护多处受益。1.3总体性能目标通用数据平台要确保数据的有效性、机密性、完整性、安全性、可靠性，确保在日常维护或是意外崩溃时通用数据平台可以正常运转，确保系统单个服务故障不影响通用数据平台的运行。平台提供系统运行日志，记录平台运行状况，提供平台维护工具；采用统一的标准数据总线及功
6、能丰富、面向应用的集成代理机制，来确保平台具有足够的可扩展性。通用数据平台适应国产主流的数据库：DM、OpenBASE、KingBASE，以及国际主流数据库Oracle，MS SQL Server等。1.3.1业务系统与数据库的分离平台支持用户自定义业务系统的相应的功能，留出二次开发的接口供用户在平台的基础上进行开发。如PDM等系统可以充分利用平台现有的接口，进行相关的业务系统的开发。1.3.2实现不同应用业务系统与平台部分分离，实现业务应用的动态启动和停止。平台利用服务监听器这一机构可以实现：当一个业务应用启动的时候，平台会将属于这个业务应用的用户数据源启动；当一个业务应用停止的时候，平台会
7、将属于这个业务应用的用户数据源关闭。1.3.3支持分布式应用支持分布式运行方式，但只维护一份配置文件，平台使用配置管理器来统一读取系统的配置信息，平台的各种分布式的组件在启动的时候会自动连接到一个运行的配置管理器来获得必要的信息。1.3.4集成化的平台管理工具提供完善的图形化的管理工具，其中集成了对业务应用的所有功能进行管理，业务数据的备份/恢复，数据源的配置，用户的权限管理工具，数据库对象的创建/修改/删除。1.3.5在线日志管理平台日志系统要为用户提供独立可配置可扩展的日志输出机制。基于通用数据平台进行二次开发的时候，对调试信息进行追踪记录。定义好追踪等级，对平台事件进行归类，提供统一的事
8、件代号。平台运行过程中，对平台以及架构在平台之上的业务系统进行跟踪，记录重要的改变，并给出相应的恢复提示。1.3.6分布式事务支持平台的事务处理功能模块要保证在一个工作单元中的数据的完整性，构造平台自己的事务管理机制，简化分布式应用的构造，并且可以为用户提供跨多种数据库的分布式事务处理，实现了两阶段提交协议，保证数据的完整性和一致性。1.3.7通用业务逻辑对象管理及其调用平台使用通用对象模板技术，提供通用数据对象的定义、存储、编辑、查询、统计工具，统一规范、共用资源。更好的进行资源的管理，为快速部署信息化领域的解决方案提供技术支持。第二章 通用数据平台体系结构2.1体系架构本课题基于对国产数据
9、库技术的研究，从制造业信息化企业应用软件的需求入手，结合中小型制造业企业的特点，提出并实现了面向中小企业的基于国产数据库的制造业信息化应用软件集成理论和实现的技术路线。项目构建基于国产数据库的通用数据平台，提供基于国外数据库和国产数据库的应用软件的整体解决方案。通用数据平台架构在应用程序和数据库的中间，见图3.1。负责应用程序与数据库服务器直接的通信，应用逻辑（SQL语句解析，数据提取，事务控制等）在通用数据平台这个中间层进行处理，业务逻辑在中间层进行维护和实现，避免了因业务变动而对众多应用程序产生的冲击。图2.1基于国产数据库的制造业信息化应用软件的体系架构2.2技术路线课题立足于跟踪数据库
10、应用技术的发展和研发数据库连接的通用数据平台技术开目数据平台（KMDP）。KMDP不仅要充分利用数据库的SQL、范式等标准访问不同的数据库，而且可以超越数据库的差异，通过一种统一的自然语言（KMSQL），识别数据库类型，充分利用不同数据库所提供的核心技术。KMDP要能够为开目产品系列提供对数据库的分布、安全性、效率、面向业务的对象数据操作、数据分析、数据自维护、数据检验、数据库对象动态生成、数据柔性化等高级的一体化解决方案。KMDP是一种服务于开目全线产品的通用开发平台和运行支撑平台，故总是跟踪数据库的最新技术，以满足开目产品发展的需要。KMDP基于平台和组件化技术，通过ODBC/OLEDB/
11、JDBC及其API访问数据库，它主要提供语义翻译、数据缓冲、错误拦截、业务数据批处理等预处理和后续处理功能。2.3通用数据平台模式图2.2构架在应用与数据库间的中间层数据平台模式2.4通用数据平台主要模块以及工作流程通用数据平台的最主要的目的是在分布异构数据库之上为用户提供一个开放的、统一的信息处理环境，允许用户使用统一的接口存取分布、异构的多个数据库上的数据。整个通用数据平台采用客户-通用数据平台-服务器三层体系结构。一个完整的应用系统分为三层：用户应用层（CAPP、PDM等应用程序，应用程序接口）、数据服务层（存储过程解析/转换、数据库备份与恢复、安全管理、数据管理、模式管理、数据库代理）
12、和基础设施层（平台引擎）。用户应用层包括用户在平台基础上建立起来的应用系统（开目PDM等应用软件系统），以及在应用和通用数据平台之间的应用程序接口；数据服务层为用户应用提供透明数据访问和存取服务，是应用和分布数据库之间的桥梁；基础设施层包括平台引擎中的内存对象、SQL解析等。通用数据平台的最终目的是在用户应用层和基础设施层之间建立透明的服务，处于中间层次的数据服务层是系统的关键。通用数据平台在分布异构数据库系统之上建立了一套全局模式，在顶层为用户提供一个统一的视图，底层数据库的分布和异构对顶层用户是透明的，用户可以像使用一个数据库一样使用分布异构数据系统12。用户对局部数据库的操作通过统一的用
13、户视图进行，操作以全局事务的形式提交给平台系统。全局事务使用全局模式表示，是针对全局数据进行的操作。通用数据平台的框架见图3.3。通用数据平台的主要模块如下：2.4.1平台引擎通用平台的基础设施，在内存中以通用对象模板来组织内存对象，实现通用数据平台的SQL解析，对异构数据库的数据对象提供通用的操作。2.4.2异种数据库存储过程解析/转换以自定义的KMSQL中性语言为基础，实现异种数据库存储过程之间的相互转换，实现一次编写，各数据库环境下运行。2.4.3数据库备份与恢复模块基于平台引擎的内存数据对象，以及内存索引对象，定义了一套通用的数据对象模板，并定义了一种通用的数据文件，用于存储异构数据库
14、的数据。基于对象模板和通用数据文件实现了异种数据库之间数据的导入/导出。2.4.4安全管理模块以RBAC（Role-Based Access Control-RBAC）模型为基础，实现对异构数据库数据的访问权限控制，防止非法用户越权访问数据。2.4.5其它模块数据管理、模式管理、数据库代理等模块实现对异构数据库数据的一般业务逻辑操作，包括数据创建与删除等。2.4.6平台工作流程平台的工作过程如下：用户应用使用内嵌SQL语句的高级程序语言向平台提交数据服务请求，查询管理器的语言解释器模块根据全局模式对服务请求语句进行分析和验证，经过完整性检查和初步的优化后得到全局查询计划。全局查询计划是使用全局
15、模式表示的，必须分解到相应的局部数据库去执行，这部分工作由查询分解器完成。当一个局部数据库的查询语言与全局查询语言不同时，还需要进行查询转换。经过查询转换后得到了可以在局部数据库执行的一系列子查询，这些子查询经过事务处理器的协调，得到了和原全局查询等价的事务系列，这些事务系列送交各局部数据库执行，返回的数据经由数据管理器进行合并等操作，最后返回给用户应用程序。图2.3应用开发平台的框架（主要模块），以及各模块间的相互关系第三章 元数据库的设计与实现 任何一个管理信息系统访问数据库方式无非就是查询、增加、删除、修改等几类操作，所不同的只是所访问具体数据的实际意义不同而已。所谓的数据库通用平台就是
16、抛开具体的查询、增加、删除、修改，设计出一个适合各种不同意义数据的通用平台，这样在进行具体的访问时，只需要调用这个通用平台并配置相应的参数，就可以实现所需要的功能。对于这样的访问方式，传统意义的数据库设计满足不了，因为传统的数据库设计都是针对于具体的数据设计的。这里就引入了元数据的概念。 元数据是关于数据的数据。它是一种广泛存在的现象，在许多领域有其具体的定义和应用。在软件开发领域，元数据被定义为:在程序中不是被加工的对象，而是通过其值的改变来改变程序的行为的数据。它在运行过程中起着以解释方式控制程序行为的作用。在程序的不同位置配置不同值的元数据，就可以得到与原来等价的程序行为。元数据描述数据的结
