《数据消息中间件介绍 DMQ》由会员分享，可在线阅读，更多相关《数据消息中间件介绍 DMQ（15页珍藏版）》请在金锄头文库上搜索。
1、Asiainfo-Linkage, Inc.,数据消息中间件介旨DMQCUC SRD1-UAP-PSOAAsialnfo Linkage 亚信联创AAsialnfo Linkage 亚信联创修订文档历史记录日期版本说明作者2012-10-24V0. 1创建吴学良2012-11-01V0.2吴学良2012-11-15V0.3增加3. 3到3. 6内容吴学良AAsialnfo Linkage 亚信联创1背景目前儿个流行的消息中间件产品分析： Apache的ActiveMq我们的几个产品都在使用，存在儿个方面问题：使 用复杂、维护不方便，容易出故障等，比如，需要熟悉JMX规范，了解各种接口定义； 产
2、品提供的web监控页面不直观，需要做深入了解后，才明白。 监控mq内部运行情况，需要根据提供的接口进行代码开发； IBM的MQ不仅收费，而且使用更复杂，bug多，且不稳定。服务开通 系统以前使用过，后來放弃使用。 微软MSMQ,从网络上大众使用的反馈也不好，不稳定。所以计划自己开发一个简单的队列处理器，简称：DMQo2目标希望解决：1. 提供稳定的消息中间件；2. 使用简单，部署、配置很容易；3. 更方便维护，通过简单的sql语句即可查询、操作队列数据，以及页面展示 等；4. 可L根据业务优先级定义，分配不同的队列，并按优先级获取队列数据；5. 为今后消息中间件使用提供产品复用3功能实现结合B
3、SS等业务系统具体情况：有数据库、使用人员都熟悉数据库等，因 此，创建队列数据到自己的数据库中。方便队列数据的查询、监控以及队列数 据维护。AAsialnfo Linkage 亚信联创3.1目前MQ使用情况3.1.1 BSSOCS接口平台取何步衣Ti_bh_synchinfo3.1.2 UIP 平台AAsialnfo Linkage 亚信联创3.2设计目标目标：一个ja一个ms, 个sql,即可提供一个MQ1、使用ms数据库配置；2、可以定义获取队列数据规则：a. 队列优先等级。根据业务优先级划分队列，比如：挂失、调账、业务订购 等划分不同优先级的队列；b. 入队时间优先级3、可以定义队列消息
4、生存时间；4、消亡后的队列消息处理方式：删除、放入历史表；5、取队列数据接口返回值类型：a. 对象，一个队列记录对应的java对象b. 应用流水号c. 消息消息内容3.3业务流程Asialnfo Linkage 亚信联创其中“反向回执”根据具体应用场景确定是否存在。3.3.1生产者模块外围通过调用组件给出的接口对所需要同步的消息进行优先级处理，并保 存至数据库供消费模块消费。 外围系统接入时，通过接口告知DMQ启动加载配置文件至内存。外围系统请求业务操作，生产者模块根据配置的消息优先级将消息入 库。外围系统调用接口轮询，生产者模块根据配置策略返回消息回执。332消费者模块生产者模块根据业务配置
5、的优先级策略，把请求消息写入到消息队列后， 消费者模块主要做一下操作：消费者模块到消息队列表里，根据消息队列表里的应用类型，消息队列状 态（见队列表）等读取消息队列表的请求消息，并修改消息状态；根据业务并发标识來逻辑判断同一个号码同时做不同的业务操作，业务优 先级的高低，然后消费者模块根据业务队列的优先级和配置的对应权重比 处理不同请求消息，并回执应答给消息队列；AAsialnfo Linkage 亚信联创根据应用类型的单向和双向传递标识，如果消费者模块需要写入回执应答 消息，则把反调响应消息写入消息队列，并修改消息状态。消费者模块还需要考虑到，一次读取消息队列里最大接收数，读取不到消 息，采
6、用什么时间机制继续读取，消费者如果应答超时，应重新读取消息, 以保证消息的正常和正确处理，在接收和发送消息处理中，记录相关情况, 并记入日志。3.4优先级策略设计大致顺序是：消息放入队列T根据业务的优先级配置队列T按照优先级的 处理高低，配置分发策略的权重比，保证优先级高的队列，得到权重相对大的 业务消息分配，比如，缴费，开户，查询三个业务，优先级是由高到低，设置的权重比是 321,当多个请求消息进來，保证优先级高的缴费和依次的开户，查询可以在某 一个时间内比如1分钟按照这个权重比分配來处理。需要建立分发策略配置表或在配置文件里进行队列和权重比的配置，具体 的配置表结构为：(仅作参考)crea
7、te table TD_M_QUEUE_DISTRIBUTE 分发策略配置表(CHANNELTYPEVARCHAR2(30) not null,BUSINESSTYPEVARCHAR2(30) not null,DISTRIBUTEQUEUE VARCHAR2(30) not null,LOADFACTORVARCHAR2(30) not null,TRANSMITQUEUE VARCHAR2(30) not null, VALUE 1VARCHAR2(20),VALUE2VARCHAR2(30),VALUE3VARCHAR2(50)；具体参数可以参考短信平台的表配置内容。3.5数据模型设计3
8、.5.1队列信息表应用标识(1-10个字符)应用类型(0-数据流单向传递，1-数据流双向传递)内部流水号队列名队列优先级消息有效时间(毫秒)(0-直有效，否则具体数值)机密 Asiainfo-Liiikage, Lie.,第 7 页共 13 页2012AAsialnfo Linkage 亚信联创消息消亡方式（1-直接删除，2-移到备份表）业务流水号（如：业务办理流水）业务并发标识（如：号码）消息状态（0-接入写入消息，1-接出取走消息，2-接出回写回执（反向传递），3- 接入取回执（反向传递），4-接入处理完回执，见业务流程时序图）插入时间（tunestamp类型）更新时间（tunestamp
9、类型）请求消息内容（可以为空）返回消息内容（可以为空，反向传递） 预留3.5.2触发器设计用于自动维护己消亡的消息3.5.3序列设计用于标识DMQ内部消息唯一性3.6配置项设计进程启动后，文件配置加载到内存。配置内容如下：8nfigDmq.xml6J0,o191 2n 3 I7P,aoAPPS?89 I10 -11 -1213 E14 I15 E16 1? IS19 -20BAPPNAEOCS. KF应用列表（呦沉个系绕使用了本套dmQ,应用间用逗号分隔）K ParamDesc OCS TAGocs212223242526 应用标识（1-10 个MmTYPEO应用类型（0-歎摇流单向ft逸，1
10、-数据流双向传违） 0VTRTI5fE300000Asialnfo Linkage 亚信联创3.6.1应用列表APPSConf igParam）APPNAMEx/ParamName/OCS, KF应.冃列表（哪几个系统伎冃了本套dmq,应用间用逗号分5） 3.6.2应用标识TAG1QQ13 E叮15 E1617IS19 -20E）21222324 -25 E26272826 -27 E35 El36373S39OCSTAGocs应用标识（ITO个字苻） ParamDescTYPEO应用类型（0-敌綻疣单向伎递，1-敌据疣双向传递ConfigParaa/ OVERT IME 300000消息看效时何（亳杪）（0 宜有效.否则具佐数值）PROCESSl消忌消亡方式（宜接題除，2-移到备份表）ConfigParan）Ql，EUESocs_Ql, ocs_q2 ocs_Q3分配的队列列衣，电逗号分隔AAsialnfo Linkage 亚信联创3.6.3应用类型TYPE3.6.4消息有效时间OVERTIME3.6.5消息消亡方式PROCESS3.6.6分配的队列列表QUEUESQUEUES ocs_qL ocs_q2,
