《理想分布式消息中间件产品方案》由会员分享，可在线阅读，更多相关《理想分布式消息中间件产品方案（19页珍藏版）》请在金锄头文库上搜索。
1、理想分布式消息中间件目录企业应用的数据传输1消息中间件的核心价值2理想消息中间件简介3理想消息中间件产品优势4理想消息中间件的应用场景51企业日常有大量数据需要跨平台传输，底层传输处理需要投入大量人力2企业应用需要进行跨平台，跨语言的数据传输3企业应用在数据传输过程中需要确保消息的可靠性，不允许丢失消息4企业应用的数据交换和传输有着非常高的性能要求5企业应用的数据传输要求有比较高的可用性，出现单点故障不影响数据传输6企业应用要求消息传输系统可以灵活高效的进行扩展，满足多种场景的数据传 输需求企业应用的数据传输面临的问题采用消息中间件，应用系统的建 设费用至少可以减少 50%缩短应用开发周期节约
2、应用开发成本简化应用集成减少维护费用提升数据传输的效率提升系统的扩展性为什么需要使用消息中间件企业应用的数据传输1消息中间件的核心价值2理想消息中间件简介3理想消息中间件产品优势4理想消息中间件的应用场景5目录屏蔽异构平台的细节1支持异步传输具备消息堆积能力2系统解耦3复用一次发送多次消费4提高系统处理效率5消息中间件的核心价值企业应用的数据传输1消息中间件的核心价值2理想消息中间件简介3理想消息中间件产品优势4理想消息中间件的应用场景5目录理想分布式消息中间件是自主研发的，实现低成本、高可靠、高性能和具备监控运维能力的一款消息 中间件产品。它广泛应用于电信的CRM和计费系统，是经过中国电信验
3、证的电信级别产品理想分布式消息中间件简介Produer集群配置中心集群监控管理集群Consumer集群消息存储 集群Broker Master1Broker Slave1Broker Master2Broker Slave2配置节点：是一个几乎无状态节点，可集群 部署，节点之间无同步信息。它主要提供 broker注册、Topic路由管理等功能。消息存储节点：提供消息存储、生产、消费， 主从同步、数据刷盘等核心功能。可以横向 扩展、在线扩容以提高集群性能。生产节点：一般为应用调用API进行消息生 产，完全无状态，可集群部署。消费节点：一般为应用调用API进行消息消 费，完全无状态，可集群部署。监
4、控管理节点：监控和管理消息存储结点。 同时提供自动主备切换、服务自动拉起和消 息轨迹查询等功能。消息处理运行控制监控和管理管理中心采集中心消息轨迹消息存储消息存储引擎队列存储引擎状态存储引擎数据同步引擎过载保护配置中心监控预警权限控制消息生产服务消息消费服务消息 持久化路由服务事务控制分布式 调度集群消费广播消费消息重发消息查询HA应用 生产者应用 消费者无序生产消息重发有序生产队列查询消息签收消息回溯权限验证队列监听消费状态查询消费位置设置理想分布式消息中间件总体架构企业应用的数据传输1消息中间件的核心价值2理想消息中间件简介3理想消息中间件产品优势4理想消息中间件的应用场景5目录支持同步刷
5、盘和异步刷盘二种持久化模式支持同步复制和异步复制二种策略，保证消息的可靠性支持有序生产和无序生产二种生产模式支持PULL主动拉取和PUSH被动接收二种消费方式支持有序消费和无序消费二种消费模式支持快速消费和严格消费二种消费机制生产者、消费者和消息存储均为分布式，容易扩展。支持group commit，提升数据可靠性和吞吐量。普通节点每秒也能达到上万TPS无单点故障，出现多点故障时也丌影响可用性理想分布式消息中间件关键特性消费方式生产模式复制策略持久化模式消费模式消费机制分布式高吞吐高可用支持分布式事务消息，可通过分布式事务消息实现分布式事务事务支持完全自主研发，可根据业务场景定制化个性版本。运
6、维工具丰富，操作方便。可定制化网络异常：提供消息拉取和签收的滑动窗口机制，消息拉取失败时会重新进行推送消费端异常：消费者重启或故障造成部分拉到的消息没有被消费，未签收的消息会自动推送到其他消费者机器掉电：提供同步刷盘机制，消息发送成功时保证消息写到磁盘上磁盘损坏：提供HA同步复制机制，消息发送成功时，保证消息存储到二个或以上的机器上发送失败：进行消息重发网络异常超时：通过Key到对应队列上查询消息是否发送成功，如果确定发送失败，进行消息重发消 费存 储发 送消息零丢失消息传输消息传输消息投递消息投递消息清除消息清除消息存储01 消息存储高可靠提供同步刷盘和异步刷盘二种持久化机制，消息存储采用先
7、写WAL日志，再生成消费队列 和索引的机制 提供同步复制和异步复制二种复制策略，消息多副本存储 消息存储节点自动failover02 消息传输高可靠多种ack机制的运用 (1)发送消息时通过生成消息ID返回给生产者进行ack确讣发送是否成功 (2)消息同步时通过WAL日志的物理偏移量进行ack确讣同步是否成功 (3)消费者拉取消息消费时通过队列的逡辑偏移量信息ack确定是否成功拉取消息 数据CRC校验：消息存储收到发送消息时，通过CRC校验消息数据是否损坏 03 消息投递高可靠生产者发送到消息存储节点，消息存储成功后才返回客户端生产成功 消费者消费完消息后，需要进行消息签收，只有签收成功，才讣
8、为消息被消费完毕04 消息删除策略在磁盘快满时，通过自动删除过期数据保证系统的平稳运行 当磁盘快满又无过期数据清除时，通过阻止消息继续写入保证系统可靠性数据高可靠Broker组 消息存储节点broker单点故障(1)从broker宕机，对应broker组切换为异步复制模式，对生产和消费没有仸何影响(2)主broker宕机，将从broker组中自动选择数据最全的一个从broker为新的master，同时修改主从复制关系。(3)对亍宕掉的机器通过监控手段发现后人工重启便会自动的同步宕机过程中滞后亍同组节点的数据，直到追上最新数据为止。 消息存储节点对应组所有broker全部故障消息生产者和消费会自
9、动进行负载均衡，实现Failover，保证某一组服务在全挂的情况下，丌影响整体业务。 监控和管理节点故障(1)监控管理节点可冗余部署，一个故障后另外一个启用(2)监控和管理故障后丌影响消息中间的生产和消费，通过监控手段恢复即可。主主从从clientclientclient切换为新主生产者Broker组 BQ3Q4Broker组 AQ1Q2Broker组 CQ5Broker组B中的broker全部故 障后，生产者将重新进行负载均 衡，将需要发给Broker组B的消 息发送到Broker组A和C1.主broker故障2.某个Broker组中的broker全部故障服务高可用 消费消息过程使用了mma
10、p+write方式零拷贝技术 可自定义批量拉取的条数，通过一次拉取多条消息以减少网络交互的次数提升消费端性能 数据优先从缓存获取，只有缓存没有命中的情况才访问磁盘 多队列并行消费提高性能数据堆积能力：亿条2k大小消息堆积，生产消费性能影响10%最高可靠保障模式，单主备TPS 2.5(万条/s)最低可靠保障模式，单机最大TPS 16.7(万条/s)生产平均响应时间，1KB消息体 1ms，128KB消息体 3ms集群扩展系数 = 0.92，性能随节点个数线性增长 将消息内容顺序写入WAL日志，再通过WAL日志异步生成消息存储的其他数据文件。WAL日志写入成功，就算消息生产成功，数据在磁盘上存储代价
11、为O(1) 多线程方式写入消息。写入消息时先写入缓存，然后通过批量提交和批量同步的技术将缓存数据写入磁盘和从节点生产高性能消费高性能关键性能指标高性能高堆积企业应用的数据传输1消息中间件的核心价值2理想消息中间件简介3理想消息中间件产品优势4理想消息中间件的应用场景5目录MSS 理想分布式消息中间件在电信CRM和计费系统中的具体应用利用理想消息中间件作为档案查询的延迟队列提升查询处理效率利用理想消息中间件订阅-消费的特性做档案资料和调度仸务的转发，一次发送多次消费。利用理想消息中间进行新旧系统或异构系统的数据同步将应用产生日志异步发送到理想分布式消息中间件，然后进行实时计算和离线分析。档案分组
12、迁移解耦，通过理想消息中间件完成档案分组迁移过程中各个组件的处理流程控制。通过理想消息中间件的分布式事务能力完成交易处理。通过理想消息中间件完成事件通知和消息推送服务。OSSBSSCRM系统计费系统理想分布式消息中间件异构系统数据同步应用日志同步档案分组迁移解耦事件通知和消息推送档案查询的延迟队列档案资料和调度仸务 转发理想分布式消息中间件在电信典型应用场景 理想分布式消息中间件构建数据源不 大数据处理系统之间的桥梁，将数据 处理系统同数据源解耦 理想分布式消息中间件具有高性能易 扩展的优良特性，能为大数据的实时 计算提供很好的性能支持。 理想消息中间件具备日接入万亿级别 消息的能力，能起到很好的缓存和缓 冲作用，能避免传统大数据架构因系 统繁忙或故障导致的处理阻塞或消息 丢失等问题。大数据平台离线计算实时计算精准推荐应用数据在线 消息离线 文件日志理想分布式消息中间件消息缓存 和存储消息 消费者订阅分发消息分练消息 生产者数据采集格式适配消息生产理想分布式消息中间件大数据行业应用场景谢 谢！上海理想信息产业（集团）有限公司上海理想信息产业（集团）有限公司 广州研发中心广州研发中心
