图解RocketMQ HA同步原理

1. 图解同步流程

当broker 启动的时候,会创建存储器,并初始化它存储器,在存储器中有个HA服务也会被创建并初始化
在HA服务里有3个组件:

  1. AcceptSocketService组件,是个serverSocket,有个线程监听 broker 监听端口号+1 那个端口号,使用jdk nio 监听accept 事件发生,也就是接受slave broker 连接请求的,创建与slave broker连接的作用。
  2. GroupTransferService 组件,就是个看看消息同步到slave没有
  3. HAClient组件,这个就是slave连接master 的客户端。

在这里插入图片描述
这个时候我们分别启动master broker 与 slave broker ,同时,它们都向namesrv 进行注册,然后namesrv 会返回给它们,它们组的master ,slave地址
在这里插入图片描述
这个时候slave 就是知道master的地址了,然后HAClient这个组件就会连接 master,然后master 的AcceptSocketService组件收到连接请求之后,就会创建一个HAConnection,其实就是个连接。
在这里插入图片描述
这里我们需要停下来解释一下这个HAConnection,这个其实就是slave与master连接(socketChannel, 使用了jdk selector),然后它里面有2个线程,分别是负责读事件线程与写事件线程,一个slave 连接到master 就会建立这么一个HAConnection 对象,然后在HA服务里面有一个集合维护着一堆HAConnection连接对象
在这里插入图片描述
建立好连接之后,其实slave 就要给master 发送消息了,告诉master 自己commitlog最大offset 是啥,告诉master 下次你要给我从这个offset 开始发。然后master的HAConnection里面的负责读事件的线程收到 slave给自己的offset 后,就告诉 这个写线程slave下次想要从这个offset 开始的数据,也就是你写线程下次给slave同步的时候从这个offset开始,写线程收到后,就会从这个offset 开始commitlog取数据,最多取32k数据,有个消息头,12字节,分别是这次从哪个offset 开始,带着多少数据,将消息头跟数据一块就写出去了,同时更新下本地维护的一个下次开始的offset的变量(其实就这次offset+消息长度)
在这里插入图片描述
slave 收到后,开始处理了,把开始12个字节取出来,然后看看开始offset 能不能与我最大的那个对上,接着就是取出数据长度,看看剩下的数据还够不够取,不够取就再等等,下次再来走这个过程取,如果够的话,就取出来,追加到自己的commitlog中。追加完成后就发个消息告诉master我本地的offset 是多少了(其实就是个ack,告诉master你发我的消息收到了)
在这里插入图片描述
到这,数据的同步流程差不多就这个样子了,其实就算是master与slave的数据一致了,没啥可同步的了,master也会每5s发一次那个消息头,带上从哪个offset 开始,然后size是0,slave 每次收到消息,都会更新一下本地维护的时间戳,不管这次有没有数据,只要头完整就行,slave 也会检查这个时间戳,超过20s更新就会任务master挂了,就会断开连接,重新与master 建立连接,其实就是心跳机制。
好了,消息同步过程就结束了,接下来就看看消息生产者往broker 发一个消息,master与slave 是怎么同步的

2.图解怎样判断同步ok的

当producer 发送一个消息给broker ,broker 收到消息会进行一堆校验,然后交给commitlog 进行处理,写入commitlog之后,就会进行刷盘的处理,接着就是ha同步, 如果你broker 是SYNC_MASTER ,也就是同步,然后发送的消息也是同步消息,这个时候就要等着消息同步到slave,它就封装一个确认请求,里面带着要确认的offset(这个offset就是消息在commitlog中起始offset+消息大小),交给HA服务,然后HA服务交给这个GroupTransferService组件,接着GroupTransferService组件就不停的刷slave同步返回的那个ack,看看slave 确认的那个offset是不是大于等于你要确认的offset,刷5次,每次间隔1s,最后将结果返回给告诉提交任务的那个线程。
在这里插入图片描述

已标记关键词 清除标记
课程简介: 历经半个多月的时间,Debug亲自撸的 “企业员工角色权限管理平台” 终于完成了。正如字面意思,本课程讲解的是一个真正意义上的、企业级的项目实战,主要介绍了企业级应用系统中后端应用权限的管理,其中主要涵盖了六大核心业务模块、十几张数据库表。 其中的核心业务模块主要包括用户模块、部门模块、岗位模块、角色模块、菜单模块和系统日志模块;与此同时,Debug还亲自撸了额外的附属模块,包括字典管理模块、商品分类模块以及考勤管理模块等等,主要是为了更好地巩固相应的技术栈以及企业应用系统业务模块的开发流程! 核心技术栈列表: 值得介绍的是,本课程在技术栈层面涵盖了前端和后端的大部分常用技术,包括Spring Boot、Spring MVC、Mybatis、Mybatis-Plus、Shiro(身份认证与资源授权跟会话等等)、Spring AOP、防止XSS攻击、防止SQL注入攻击、过滤器Filter、验证码Kaptcha、热部署插件Devtools、POI、Vue、LayUI、ElementUI、JQuery、HTML、Bootstrap、Freemarker、一键打包部署运行工具Wagon等等,如下图所示: 课程内容与收益: 总的来说,本课程是一门具有很强实践性质的“项目实战”课程,即“企业应用员工角色权限管理平台”,主要介绍了当前企业级应用系统中员工、部门、岗位、角色、权限、菜单以及其他实体模块的管理;其中,还重点讲解了如何基于Shiro的资源授权实现员工-角色-操作权限、员工-角色-数据权限的管理;在课程的最后,还介绍了如何实现一键打包上传部署运行项目等等。如下图所示为本权限管理平台的数据库设计图: 以下为项目整体的运行效果截图: 值得一提的是,在本课程中,Debug也向各位小伙伴介绍了如何在企业级应用系统业务模块的开发中,前端到后端再到数据库,最后再到服务器的上线部署运行等流程,如下图所示:
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页