一文看懂RocketMQ的顺序消息、重复消息、事务消息和消息存储

JAVA herman 212浏览
公告:“业余草”微信公众号提供免费CSDN下载服务(只下Java资源),关注业余草微信公众号,添加作者微信:xttblog,发送下载链接帮助你免费下载!
本博客日IP超过1800,PV 2600 左右,急需赞助商。
极客时间所有课程通过我的二维码购买后返现24元微信红包,请加博主新的微信号:xttblog,之前的微信号好友位已满,备注:返现
所有面试题(java、前端、数据库、springboot等)一网打尽,请关注文末小程序
视频教程免费领

在分布式大肆流行的趋势下,MQ 也成了面试中不可缺少的一部分。懂 MQ,会 MQ 往往能给自己加分。相反,则可能意外被淘汰!

今天,乘着难得的空闲机会,我给大家简单总结一下,RocketMQ的顺序消息、重复消息、事务消息和消息存储。希望能够对大家有所帮助!

顺序消息:顾名思义,就是要保证需要按顺序消费的消息集发送到同一消息队列,同时消费消息成功后给予回执。

消息生产端发送消息的时候实现指定消息队列方法[把订单号取了做了一个取模运算再丢到 selector 中,selector 保证同一个模的都会投递到同一条 queue。

RocketMQ的顺序消息

即:相同订单号的 –> 有相同的模 –> 有相同的 queue。

RocketMQ 的顺序消息

重复消息主要靠业务端实现。消费端处理消息的业务逻辑保持幂等性,保证每条消息都有唯一编号且保证消息处理成功与去重表的日志同时出现。

事务消息,要分别在发送端和订阅端配合处理。发送端:

  • 第一阶段发送Prepared消息时,会拿到消息的地址
  • 第二阶段执行本地事物
  • 第三阶段通过第一阶段拿到的地址去访问消息,并修改消息的状态。定期扫描消息集群中的事物消息,处理Prepared消息向发送端确认并根据发送端策略处理消息

订阅端:业务在事务里实现消息处理,通过重试解决处理失败的消息问题,一直失败人工解决。

RocketMQ 的消息存储是由 consume queue 和 commit log 配合完成的。

consume queue 是消息的逻辑队列,相当于字典的目录,用来指定消息在物理文件 commit log 上的位置。

根据 topic 和 queueId 来组织文件,图中TopicA有两个队列0,1,那么TopicA和QueueId=0组成一个ConsumeQueue,TopicA和QueueId=1组成另一个ConsumeQueue。

ConsumeQueue 存储:CommitLog Offset是指这条消息在 Commit Log 文件中的实际偏移量,Size 存储中消息的大小。

Message Tag HashCode 存储消息的 Tag 的哈希值:主要用于订阅时消息过滤(订阅时如果指定了 Tag,会根据 HashCode 来快速查找到订阅的消息)。

按照消费端的 GroupName 来分组重试队列,如果消费端消费失败,消息将被发往重试队列中。

按照消费端的 GroupName 来分组死信队列,如果消费端消费失败,并重试指定次数后,仍然失败,则发往死信队列。

Commit Log:消息存放的物理文件,每台 broker 上的 commit log 被本机所有的 queue 共享,不做任何区分。

MQ 的设计和源码还是很值得我们去深入学习的。包括它的一些索引结构,多 Master,集群部署,负载均衡,消息过滤等都应该是我们学习的重点,这对我们每个人的成长都会有所帮助!

业余草公众号

最后,欢迎关注我的个人微信公众号:业余草(yyucao)!可加QQ1群:135430763(2000人群已满),QQ2群:454796847(已满),QQ3群:187424846(已满)。QQ群进群密码:xttblog,想加微信群的朋友,之前的微信号好友已满,请加博主新的微信号:xttblog,备注:“xttblog”,添加博主微信拉你进群。备注错误不会同意好友申请。再次感谢您的关注!后续有精彩内容会第一时间发给您!原创文章投稿请发送至532009913@qq.com邮箱。商务合作可添加助理微信进行沟通!

本文原文出处:业余草: » 一文看懂RocketMQ的顺序消息、重复消息、事务消息和消息存储