RocketMQ有哪些特性

共计 3777 个字符，预计需要花费 10 分钟才能阅读完成。

这篇文章主要介绍了 RocketMQ 有哪些特性，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让丸趣 TV 小编带着大家一起了解一下。

一 nameserver
 

相对来说，nameserver 的稳定性非常高。原因有二：

1 nameserver 互相独立，彼此没有通信关系，单台 nameserver 挂掉，不影响其他 nameserver，即使全部挂掉，也不影响业务系统使用，这点类似于 dubbo 的 zookeeper。

2 nameserver 不会有频繁的读写，所以性能开销非常小，稳定性很高。

二 broker
 

1 与 nameserver 关系
 

连接

      单个 broker 和所有 nameserver 保持长连接

心跳

      心跳间隔：每隔 30 秒（
  此时间无法更改）向所有 nameserver 发送心跳，心跳包含了自身的 topic 配置信息。

      心跳超时：nameserver 每隔 10 秒钟（
  此时间无法更改），扫描所有还存活的 broker 连接，若某个连接 2 分钟内（
  当前时间与最后更新时间差值超过 2 分钟，此时间无法更改）没有发送心跳数据，则断开连接。

断开

      时机：broker 挂掉；心跳超时导致 nameserver 主动关闭连接

      动作：一旦连接断开，nameserver 会立即感知，更新 topc 与队列的对应关系，但不会通知生产者和消费者

2 负载均衡
 

一个 topic 分布在多个 broker 上，一个 broker 可以配置多个 topic，它们是多对多的关系。

如果某个 topic 消息量很大，应该给它多配置几个队列，并且尽量多分布在不同 broker 上，减轻某个 broker 的压力。

topic 消息量都比较均匀的情况下，如果某个 broker 上的队列越多，则该 broker 压力越大。

3 可用性
 

    由于消息分布在各个 broker 上，一旦某个 broker 宕机，则该 broker 上的消息读写都会受到影响。所以 rocketmq 提供了 master/slave 的结构，salve 定时从 master 同步数据，如果 master 宕机，则 slave 提供消费服务，但是不能写入消息，此过程对应用透明，由 rocketmq 内部解决。
 

这里有两个关键点：
 

一旦某个 broker master 宕机，生产者和消费者多久才能发现？受限于 rocketmq 的网络连接机制，默认情况下，最多需要 30 秒，但这个时间可由应用设定参数来缩短时间。这个时间段内，发往该 broker 的消息都是失败的，而且该 broker 的消息无法消费，因为此时消费者不知道该 broker 已经挂掉。

消费者得到 master 宕机通知后，转向 slave 消费，但是 slave 不能保证 master 的消息 100% 都同步过来了，因此会有少量的消息丢失。但是消息最终不会丢的，一旦 master 恢复，未同步过去的消息会被消费掉。

4 可靠性
 

所有发往 broker 的消息，有同步刷盘和异步刷盘机制，总的来说，可靠性非常高

同步刷盘时，消息写入物理文件才会返回成功，因此非常可靠

异步刷盘时，只有机器宕机，才会产生消息丢失，broker 挂掉可能会发生，但是机器宕机崩溃是很少发生的，除非突然断电

5 消息清理
 

扫描间隔

      默认 10 秒，由 broker 配置参数
  cleanResourceInterval
  决定
 

空间阈值

      物理文件不能无限制的一直存储在磁盘，当磁盘空间达到阈值时，不再接受消息，broker 打印出日志，消息发送失败，阈值为固定值 85%
 

清理时机

      默认每天凌晨 4 点，由 broker 配置参数
  deleteWhen 决定；或者磁盘空间达到阈值
 

文件保留时长

      默认 72 小时，由 broker 配置参数
  fileReservedTime
  决定
 

6 读写性能
 

文件内存映射方式操作文件，避免 read/write 系统调用和实时文件读写，性能非常高

永远一个文件在写，其他文件在读

顺序写，随机读

利用 linux 的 sendfile 机制，将消息内容直接输出到 sokect 管道，避免系统调用

7 系统特性
 

大内存，内存越大性能越高，否则系统 swap 会成为性能瓶颈

IO 密集

cpu load 高，使用率低，因为 cpu 占用后，大部分时间在 IO WAIT

磁盘可靠性要求高，为了兼顾安全和性能，采用 RAID10 阵列

磁盘读取速度要求快，要求高转速大容量磁盘

三 消费者
 

1 与 nameserver 关系
 

连接

      单个消费者和一台 nameserver 保持长连接，定时查询 topic 配置信息，如果该 nameserver 挂掉，消费者会自动连接下一个 nameserver，直到有可用连接为止，并能自动重连。
 

心跳

与 nameserver 没有心跳
 

轮询时间

默认情况下，消费者每隔 30 秒从 nameserver 获取所有 topic 的最新队列情况，这意味着某个 broker 如果宕机，客户端最多要 30 秒才能感知。该时间由
      DefaultMQPushConsumer 的
      pollNameServerInteval 参数决定，可手动配置。
     

2 与 broker 关系
 

连接

单个消费者和该消费者关联的所有 broker 保持长连接。
 

心跳

默认情况下，消费者每隔 30 秒向所有 broker 发送心跳，该时间由 DefaultMQPushConsumer 的 heartbeatBrokerInterval 参数决定，可手动配置。broker 每隔 10 秒钟（此时间无法更改），扫描所有还存活的连接，若某个连接 2 分钟内（当前时间与最后更新时间差值超过 2 分钟，此时间无法更改）没有发送心跳数据，则关闭连接，并向该消费者分组的所有消费者发出通知，分组内消费者重新分配队列继续消费
 

断开

时机：消费者挂掉；心跳超时导致 broker 主动关闭连接

动作：一旦连接断开，broker 会立即感知到，并向该消费者分组的所有消费者发出通知，分组内消费者重新分配队列继续消费
 

3 负载均衡
 

集群消费模式下，一个消费者集群多台机器共同消费一个 topic 的多个队列，一个队列只会被一个消费者消费。如果某个消费者挂掉，分组内其它消费者会接替挂掉的消费者继续消费。

4 消费机制
 

本地队列

        消费者不间断的从 broker 拉取消息，消息拉取到本地队列，然后本地消费线程消费本地消息队列，只是一个异步过程，拉取线程不会等待本地消费线程，这种模式实时性非常高。对消费者对本地队列有一个保护，因此本地消息队列不能无限大，否则可能会占用大量内存，本地队列大小由
  DefaultMQPushConsumer 的
  pullThresholdForQueue 属性控制，默认 1000，可手动设置
 。
 

轮询间隔

      消息拉取线程每隔多久拉取一次？间隔时间由
  DefaultMQPushConsumer 的
  pullInterval
  属性控制，默认为 0，可手动设置。
 

消息消费数量

      监听器每次接受本地队列的消息是多少条？这个参数由
  DefaultMQPushConsumer 的
  consumeMessageBatchMaxSize
  属性控制，默认为 1，可手动设置。
 

5 消费进度存储
 

      每隔一段时间将各个队列的消费进度存储到对应的 broker 上，该时间由
  DefaultMQPushConsu
  mer 的
  persistConsumerOffsetInterval 属性控制，默认为 5 秒，可手动设置。
 

6 如果一个 topic 在某 broker 上有 3 个队列，一个消费者消费这 3 个队列，那么该消费者和这个 broker 有几个连接？
 

      一个连接，消费单位与队列相关，消费连接只跟 broker 相关，事实上，消费者将所有队列的消息拉取任务放到本地的队列，挨个拉取，拉取完毕后，又将拉取任务放到队尾，然后执行下一个拉取任务
 

四 生产者
 

1 与 nameserver 关系
 

连接

      单个生产者者和一台 nameserver 保持长连接，定时查询 topic 配置信息，如果该 nameserver 挂掉，生产者会自动连接下一个 nameserver，直到有可用连接为止，并能自动重连。
 

轮询时间

默认情况下，生产者每隔 30 秒从 nameserver 获取所有 topic 的最新队列情况，这意味着某个 broker 如果宕机，生产者最多要 30 秒才能感知，在此期间，发往该 broker 的消息发送失败。该时间由 DefaultMQProducer 的 pollNameServerInteval 参数决定，可手动配置。
 

心跳

与 nameserver 没有心跳
 

2 与 broker 关系
 

连接

单个生产者和该生产者关联的所有 broker 保持长连接。
 

心跳

默认情况下，生产者每隔 30 秒向所有 broker 发送心跳，该时间由 DefaultMQProducer 的 heartbeatBrokerInterval 参数决定，可手动配置。broker 每隔 10 秒钟（此时间无法更改），扫描所有还存活的连接，若某个连接 2 分钟内（当前时间与最后更新时间差值超过 2 分钟，此时间无法更改）没有发送心跳数据，则关闭连接。

连接断开

移除 broker 上的生产者信息
 

3 负载均衡
 

      生产者时间没有关系，每个生产者向队列轮流发送消息
 

感谢你能够认真阅读完这篇文章，希望丸趣 TV 小编分享的“RocketMQ 有哪些特性”这篇文章对大家有帮助，同时也希望大家多多支持丸趣 TV，关注丸趣 TV 行业资讯频道，更多相关知识等着你来学习!