RocketMQ 架構(gòu)

RocketMQ Architecture 譯文

概述

Apache RocketMQ是一個(gè)低延時(shí)、高性能、可靠的分布式消息流平臺(tái),它具有兆級(jí)容量和靈活擴(kuò)展性的特點(diǎn)。它包括四個(gè)部分:name servers, brokers, producers and consumers。每個(gè)部分都能水平擴(kuò)展以避免單點(diǎn)故障。


image.png

Name Server 集群

Name Servers 提供輕量級(jí)的服務(wù)發(fā)現(xiàn)和路由功能。每個(gè)Name Server記錄全部的路由信息,提供相應(yīng)的讀寫(xiě)服務(wù),支持快速存儲(chǔ)擴(kuò)展。

Broker 集群

Broker 集群通過(guò)TOPIC和QUEUE機(jī)制實(shí)現(xiàn)消息存儲(chǔ)功能。Broker支持Push和Pull兩種模式,容錯(cuò)機(jī)制(2到3個(gè)備份),和短時(shí)間內(nèi)應(yīng)對(duì)成百上千億消息的強(qiáng)大的削峰填谷功能。另外,Broker還支持災(zāi)難恢復(fù),豐富的統(tǒng)計(jì)指標(biāo)等等一系列在傳統(tǒng)消息系統(tǒng)中缺乏的可選機(jī)制。

Producer 集群

Producer支持分布式部署。分布式的Producers通過(guò)多路負(fù)載均衡模式向Broker集群發(fā)送消息。發(fā)送程序支持快速失敗和低延時(shí)。

Consumer 集群

Consumer同樣支持分布式部署,而且支持Push和Pull兩種模式。它還支持集群消費(fèi)和消息廣播。同時(shí)提供實(shí)時(shí)消息訂閱以滿足更多消費(fèi)需求。

push: Broker向Consumer推送消息,有可能將消費(fèi)者壓垮
pull: Consumer主動(dòng)向Broker拉取消息

Name Server

Name Server是一個(gè)功能完備的服務(wù)器,它只要有兩個(gè)功能:

  • Broker 管理。Name Server接收Broker集群注冊(cè),并且提供心跳機(jī)制檢測(cè)Broker是否存活。
  • 路由管理。每個(gè)Name Server都有完整的Broker路由信息和隊(duì)列信息,供客戶端查詢

眾所周知,RocketMQ的客戶端(Producer/Consumer)在Name Server上查詢隊(duì)列路由信息,但是客戶端怎么發(fā)現(xiàn)Name Server地址呢?

以下有四種方式:

  • 編程方式,像 producer.setNamesrvAddr("ip:port")
  • java 參數(shù),用 rocketmq.namesrv.addr
  • 環(huán)境變量,用NAMESRV_ADDR
  • HTTP 接口

更多詳情請(qǐng)點(diǎn)擊這里.

Broker Server

Broker 負(fù)責(zé)消息的存儲(chǔ)、分發(fā)、查詢以及高可用保證(防丟)等等。
Broker有以下幾個(gè)重要模塊:

  • 遠(yuǎn)程模塊,broker的入口,處理客戶端請(qǐng)求
  • 客戶端管理,管理客戶端和維持Consumer Topic訂閱
  • 存儲(chǔ)服務(wù),提供簡(jiǎn)單的API落地消息以及從磁盤(pán)查詢數(shù)據(jù)
  • 高可用服務(wù)(HA),在Broker Server之前同步數(shù)據(jù)
  • 索引服務(wù),通過(guò)特殊key給消息建立索引,提供快速的消息查詢。
image
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容