RocketMQ 架構(gòu)

img

Overview

Apache RocketMQ是一個(gè)具有低延遲、高性能和可靠性、萬(wàn)億級(jí)容量和靈活可伸縮性的分布式消息流和流媒體平臺(tái)。它由四個(gè)部分組成:名稱服務(wù)器、代理(brokers)、生產(chǎn)者和消費(fèi)者。它們的每一個(gè)都可以橫向擴(kuò)展,而不會(huì)出現(xiàn)單點(diǎn)故障。如上圖所示。

命名服務(wù)器集群

名稱服務(wù)器提供輕量級(jí)服務(wù)發(fā)現(xiàn)和路由。每個(gè)名稱服務(wù)器記錄完整的路由信息,提供相應(yīng)的讀寫服務(wù),支持快速存儲(chǔ)擴(kuò)展。

Broker 集群

代理通過(guò)提供輕量級(jí)的TOPICQUEUE機(jī)制來(lái)處理消息存儲(chǔ)。它們支持推(Push)和拉(Pull)模型,包含容錯(cuò)機(jī)制(2個(gè)副本或3個(gè)副本),并通過(guò)在原始的時(shí)間順序中積累以百萬(wàn)的信息,提供強(qiáng)大的峰值和容量填充。此外,代理還提供了災(zāi)難恢復(fù)、豐富的度量數(shù)據(jù)和警報(bào)機(jī)制,這些都是傳統(tǒng)消息傳遞系統(tǒng)中所缺少的。

Producer 集群

生產(chǎn)者支持分布式部署。分布式生產(chǎn)者通過(guò)多種負(fù)載均衡模式將消息發(fā)送到代理集群。發(fā)送過(guò)程支持快速失敗和低延遲。

Consumer 集群

消費(fèi)者也支持在推和拉模型中進(jìn)行分布式部署。它還支持集群消費(fèi)和消息廣播。它提供實(shí)時(shí)消息訂閱機(jī)制,可以滿足大多數(shù)客戶需求。RocketMQ的網(wǎng)站為感興趣的用戶提供了一個(gè)簡(jiǎn)單的快速入門指南。

NameServer

NameServer是一個(gè)功能完備的服務(wù)器,主要包括兩個(gè)特性:

  • Broker 管理,NameServer接受來(lái)自Broker集群的注冊(cè),并提供心跳機(jī)制來(lái)檢查Broker是否還活著。
  • 路由管理,每個(gè)名稱服務(wù)器將保存關(guān)于代理集群的整個(gè)路由信息和客戶查詢的隊(duì)列信息。

如我們所知,RocketMQ客戶端(生產(chǎn)者/消費(fèi)者)將從NameServer查詢隊(duì)列路由信息,但是客戶端如何找到NameServer地址?

有四種方法可以向客戶端提供NameServer地址列表:

  • 編程的方式,如rocketmq.namesrv.addr
  • Java參數(shù),使用rocketmq.namesrv.addr
  • 環(huán)境變量,使用NAMESRV_ADDR
  • HTTP端點(diǎn)

關(guān)于如何找到NameServer地址的更多細(xì)節(jié)請(qǐng)查閱 here.

Broker Server

代理服務(wù)器負(fù)責(zé)消息存儲(chǔ)和投遞、消息查詢、HA保證等等。

正如下圖所示,代理服務(wù)器有一些重要的子模塊:

  • Remoting模塊,代理的入口,處理來(lái)自客戶端的請(qǐng)求。
  • 客戶端管理,管理客戶端(生產(chǎn)者/消費(fèi)者)并維護(hù)消費(fèi)者的主題訂閱。
  • 存儲(chǔ)服務(wù),提供在物理磁盤中存儲(chǔ)或查詢消息的簡(jiǎn)單api。
  • HA服務(wù),提供master broker和slave broker之間的數(shù)據(jù)同步功能。
  • 索引服務(wù),通過(guò)指定的鍵為消息構(gòu)建索引,并提供快速的消息查詢。
img
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容