RocketMQ實(shí)戰(zhàn)(一)

阿里巴巴有2大核心的分布式技術(shù),一個是OceanBase,另一個就是RocketMQ。在實(shí)際項(xiàng)目中已經(jīng)領(lǐng)教過RocketMQ的強(qiáng)大,本人計(jì)劃寫一個RocketMQ實(shí)戰(zhàn)系列,將涵蓋RocketMQ的簡介,環(huán)境搭建,初步使用、API詳解、架構(gòu)分析、管理員集群操作等知識。

What is RocketMQ?

RocketMQ作為一款分布式的消息中間件(阿里的說法是不遵循任何規(guī)范的,所以不能完全用JMS的那一套東西來看它),經(jīng)歷了Metaq1.x、Metaq2.x的發(fā)展和淘寶雙十一的洗禮,在功能和性能上遠(yuǎn)超ActiveMQ。

1.要知道RocketMQ原生就是支持分布式的,而ActiveMQ原生存在單點(diǎn)性。

2.RocketMQ可以保證嚴(yán)格的消息順序,而ActiveMQ無法保證!

3.RocketMQ提供億級消息的堆積能力,這不是重點(diǎn),重點(diǎn)是堆積了億級的消息后,依然保持寫入低延遲!

4.豐富的消息拉取模式(Push or Pull)

Push好理解,比如在消費(fèi)者端設(shè)置Listener回調(diào);而Pull,控制權(quán)在于應(yīng)用,即應(yīng)用需要主動的調(diào)用拉消息方法從Broker獲取消息,這里面存在一個消費(fèi)位置記錄的問題(如果不記錄,會導(dǎo)致消息重復(fù)消費(fèi))。

5.在Metaq1.x/2.x的版本中,分布式協(xié)調(diào)采用的是Zookeeper,而RocketMQ自己實(shí)現(xiàn)了一個NameServer,更加輕量級,性能更好!

6.消息失敗重試機(jī)制、高效的訂閱者水平擴(kuò)展能力、強(qiáng)大的API、事務(wù)機(jī)制等等(后續(xù)詳細(xì)介紹)


初步理解Producer/Consumer Group

ActiveMQ中并沒有Group這個概念,而在RocketMQ中理解Group的機(jī)制很重要。

Group機(jī)制

想過沒有,通過Group機(jī)制,讓RocketMQ天然的支持消息負(fù)載均衡!

比如某個Topic有9條消息,其中一個Consumer Group有3個實(shí)例(3個進(jìn)程 OR 3臺機(jī)器),那么每個實(shí)例將均攤3條消息?。ㄗ⒁釸ocketMQ只有一種模式,即發(fā)布訂閱模式。)


install RocketMQ

RocketMQ的Broker集群部署模式還挺多的,比如單Master模式、多Master模式、多Master多Slave模式(異步復(fù)制)、多Master多Slave模式(同步雙寫)等。明確個概念,RocketMQ Slave不可以寫,可以讀,類似于MySQL的主從機(jī)制。

單Master模式:

無需多言,一旦單個broker重啟或宕機(jī),一切都結(jié)束了!很顯然,線上不可以使用。

多Master模式:

全是Master,沒有Slave。當(dāng)然,一個broker宕機(jī)了,應(yīng)用是無影響的,缺點(diǎn)在于宕機(jī)的Master上未被消費(fèi)的消息在Master沒有恢復(fù)之前不可以訂閱。

多Master多Slave模式(異步復(fù)制):

多對Master-Slave,高可用!采用異步復(fù)制的方式,主備之間短暫延遲,MS級別。Master宕機(jī),消費(fèi)者可以從Slave上進(jìn)行消費(fèi),不受影響,但是Master的宕機(jī),會導(dǎo)致丟失掉極少量的消息。

多Master多Slave模式(同步雙寫):

和上面的區(qū)別點(diǎn)在于采用的是同步方式,也就是在Master/Slave都寫成功的前提下,向應(yīng)用返回成功,可見不論是數(shù)據(jù),還是服務(wù)都沒有單點(diǎn),都非常可靠!缺點(diǎn)在于同步的性能比異步稍低。

這里我將采用2個Master的方式進(jìn)行搭建演示,會了雙Master,其他的將很簡單。(多Master在實(shí)際中也是非常常用的,如果并發(fā)非常大,考慮多Master多Slave模式)

雙Master模式架構(gòu)

在192.168.99.121/122機(jī)器上各一個NameServer、Master進(jìn)程。

以192.168.99.121為例:

第一步,修改/etc/hosts文件

hosts配置


確保相互之間可以ping通

第二步,解壓并創(chuàng)建存儲路徑

tar -xvf alibaba-rocketmq-3.2.6.tar.gz

mkdir -p alibaba-rocketmq/store/{commitlog,consumequeue,index}

第三步,配置文件

broker-x.properties


配置項(xiàng)

上面已經(jīng)將實(shí)際中常用的配置項(xiàng)給出來了!

第四步,修改日志配置文件

注意到logback.*.xml配置文件中:

需要替換${user.name}

可以使用sed進(jìn)行替換:

sed -i 's#${user.home}#/software/alibaba-rocketmq#g' *.xml

第五步,修改啟動腳本中的JVM參數(shù)

vim runbroker.sh/rumserver.sh

注意,在這里我將JVM的堆的初始化和最大大小統(tǒng)一設(shè)置為1G,并將新生代大小設(shè)置為512M。主要是考慮到我的虛擬機(jī)內(nèi)存,實(shí)際上在線上是可以走默認(rèn)的4G堆內(nèi)存的。

第六步,啟動NameServer

nohup sh mqnamesrv &


NameServer


nameserver啟動日志

第七步,啟動broker-X

啟動broker

注意觀察日志:

broker.log


進(jìn)程與端口

第八步:RocketMQ Console

把rocketmq-console.war部署到Tomcat下即可。


解壓WAR包


在解壓WAR包后的CLASS下更改config.properties


好久不見,TOM貓


rocketmq管控臺

這個管控臺實(shí)際上還是比較簡陋的,我們使用比較多的是mqadmin操作命令,后續(xù)會介紹。

OK,到這里,雙Master的搭建已經(jīng)完成了!

本篇博客到此為止,下期再見,晚安!

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容