在項(xiàng)目迭代的過(guò)程中，不可避免需要進(jìn)行項(xiàng)目上線。上線對(duì)應(yīng)著部署或者重新部署，部署對(duì)應(yīng)著修改，修改則意味著風(fēng)險(xiǎn)。

目前有很多用于部署的技術(shù)，有的簡(jiǎn)單，有的復(fù)雜，有的得停機(jī)，有的不需要停機(jī)即可完成部署。本文將對(duì)目前常用的部署方案做一個(gè)簡(jiǎn)單的總結(jié)。

藍(lán)綠發(fā)布（Blue/Green Deployment）

定義

藍(lán)綠部署是不停老版本，部署新版本然后進(jìn)行測(cè)試。確認(rèn)OK后將流量切到新版本，然后老版本同時(shí)也升級(jí)到新版本。

特點(diǎn)

藍(lán)綠部署無(wú)需停機(jī)，并且風(fēng)險(xiǎn)較小。

部署過(guò)程

部署版本 1 的應(yīng)用（初始的狀態(tài)）

所有外部請(qǐng)求的流量都打到這個(gè)版本上。

部署版本 2 的應(yīng)用

版本 2 的代碼與版本 1 不同(新功能、Bug修復(fù)等)。

將流量從版本 1 切換到版本 2。

如版本 2 測(cè)試正常，就刪除版本 1 正在使用的資源（例如實(shí)例），從此正式用版本 2。

小結(jié)

從過(guò)程不難發(fā)現(xiàn)，在部署的過(guò)程中，我們的應(yīng)用始終在線。并且新版本上線的過(guò)程中，并沒(méi)有修改老版本的任何內(nèi)容，在部署期間，老版本的狀態(tài)不受影響，這樣風(fēng)險(xiǎn)很小。并且只要老版本的資源不被刪除，理論上，我們可以在任何時(shí)間回滾到老版本。

藍(lán)綠發(fā)布的注意事項(xiàng)

當(dāng)你切換到藍(lán)色環(huán)境時(shí)，需要妥當(dāng)處理未完成的業(yè)務(wù)和新的業(yè)務(wù)。如果你的數(shù)據(jù)庫(kù)后端無(wú)法處理，會(huì)是一個(gè)比較麻煩的問(wèn)題。

可能會(huì)出現(xiàn)需要同時(shí)處理微服務(wù)架構(gòu)應(yīng)用和傳統(tǒng)架構(gòu)應(yīng)用的情況，如果在藍(lán)綠部署中協(xié)調(diào)不好這兩者，還是有可能會(huì)導(dǎo)致服務(wù)停止。

需要提前考慮數(shù)據(jù)庫(kù)與應(yīng)用部署同步遷移/回滾的問(wèn)題。

藍(lán)綠部署需要有基礎(chǔ)設(shè)施支持。

在非隔離基礎(chǔ)架構(gòu)（ VM 、 Docker 等）上執(zhí)行藍(lán)綠部署，藍(lán)色環(huán)境和綠色環(huán)境有被摧毀的風(fēng)險(xiǎn)。

優(yōu)勢(shì)和不足

優(yōu)勢(shì)

升級(jí)切換和回退速度非?？臁?/p>

不足

切換是全量的，如果 V2 版本有問(wèn)題，則對(duì)用戶體驗(yàn)有直接影響。

需要兩倍機(jī)器資源。

適用場(chǎng)合

對(duì)用戶體驗(yàn)有一定容忍度的場(chǎng)景。

機(jī)器資源有富余或者可以按需分配（AWS 云，或自建容器云）。

灰度發(fā)布

定義

灰度發(fā)布是指在黑與白之間，能夠平滑過(guò)渡的一種發(fā)布方式。AB Test 就是一種灰度發(fā)布方式，讓一部分用戶繼續(xù)用 A，一部分用戶開(kāi)始用 B，如果用戶對(duì) B 沒(méi)有什么反對(duì)意見(jiàn)，那么逐步擴(kuò)大范圍，把所有用戶都遷移到 B 上面來(lái)。灰度發(fā)布可以保證整體系統(tǒng)的穩(wěn)定，在初始灰度的時(shí)候就可以發(fā)現(xiàn)、調(diào)整問(wèn)題，以保證其影響度。

灰度發(fā)布結(jié)構(gòu)圖

A/B Testing

A/B 測(cè)試是用來(lái)測(cè)試應(yīng)用功能表現(xiàn)的方法，例如可用性、受歡迎程度、可見(jiàn)性等等。 A/B 測(cè)試通常用在應(yīng)用的前端上，不過(guò)當(dāng)然需要后端來(lái)支持。

A/B 測(cè)試與藍(lán)綠部署的區(qū)別在于， A/B 測(cè)試目的在于通過(guò)科學(xué)的實(shí)驗(yàn)設(shè)計(jì)、采樣樣本代表性、流量分割與小流量測(cè)試等方式來(lái)獲得具有代表性的實(shí)驗(yàn)結(jié)論，并確信該結(jié)論在推廣到全部流量可信；藍(lán)綠部署的目的是安全穩(wěn)定地發(fā)布新版本應(yīng)用，并在必要時(shí)回滾。

金絲雀發(fā)布

我們平常所說(shuō)的金絲雀部署也是灰度發(fā)布的一種方式，在原有版本可用的情況下，同時(shí)部署一個(gè)新版本應(yīng)用作為「金絲雀」服務(wù)器來(lái)測(cè)試新版本的性能和表現(xiàn)，以保障整體系統(tǒng)穩(wěn)定的情況下，盡早發(fā)現(xiàn)、調(diào)整問(wèn)題。

礦井中的金絲雀：17 世紀(jì)，英國(guó)礦井工人發(fā)現(xiàn)，金絲雀對(duì)瓦斯這種氣體十分敏感?？諝庵心呐掠袠O其微量的瓦斯，金絲雀也會(huì)停止歌唱；當(dāng)瓦斯含量超過(guò)一定限度時(shí)，雖然魯鈍的人類毫無(wú)察覺(jué)，金絲雀卻早已毒發(fā)身亡。當(dāng)時(shí)在采礦設(shè)備相對(duì)簡(jiǎn)陋的條件下，工人們每次下井都會(huì)帶上一只金絲雀作為瓦斯檢測(cè)指標(biāo)，以便在危險(xiǎn)狀況下緊急撤離。

灰度發(fā)布／金絲雀發(fā)布由以下幾個(gè)步驟組成：

準(zhǔn)備好部署各個(gè)階段的工件，包括：構(gòu)建工件，測(cè)試腳本，配置文件和部署清單文件。

從負(fù)載均衡列表中移除掉「金絲雀」服務(wù)器。

升級(jí)「金絲雀」應(yīng)用（排掉原有流量并進(jìn)行部署）。

對(duì)應(yīng)用進(jìn)行自動(dòng)化測(cè)試。

將「金絲雀」服務(wù)器重新添加到負(fù)載均衡列表中（連通性和健康檢查）。

如果「金絲雀」在線使用測(cè)試成功，升級(jí)剩余的其他服務(wù)器（否則就回滾）。

除此之外灰度發(fā)布還可以設(shè)置路由權(quán)重，動(dòng)態(tài)調(diào)整不同的權(quán)重來(lái)進(jìn)行新老版本的驗(yàn)證。

優(yōu)勢(shì)和不足

優(yōu)勢(shì)

用戶體驗(yàn)影響小，灰度發(fā)布過(guò)程出現(xiàn)問(wèn)題只影響少量用戶。

不足

發(fā)布自動(dòng)化程度不夠，發(fā)布期間可引發(fā)服務(wù)中斷。

滾動(dòng)發(fā)布（Rolling Update Deployment）

在金絲雀發(fā)布基礎(chǔ)上的進(jìn)一步優(yōu)化改進(jìn)，是一種自動(dòng)化程度較高的發(fā)布方式，用戶體驗(yàn)比較平滑，是目前成熟型技術(shù)組織所采用的主流發(fā)布方式。

定義

滾動(dòng)發(fā)布：一般是取出一個(gè)或者多個(gè)服務(wù)器停止服務(wù)，執(zhí)行更新，并重新將其投入使用。周而復(fù)始，直到集群中所有的實(shí)例都更新成新版本。

特點(diǎn)

這種部署方式相對(duì)于藍(lán)綠部署，更加節(jié)約資源——它不需要運(yùn)行兩個(gè)集群、兩倍的實(shí)例數(shù)。我們可以部分部署，例如每次只取出集群的 20% 進(jìn)行升級(jí)。

部署過(guò)程

滾動(dòng)式發(fā)布一般先發(fā) 1 臺(tái)，或者一個(gè)小比例，如 2% 服務(wù)器，主要做流量驗(yàn)證用，類似金絲雀 (Canary) 測(cè)試。

滾動(dòng)式發(fā)布需要比較復(fù)雜的發(fā)布工具和智能 LB，支持平滑的版本替換和流量拉入拉出。

每次發(fā)布時(shí)，先將老版本 V1 流量從 LB 上摘除，然后清除老版本，發(fā)新版本 V2，再將 LB 流量接入新版本。這樣可以盡量保證用戶體驗(yàn)不受影響。

一次滾動(dòng)式發(fā)布一般由若干個(gè)發(fā)布批次組成，每批的數(shù)量一般是可以配置的（可以通過(guò)發(fā)布模板定義）。例如第一批 1 臺(tái)（金絲雀），第二批 10%，第三批 50%，第四批 100%。每個(gè)批次之間留觀察間隔，通過(guò)手工驗(yàn)證或監(jiān)控反饋確保沒(méi)有問(wèn)題再發(fā)下一批次，所以總體上滾動(dòng)式發(fā)布過(guò)程是比較緩慢的 (其中金絲雀的時(shí)間一般會(huì)比后續(xù)批次更長(zhǎng)，比如金絲雀 10 分鐘，后續(xù)間隔 2 分鐘)。

回退是發(fā)布的逆過(guò)程，將新版本流量從 LB 上摘除，清除新版本，發(fā)老版本，再將 LB 流量接入老版本。和發(fā)布過(guò)程一樣，回退過(guò)程一般也比較慢的。

優(yōu)勢(shì)和不足

優(yōu)勢(shì)

用戶體驗(yàn)影響小，體驗(yàn)較平滑。

不足

發(fā)布和回退時(shí)間比較緩慢。

發(fā)布工具比較復(fù)雜，LB 需要平滑的流量摘除和拉入能力。

其它發(fā)布方式

上述都是偏傳統(tǒng)的發(fā)布方式，能覆蓋大部分應(yīng)用發(fā)布場(chǎng)景。針對(duì)一些關(guān)鍵新功能的上線發(fā)布，或者一些特定的場(chǎng)景，還有一些特殊的發(fā)布方式。

功能開(kāi)關(guān)發(fā)布

利用代碼中的功能開(kāi)關(guān)（Feature Flag/Toggle/Switch）來(lái)控制發(fā)布邏輯，一般不需要復(fù)雜的發(fā)布工具和智能 LB 配合，是一種相對(duì)比較低成本和簡(jiǎn)單的發(fā)布方式。這種方式也是支持現(xiàn)代 DevOps 理念，研發(fā)人員可以靈活定制和自助完成的發(fā)布方式。功能開(kāi)關(guān)的原理如下圖所示：

部署過(guò)程

功能開(kāi)關(guān)發(fā)布需要一個(gè)配置中心或者開(kāi)關(guān)中心這樣的服務(wù)支持，例如攜程的 Apollo 配置中心或者開(kāi)源的 FF4J，這些都支持開(kāi)關(guān)發(fā)布。業(yè)界還有專門的功能開(kāi)關(guān) SaaS 服務(wù)，例如 LaunchDarkly。通過(guò)配置中心，運(yùn)維或研發(fā)人員可以在運(yùn)行期動(dòng)態(tài)配置功能開(kāi)關(guān)的值。當(dāng)然，功能開(kāi)關(guān)發(fā)布只是配置中心的一種使用場(chǎng)景，配置中心還能支持其它很多動(dòng)態(tài)配置場(chǎng)景。

功能開(kāi)關(guān)服務(wù)一般提供客戶端 SDK，方便開(kāi)發(fā)人員集成。在運(yùn)行期，客戶端 SDK 會(huì)同步最新的開(kāi)關(guān)值，技術(shù)實(shí)現(xiàn)有推方式 (push)，也有拉方式 (pull)，或者推拉結(jié)合方式。

新功能（V2 new feature）和老功能（V1 old feature）住在同一套代碼中，新功能隱藏在開(kāi)關(guān)后面，如果開(kāi)關(guān)沒(méi)有打開(kāi)，則走老代碼邏輯，如果開(kāi)關(guān)打開(kāi)，則走新代碼邏輯。技術(shù)實(shí)現(xiàn)上可以理解為一個(gè)簡(jiǎn)單的 if/else 邏輯。

應(yīng)用上線后，開(kāi)關(guān)先不打開(kāi)，然后運(yùn)維或研發(fā)人員通過(guò)開(kāi)關(guān)中心打開(kāi)新功能，經(jīng)過(guò)流量驗(yàn)證新功能沒(méi)有問(wèn)題，則發(fā)布完成；如果有問(wèn)題，則隨時(shí)可以通過(guò)開(kāi)關(guān)中心切回老功能邏輯。

優(yōu)勢(shì)和不足

優(yōu)勢(shì)

升級(jí)切換和回退速度非?？臁?/p>

相對(duì)于復(fù)雜的發(fā)布工具，實(shí)施比較簡(jiǎn)單，成本相對(duì)低廉。

研發(fā)能夠靈活定制發(fā)布邏輯，支持 DevOps 自助發(fā)布。

不足

切換是全量的，如果 V2 版本有問(wèn)題，則對(duì)用戶體驗(yàn)有直接影響。

對(duì)代碼有侵入，代碼邏輯會(huì)變復(fù)雜，需要定期清理老版本邏輯，維護(hù)成本變高。

影子測(cè)試

對(duì)于一些涉及核心業(yè)務(wù)的遺留系統(tǒng)的升級(jí)改造，為了確保萬(wàn)無(wú)一失，有一種稱為影子測(cè)試的大招，采用比較復(fù)雜的流量復(fù)制、回放和比對(duì)技術(shù)實(shí)現(xiàn)。下面是影子測(cè)試的一個(gè)樣例架構(gòu)圖：

部署過(guò)程

影子測(cè)試一般適用于遺留系統(tǒng)的等價(jià)重構(gòu)遷移，例如 .net 轉(zhuǎn) Java，或者 SQLServer 數(shù)據(jù)庫(kù)升級(jí)為 MySQL 數(shù)據(jù)庫(kù)，且外部依賴不能太多，否則需要開(kāi)發(fā)很多 mock，測(cè)試部署成本會(huì)很高，且比對(duì)測(cè)試更加復(fù)雜和不穩(wěn)定。

目標(biāo)實(shí)現(xiàn)老的 legacy 服務(wù)遷移升級(jí)到新的 experimental 服務(wù)。

測(cè)試開(kāi)始前，需要在測(cè)試環(huán)境部署一份 legacy 服務(wù)和 experimental 服務(wù)，同時(shí)將生產(chǎn)數(shù)據(jù)庫(kù)復(fù)制兩份到測(cè)試環(huán)境。同時(shí)需要將生產(chǎn)請(qǐng)求日志收集起來(lái)，一般可以通過(guò) kafka 隊(duì)列收集，然后通過(guò)類似 goreplay 這樣的工具，消費(fèi) kafka 里頭的請(qǐng)求日志，復(fù)制回放，將請(qǐng)求分發(fā)到 legacy 服務(wù)和 experimental 服務(wù)，收到響應(yīng)后進(jìn)行比對(duì)，如果所有響應(yīng)比對(duì)成功，則可以認(rèn)為 legacy 服務(wù)和 experimental 服務(wù)在功能邏輯上是等價(jià)的；如果有響應(yīng)比對(duì)失敗，則認(rèn)為兩者在功能邏輯上不等價(jià)，需要修復(fù) experimental 并重新進(jìn)行影子測(cè)試，直到全部比對(duì)成功。根據(jù)系統(tǒng)復(fù)雜度和關(guān)鍵性不同，比對(duì)測(cè)試時(shí)間短的可能需要幾周，長(zhǎng)的可達(dá)半年之久。

影子測(cè)試因?yàn)榕月吩讵?dú)立測(cè)試環(huán)境中進(jìn)行，可以對(duì)生產(chǎn)流量完全無(wú)影響。

優(yōu)勢(shì)和不足

優(yōu)勢(shì)

對(duì)生產(chǎn)用戶體驗(yàn)完全無(wú)影響。

可以使用生產(chǎn)真實(shí)流量進(jìn)行測(cè)試（復(fù)制比對(duì)）。

不足

搭建復(fù)雜度很高，技術(shù)門檻高，數(shù)據(jù)庫(kù)的導(dǎo)出復(fù)制是難點(diǎn)。

外部依賴不能太多，否則測(cè)試部署成本很高，且比對(duì)測(cè)試更加復(fù)雜和不穩(wěn)定。

參考文章

https://www.google.com

http://t.cn/RHV3riW

http://t.cn/RnD147P