首先，基礎(chǔ)知識普及，技術(shù)上直播的流程是什么？
一、直播的流程
正如上圖所示，整個直播流程分為以下幾個關(guān)鍵步驟：
1、主播客戶端，將本地采集的視頻推送到CDN；
2、CDN對視頻流進(jìn)行緩存以及轉(zhuǎn)發(fā)；
3、觀眾客戶端，拉取CDN中緩存視頻流進(jìn)行播放；
可以看到CDN在這里起到了關(guān)鍵的作用，2016也是一個CDN崛起的年代，網(wǎng)宿、快網(wǎng)、七牛、高升、藍(lán)汛、觀止云、騰訊云、百度云、阿里云等CDN紛紛表示對直播進(jìn)行了支持，直播也逐漸成為了CDN的標(biāo)配。
那么接下來了解一下CDN的技術(shù)原理。
二、CDN技術(shù)原理
CDN的全稱為Content Delivery Network，即內(nèi)容分發(fā)網(wǎng)絡(luò)，是一個策略性部署的整體系統(tǒng)，主要用來解決由于網(wǎng)絡(luò)帶寬小、用戶訪問量大、網(wǎng)點分布不均勻等導(dǎo)致用戶訪問網(wǎng)站速度慢的問題。
CDN的技術(shù)原理見上圖，具體實現(xiàn)是通過在現(xiàn)有的網(wǎng)絡(luò)中，增加一層新的網(wǎng)絡(luò)架構(gòu)，將網(wǎng)站的內(nèi)容發(fā)布到離用戶最近的網(wǎng)絡(luò)節(jié)點上，這樣用戶可以就近獲取所需的內(nèi)容，解決之前網(wǎng)絡(luò)擁塞、訪問延遲高的問題，提高用戶體驗。
對于直播來說，則將Web服務(wù)器換作主播客戶端，如下圖所示。
由于視頻占用帶寬較大，與普通的Web服務(wù)差別較大，這樣CDN的優(yōu)勢更能體現(xiàn)出來：網(wǎng)絡(luò)擁塞減少，訪問延遲降低，帶寬得到良好的控制等等。
另外，CDN直播中常用的流媒體協(xié)議包括RTMP，HLS，HTTP FLV等。
RTMP（Real Time Messaging Protocol）是基于TCP的，由Adobe公司為Flash播放器和服務(wù)器之間音頻、視頻傳輸開發(fā)的開放協(xié)議。
HLS（HTTP Live Streaming）是基于HTTP的，是Apple公司開放的音視頻傳輸協(xié)議。
HTTP FLV則是將RTMP封裝在HTTP協(xié)議之上的，可以更好的穿透防火墻等。
三、CDN的常用架構(gòu)
CDN架構(gòu)設(shè)計比較復(fù)雜。不同的CDN廠商，也在對其架構(gòu)進(jìn)行不斷的優(yōu)化，所以架構(gòu)不能統(tǒng)一而論。這里只是對一些基本的架構(gòu)進(jìn)行簡單的剖析。
CDN主要包含：源站、緩存服務(wù)器、智能DNS、客戶端等幾個主要組成部分。
源站：是指發(fā)布內(nèi)容的原始站點。添加、刪除和更改網(wǎng)站的文件，都是在源站上進(jìn)行的；另外緩存服務(wù)器所抓取的對象也全部來自于源站。對于直播來說，源站為主播客戶端。
緩存服務(wù)器：是直接提供給用戶訪問的站點資源，由一臺或數(shù)臺服務(wù)器組成；當(dāng)用戶發(fā)起訪問時，他的訪問請求被智能DNS定位到離他較近的緩存服務(wù)器。如果用戶所請求的內(nèi)容剛好在緩存里面，則直接把內(nèi)容返還給用戶；如果訪問所需的內(nèi)容沒有被緩存，則緩存服務(wù)器向鄰近的緩存服務(wù)器或直接向源站抓取內(nèi)容，然后再返還給用戶。
智能DNS：是整個CDN技術(shù)的核心，它主要根據(jù)用戶的來源，以及當(dāng)前緩存服務(wù)器的負(fù)載情況等，將其訪問請求指向離用戶比較近且負(fù)載較小的緩存服務(wù)器。通過智能DNS解析，讓用戶訪問同服務(wù)商下、負(fù)載較小的服務(wù)器，可以消除網(wǎng)絡(luò)訪問慢的問題，達(dá)到加速作用。
客戶端：即發(fā)起訪問的普通用戶。對于直播來說，就是觀眾客戶端。
對于直播來說，CDN整體架構(gòu)如下圖：
主要流程為：
主播開始進(jìn)行直播，向智能DNS發(fā)送解析請求；
智能DNS返回最優(yōu)CDN節(jié)點IP地址；
主播端采集音視頻數(shù)據(jù)，發(fā)送給CDN節(jié)點，CDN節(jié)點進(jìn)行緩存等處理；
觀眾端要觀看此主播的視頻，向智能DNS發(fā)送解析請求；
智能DNS返回最優(yōu)CDN節(jié)點IP地址；
觀眾端向CDN節(jié)點請求音視頻數(shù)據(jù)；
CDN節(jié)點同步其他節(jié)點的音視頻數(shù)據(jù)；
CDN節(jié)點將音視頻數(shù)據(jù)發(fā)送給觀眾端；
四、CDN的短板
大概了解了CDN的技術(shù)原理后，我們在做直播選型時，還需要了解一個方案優(yōu)缺點。接下來，我們來分析一下CDN的短板。
4.1 短板：播放延時
連麥直播的難題主要是播放延時！播放延時從何而來？
4.1.1 網(wǎng)絡(luò)延時
網(wǎng)絡(luò)延時這里指的是從主播端采集，到觀眾端播放，這之間的時間差。這里不考慮主播段采集對視頻進(jìn)行編碼的時間，以及觀眾端觀看對視頻進(jìn)行解碼的時間，僅考慮網(wǎng)絡(luò)傳輸中的延時。例如說下圖中的網(wǎng)絡(luò)延時：
另外，數(shù)據(jù)傳輸過程中還涉及到邏輯上的交互，例如包的重傳以及確認(rèn)，以及緩存上的一些邏輯等，會在這個基礎(chǔ)上又增加很多。
那么來簡單估算一下大概的網(wǎng)絡(luò)延時。眾所周知，光在真空中的速度約為300,000km/s，而在其他介質(zhì)中光 速會大大降低，所以在普通光纖中，工程上一般認(rèn)為傳輸速度是200,000km/s。從現(xiàn)實上來說，可以參考如下：
所以說，在節(jié)點較少、網(wǎng)絡(luò)情況較好的情況下，那么網(wǎng)絡(luò)延時對應(yīng)也是最小，加上一定的緩存，可以控制延時在1s~2s左右。但是節(jié)點多、網(wǎng)絡(luò)差的情況下，網(wǎng)絡(luò)延時會對應(yīng)增大，經(jīng)驗來說延時可以達(dá)到15s以上。
4.1.2 網(wǎng)絡(luò)抖動
網(wǎng)絡(luò)抖動，是指數(shù)據(jù)包的到達(dá)順序、間隔和發(fā)出時不一致。比如說，發(fā)送100個數(shù)據(jù)包，每個包間隔1s發(fā)出。結(jié)果第27個包在傳輸過程中遇到網(wǎng)絡(luò)擁塞，造成包27不是緊跟著26到達(dá)的，而是延遲到87后面才達(dá)。在直播中，這種抖動的效果實際上跟丟包是一樣的。因為你不能依照接收順序把內(nèi)容播放出來，否則會造成失真。
網(wǎng)絡(luò)抖動，會造成播放延時對應(yīng)增大。如果網(wǎng)絡(luò)中抖動較大，會造成播放卡頓等現(xiàn)象。
如上圖所示，主播端t3和t5發(fā)出的包，分別在t3’和t5’到達(dá)，但是中間延時增大，即發(fā)生了網(wǎng)絡(luò)抖動。這樣造成觀眾端觀看視頻的延時會不斷增大。
4.1.3 網(wǎng)絡(luò)丟包
CDN直播中用到的RTMP、HLS、HTTP FLV等協(xié)議都是在TCP的基礎(chǔ)之上。TCP一個很重要的特性是可靠性，即不會發(fā)生數(shù)據(jù)丟失的問題。為了保證可靠性，TCP在傳輸過程中有3次握手，見下圖。首先客戶端會向服務(wù)端發(fā)送連接請求，服務(wù)端同意后，客戶端會確認(rèn)這次連接。這就是3次握手。接著，客戶端就開始發(fā)送數(shù)據(jù)，每次發(fā)送一批數(shù)據(jù)，得到服務(wù)端的“收到“確認(rèn)后，繼續(xù)發(fā)送下一批。TCP為了保證傳到，會有自動重傳機制。如果傳輸中發(fā)生了丟包，沒有收到對端發(fā)出的“收到”信號，那么就會自動重傳丟失的包，一直到超時。
由于互聯(lián)網(wǎng)的網(wǎng)絡(luò)狀況是變化的，以及主播端的網(wǎng)絡(luò)狀況是無法控制的。所以當(dāng)網(wǎng)絡(luò)中丟包率開始升高時，重傳會導(dǎo)致延時會不斷增大，甚至導(dǎo)致不斷嘗試重連等情況，這樣不能有效的緩存，嚴(yán)重情況下會導(dǎo)致觀眾端視頻無法觀看。
4.2 短板：連麥
直播中，主播如果要與用戶交互，常見有兩種方式：
第一種方式：文字，這種比較常見，實現(xiàn)也比較簡單，這里不再進(jìn)行分析；
第二種方式：連麥，這樣主播可以面對面與觀眾進(jìn)行交互，增加了互動性；
由于連麥方式比較復(fù)雜，這里進(jìn)行詳細(xì)分析。
4.2.1 多路RTMP流實現(xiàn)
前面提到，RTMP是目前主播中最常用的協(xié)議，使用RTMP協(xié)議，可以實現(xiàn)最簡單的一種連麥方式，如下圖。
當(dāng)有連麥者時，則主播端和連麥者端，都分別推一路RTMP流到CDN，CDN再將這兩路RTMP流發(fā)送給觀眾端，觀眾端將兩路RTMP流合成為一個畫面。這種方式的優(yōu)缺點如下：
優(yōu)點
缺點
主播與連麥者如果要進(jìn)行交互，考慮到上面分析的延時問題，在這里延時需要至少加大一倍。這樣對于實時交互來說，完全無法接受；
主播與連麥者交互時，聲音會產(chǎn)生干擾，形成回音；
觀眾端要接收兩條視頻流，帶寬、流量消耗過大，并且兩路視頻流解碼播放，耗費CPU等資源也非常多；
這樣看來，這種方式弊大于利，基本不可取。
4.2.2 主播端與連麥者P2P
第二種方式，是主播端與連麥者之間使用P2P方式進(jìn)行交互，然后主播端將自己和連麥者的視頻進(jìn)行合并，再推到CDN上，CDN再發(fā)送給觀眾端，如下圖：
這種方式的優(yōu)缺點如下：
優(yōu)點
主播和連麥者之間使用P2P，網(wǎng)絡(luò)質(zhì)量較好，延遲較小，保證了兩者之間交互不會有非常大的延時；
解決聲音的干擾問題，消除回聲；
缺點
P2P在某些網(wǎng)絡(luò)下無法穿透，有些觀眾根本無法與主播端進(jìn)行交互；
主播端需要上傳兩路視頻：一路P2P與連麥者進(jìn)行交互，一路使用RTMP推到CDN。還要下載一路視頻：連麥者P2P發(fā)送過來的交互數(shù)據(jù)。所以主播端要求帶寬需要較高，網(wǎng)絡(luò)較差時無法進(jìn)行主播
主播端要進(jìn)行多路視頻的編碼、解碼，要求主播端設(shè)備配置比較高，較差的設(shè)備也無法進(jìn)行主播；
只能支持一個連麥者，不能支持多個連麥者；
由于主播端和連麥者經(jīng)過CDN合并成一路，因此，不能實現(xiàn)主播端和連麥者視頻大小窗口切換。
綜合來說，P2P方式在一定程度上可以解決連麥的問題。
4.2.3 服務(wù)器端合圖
另外一種方式，是主播和連麥者都將視頻推送到CDN中，然后CDN內(nèi)部對這幾路視頻進(jìn)行合圖，再將其發(fā)送給觀眾端。如下圖：
這種方式的優(yōu)缺點如下：
優(yōu)點
主播和連麥者各路視頻都使用RTMP推送到CDN，可以保證延時較小；
由于CDN進(jìn)行視頻合圖和發(fā)送，所以主播不需要很高的帶寬；
由于CDN進(jìn)行視頻合圖，所以主播的設(shè)備不需要配置非常高；
沒有聲音干擾問題；
可以支持多個連麥者連麥；
缺點
CDN需要進(jìn)行視頻的合圖，需要額外開發(fā)工作，并且邏輯比較復(fù)雜；
CDN需要進(jìn)行視頻的合圖，需要消耗較高服務(wù)器資源；
CDN合圖后的布局難控制；
據(jù)目前所知，還沒有CDN支持這種方案；
聲網(wǎng)Agora.io，在開發(fā)互動直播解決方案時，拋棄傳統(tǒng)的基于TCP協(xié)議的CDN方案，從底層協(xié)議和布網(wǎng)上開始，創(chuàng)建了基于UDP協(xié)議的SD-RTN方案。
（一）什么是SD-RTN
SD-RTN（Software-Defined Real Time Net work），軟件定義實時傳輸網(wǎng)絡(luò)，是一種新型的專為內(nèi)容實時傳輸而設(shè)計的網(wǎng)絡(luò)架構(gòu)。通過在互聯(lián)網(wǎng)上不同地區(qū)的數(shù)據(jù)中心放置軟件組網(wǎng)單元，相互連接互相調(diào)度，在現(xiàn)有的公共互聯(lián)網(wǎng)基礎(chǔ)上構(gòu)建一層新的虛擬網(wǎng)絡(luò)。SD-RTN系統(tǒng)能夠?qū)崟r根據(jù)各節(jié)點的連接和傳輸狀況、負(fù)載狀況以及到用戶的距離和響應(yīng)時間，自動分配最優(yōu)、最通暢的傳輸路徑，達(dá)到實時傳輸需要的質(zhì)量保障級別。
（二）SD-RTN與CDN有何不同
基本原理不同。CDN是存儲轉(zhuǎn)發(fā)結(jié)構(gòu)，設(shè)計目的是在各個邊緣節(jié)點緩存待分發(fā)內(nèi)容，結(jié)構(gòu)上從源站到觀眾是傘狀多級緩存放大方式。SD-RTN本質(zhì)上一個實時傳輸網(wǎng)絡(luò)，用戶的數(shù)據(jù)在網(wǎng)絡(luò)單元內(nèi)部和傳輸線路上都以實時交換方式傳送，從而能夠保證最低延遲。
底層協(xié)議不同。SD-RTN采用了專為實時傳輸設(shè)計的UDP協(xié)議，避免了采用TCP的延時不可控缺點。能夠大大縮短交互延時，延時可從CDN方案的數(shù)秒，降低到數(shù)百毫秒。
內(nèi)容分發(fā)機制不同。SD-RTN是基于自定義路由，選擇最優(yōu)傳輸路徑，直接將內(nèi)容端到端傳輸，數(shù)據(jù)在網(wǎng)絡(luò)單元中從不緩存，從而最大可能的降低延遲，同時內(nèi)容安全性也更好。CDN是將內(nèi)容緩存于緩存服務(wù)器中，再將內(nèi)容就近下發(fā)。
使用場景不同。SD-RTN適用于要求極低時延的實時互動場景，例如網(wǎng)絡(luò)電話、視頻會議、有主播與觀眾交互需求的互動直播等。CDN適用于對時延要求不高的場景，例如對延時要求不高、類似電視的單點直播、網(wǎng)站加速等。若硬要將CDN改造用于互動直播，那么其結(jié)構(gòu)上對降低延遲的不適應(yīng)性，始終會成為質(zhì)量改進(jìn)需求的瓶頸。
（三）SD-RTN相較CDN，有何優(yōu)點
1、時延大大縮短。
直播延時可從CDN方案的數(shù)秒，降低到數(shù)百毫秒。這一延遲范圍，屬于實時通信或準(zhǔn)實時通信延遲的范疇。在這一級別上，主播和觀眾可以基本重現(xiàn)在現(xiàn)場活動中的交互體驗，從而大大釋放了內(nèi)容制作者的潛力，也為業(yè)務(wù)運營者創(chuàng)造新業(yè)務(wù)形式打開了無限的空間和可能。
比如，在這一延遲下，主播和觀眾可以不光通過文字交互，也可以通過音頻實時交互，而不會感到延遲過大而不自然。這種交互體驗，在手機上也更自然，比打字更符合人的自然習(xí)慣。業(yè)務(wù)運營方當(dāng)然可以把這一功能當(dāng)作比文字互動更高級別的特權(quán)能力，僅僅對于付費或是一定級別、身份的用戶才可以直接和主播語音互動。業(yè)務(wù)運營者也可以利用此類功能創(chuàng)造類似課堂，或小劇場的現(xiàn)場互動氛圍，讓主播可以聽得到觀眾的發(fā)問，或是掌聲、嘆息，甚至噓聲，實現(xiàn)自然的臺上臺下交互和有沉浸感的互動直播體驗。加上輔助功能，體驗上可以任意規(guī)定誰可以發(fā)聲，誰不可以，這中間的可能性是無限的。
更重要的是，即便在一般的連麥直播場景，這樣的體驗也可以幫助這類低延遲觀眾（我們稱為“近場觀眾”）在上麥互動的時候?qū)崿F(xiàn)平滑體驗，不用每次切換就黑屏一次，好像節(jié)目中斷一樣。
對于近場觀眾，即便是在網(wǎng)絡(luò)較差的時候，基本上能夠保證延遲不超過1秒，極少數(shù)觀眾延遲不超過2秒。相對于CDN，即便在網(wǎng)絡(luò)質(zhì)量無問題時，也有3秒以上延遲。實測網(wǎng)絡(luò)丟包僅僅10%，就可以讓延遲拉大到10秒。這樣的丟包率，在手機的無線信號下可是經(jīng)常出現(xiàn)的。
所有這些，都要歸公于聲網(wǎng)SD-RTN的實時傳輸保障能力。UDP實現(xiàn)的傳輸協(xié)議，不會因為前一個包的丟失或延遲導(dǎo)致下后續(xù)包的延遲送達(dá)，而丟包可以用對延遲更友好的方式修復(fù)或補償出來。不采用這個機制是無法達(dá)到這樣的延遲保障效果的。
2、抗丟包能力強。
使用聲網(wǎng)的技術(shù)，30%丟包時，依然能夠進(jìn)行正常直播。而基于TCP的CDN直播方案在丟包2%時就明顯卡頓，達(dá)到30%經(jīng)常已斷開連接。
（三）基于SD-RTN的直播架構(gòu)與特性
下圖是聲網(wǎng)Agora.io互動直播的架構(gòu)圖
客戶端均通過UDP連接SD-RTN（Agora Global Network），通過SD-RTN的就近接入策略，讓使用者就近接入質(zhì)量最好的數(shù)據(jù)節(jié)點，通過Agora Global Network的軟件定義優(yōu)化路由，經(jīng)過傳輸延遲和質(zhì)量優(yōu)化的最優(yōu)路徑，自動避免網(wǎng)絡(luò)擁塞，并規(guī)避骨干網(wǎng)絡(luò)故障的影響。
若有常規(guī)的長延遲旁路直播需求，則可以將主播與連麥者合成一路直播流，通過RTMP推到CDN，進(jìn)行下發(fā)。連接這一路的觀眾，不能參與連麥互動（稱為“遠(yuǎn)場觀眾”）。
主要特點如下：
1、可以支持更多的主播交互，目前支持7人視頻交互，100人語音交互。
2、當(dāng)有觀眾連麥時，其他觀眾端收到的多路視頻，觀眾端可以動態(tài)選擇布局；
3、聲網(wǎng)Agora.io會將直播視頻推送到CDN，其他觀眾（網(wǎng)頁端等）可以直接觀看；
4、當(dāng)有觀眾連麥時，聲網(wǎng)Agora.io會將視頻合圖后推送到CDN，其他觀眾（網(wǎng)頁端等）可以觀看到連麥者與主播的互動；
5、在經(jīng)過RTMP推流前的觀眾端，可以進(jìn)行大小流切換，自主選擇視頻大小窗口的切換。
