• NALU 以 0000 0001劃分開

• yuv420p一個(gè)pix占用字節(jié)數(shù)1.5Byte
  rgb 8bit位深,3通道(不含透明度),一個(gè)pix占用3Bytes

• h264編碼(pix:640*480 yuv420p fps=15 500kbps)常見壓縮比1%
  常見電影_fps>=60; 視頻直播_fps>=15

• 碼率經(jīng)驗(yàn)值.參考https://docs,agora.io/cn

• b幀多的缺點(diǎn),占用cpu;解碼耗時(shí);不宜直播
  實(shí)時(shí):i+p;轉(zhuǎn)碼:大量b幀,為減小存儲(chǔ)

• IDR幀,特殊的I幀,解碼立即刷新幀,由于每個(gè)GOP間明顯的差別

  • 特點(diǎn):解碼端遇到IDR會(huì)將緩存清空,重新解碼
  • 每個(gè)GOP中第一幀就是IDR

• h264默認(rèn)編碼(不是編碼順序,可以看作gop中幀順序)
  IBBBPBBBPBBBI
  B幀間無相互關(guān)系,B幀參考始終是之前的I和之后的P幀

• SPS PPS 在每個(gè)IDR幀前都會(huì)成對(duì)出現(xiàn)這兩種幀(參數(shù)術(shù)語)

  • SPS 參數(shù)序列集(幀內(nèi)參數(shù),約束gop的參數(shù))
    SPS_ID 幀數(shù) 參考幀數(shù)量(可參考一幀,亦可參考多幀) 解碼圖像尺寸 編碼模式
  • PPS 圖像參數(shù)集(約束GOP中每幀的參數(shù))
    ID 熵編碼 幀編碼 片組數(shù)目(幀編碼) 初始量化參數(shù) 區(qū)塊濾波系數(shù)

• 幀內(nèi)壓縮理論:

  • 1.相鄰像素差別不大,有宏塊預(yù)測(cè)的基礎(chǔ)
  • 2.人眼對(duì)亮度的敏感超過色度
  • 3.yuv分開存儲(chǔ),利于壓縮

• 宏塊預(yù)測(cè)有9種模式

• 殘差值 = 原始圖像 - 預(yù)測(cè)出的圖像
  壓縮時(shí),預(yù)測(cè)圖象壓縮+殘差值壓縮(補(bǔ)償殘差);主要用在幀內(nèi)壓縮
  運(yùn)動(dòng)補(bǔ)償:在解碼時(shí)將殘差值的影響考慮在內(nèi)

• 運(yùn)動(dòng)估計(jì):根據(jù)宏塊匹配的手段找到運(yùn)動(dòng)矢量的過程稱運(yùn)動(dòng)估計(jì)

• 宏塊查找:目的是找到宏塊的運(yùn)動(dòng)軌跡(運(yùn)動(dòng)矢量)

• 宏塊查找算法:
  三步搜索 二位對(duì)數(shù)搜索 四步搜索 鉆石搜索

• 壓縮編碼的主要手段是:運(yùn)動(dòng)矢量+補(bǔ)償壓縮(殘差值補(bǔ)償),圖像還原的原理也是依據(jù)這兩點(diǎn)

• 花屏,馬賽克原因:GOP中丟幀(主要丟失的是P,B幀,運(yùn)動(dòng)矢量,殘差值也丟失)

• 花屏的兄弟-卡頓:當(dāng)GOP丟幀時(shí),就丟棄掉GOP內(nèi)所有幀,直到下一個(gè)GOP的IDR幀到來;這種情況的刷新周期就取決于IDR幀間隔(I幀間隔)
  卡頓和花屏不能兼得,互斥關(guān)系

沒法畫流程圖,轉(zhuǎn)移到掘金