RTMP攝像頭直播-CameraX數(shù)據(jù)采集處理

距離上一次寫東西，如果不翻記錄，是真想不起來是什么時候了，在記憶中，應該是三月的時候，或者更早了，因為那時候還沒有換工作。寫到這里還是忍不住去翻了一下以往的記錄，發(fā)現(xiàn)后來也有寫過兩篇，已經(jīng)沒什么印象了。從3月到8月五個多月的時間，回憶起來仿佛就在昨天。這半年來，對于我來說變化實在太大，首先是離開了自己工作了三年多的公司，很多種原因，在離開的時候并沒有一絲絲不舍，此刻突然想到過往的一切，好多人好多事浮現(xiàn)在眼前，就在昨天看到前同事發(fā)的狀態(tài)，好多熟悉的面孔，那一刻又映入眼簾。是的，畢竟是自己曾經(jīng)為之努力奮斗的地方，尤其在19年的時候，那時候真的用過心并努力過，也包括20年初期的時候。當然，隨之而來的就是擺爛了。剛出來那段時間有太多的不適應，首先是自己租了房子，吃飯都需要掏錢買，以至于覺得錢花的好快，在之前每收到工資我就直接轉(zhuǎn)到天天基金賬戶了，而現(xiàn)在得考慮房租和飯錢和其它日常開銷，在加上每天上班都需要擠地鐵，以至于前期那段時間整個人被整的一團糟。

我以為在我換了工作，激情會再一次被點燃，記得前段時間和一個玩的很好的初中同學聊天，談到現(xiàn)在的狀態(tài)，我談到如果再讓我選擇一次，我也堅決不會做這個行業(yè)了，我想愛惜好自己的眼睛，去當兵，然而再也沒有第二次選擇的機會了。有時候挺想做一條咸魚，但又無法做到最咸的那一條，既然當下選擇了，我覺得還是努力做好當下的事情，既然做了一天和尚，就應該努力把這個鐘敲好。當然經(jīng)過歲月的洗禮，也有值得慶幸的地方，自己的心態(tài)也逐漸走向成熟，不再浮躁，而是能靜下心來，思考一些事情。

關于之前開源的項目，https://github.com/zhuhuitao/printer,前前后后一共迭代了10個版本左右，當時在做這件事情的時候，沒有想到會有這么多同學去看和使用，說實在的，很開心。也看到好幾個同學提了issues，和留言，由于我目前沒有從事相關工作，身邊也沒有打印機，所以已接近大半年沒有維護了，在此想跟大家說一聲抱歉，后續(xù)如果有機會我還是會把問題整理出來，統(tǒng)一解決，深感抱歉。

前言

在很久以前一直想轉(zhuǎn)音視頻方向，一直沒有機會，畢竟想跨入這個方向，確實有一些難度。雖然現(xiàn)在項目中也有音視頻相關的東西，無奈都不是我負責。人生嘛總會遇到容易的事情和困難的事情，如果總是逃避困難的事情，想想也沒有什么意義，當然適當強迫一下自己，或許會收到不一樣的結(jié)果。在學習的過程中，學會總結(jié)和輸出真的太重要了，如果別人看到后有收獲，當然是值得開心的了，更多的是自己在總結(jié)和輸出的時候，往往有更多的收獲和對某個知識的理解。

android設備直播流程

在使用Android設備進行攝像頭直播時，其過程應該是這樣的：


流程

就圖像而言，首先需要獲得攝像頭采集的數(shù)據(jù)，然后得到這個byte[]進行編碼，再進行后續(xù)的封包與發(fā)送。我們通過CameraX圖像分析接口得到的數(shù)據(jù)為ImageProxy(Image的代理類)。那么怎么從ImageProxy/Image中獲取我們需要的數(shù)據(jù)呢，這個數(shù)據(jù)格式是什么？

ImageProxy/Image

Image是android SDK提供的一個完整的圖像緩沖區(qū)，圖像數(shù)據(jù)為:YUV或者RGB等格式。在編碼時，一般編碼器接收的待編碼數(shù)據(jù)格式為I420。而ImageProxy則是CameraX中定義的一個接口，Image的所有方法，也都能夠從ImageProxy調(diào)用?？梢酝ㄟ^image的getPlanes方法得到PlaneProxy數(shù)組，關于CameraX的詳細資料我們都可以在android官方文檔查看到。https://developer.android.google.cn/training/camerax?hl=zh_cn。當然CameraX給到我們的數(shù)據(jù)格式在官網(wǎng)中有提到,為YUV_420_888格式的圖片。

YUV420

YUV模型是根據(jù)一個亮度(Y分量)和兩個色度(UV分量)來定義顏色空間，常見的YUV格式有YUY2、YUYV、YVYU、UYVY、AYUV、Y41P、Y411、Y211、IF09、IYUV、YV12、YVU9、YUV411、YUV420等，其中比較常見的YUV420分為兩種：YUV420P和YUV420SP。其中Y表示亮度，U和V表示色度。( 如果UV數(shù)據(jù)都為0，那么我們將得到一個黑白的圖像。)RGB中每個像素點都有獨立的R、G和B三個顏色分量值，YUV根據(jù)U和V采樣數(shù)目的不同，分為如YUV444、YUV422和YUV420等，而YUV420表示的就是每個像素點有一個獨立的亮度表示，即Y分量；而色度，即U和V分量則由每4個像素點共享一個。舉例來說，對于4x4的圖片，在YUV420下，有16個Y值，4個U值和4個V值。YUV420根據(jù)顏色數(shù)據(jù)的存儲順序不同，又分為了多種不同的格式，這些格式實際存儲的信息還是完全一致的。舉例來說，對于4x4的圖片，在YUV420下，任何格式都有16個Y值，4個U值和4個V值，不同格式只是Y、U和V的排列順序變化。I420YYYYYYYYYYYYYYYYUUUUVVVV ，NV21 則為 YYYYYYYYYYYYYYYYUVUVUVUV 。也就是說，YUV420
是一類格式的集合，YUV420并不能完全確定顏色數(shù)據(jù)的存儲順序。
更詳細的介紹可以參考這篇文章https://zhuanlan.zhihu.com/p/495400095

PlaneProxy/Plane

Y、U和V三個分量的數(shù)據(jù)分別保存在三個 Plane 類中，即通過 getPlanes() 得到的數(shù)組。 Plane 實際是對ByteBuffer 的封裝。Image保證了planes[0]一定是Y，planes[1]一定是U，planes[2]一定是V。且對于plane [0]，Y分量數(shù)據(jù)一定是連
續(xù)存儲的，中間不會有U或V數(shù)據(jù)穿插，也就是說我們一定能夠一次性得到所有Y分量的值。
但是對于UV數(shù)據(jù)，可能存在以下兩種情況：

  1. planes[1] = {UUUU...}，planes[2] = {VVVV...};
  2. planes[1] = {UVUV...}，planes[2] = {VUVU...}。
    所以在我么取數(shù)據(jù)時需要在根據(jù)Plane中的另一個信息來確定如何取對應的U或者V數(shù)據(jù)。
//行內(nèi)數(shù)據(jù)值間隔
//1，表示無間隔取值，即為上面的第一種情況
//2，表示需要間隔一個數(shù)值取值，即為上面第二種情況
int pixelStride = plan.getPixelStride();

根據(jù)這個屬性，我們將確定數(shù)據(jù)如何存儲，因此如果需要取出代表I420格式的byte[]，則為：

YUV420中，y數(shù)據(jù)的長度為：width*height，而u,v都為width/2*height/2.

int pixelStride = plans[0].getPixelStride();
planes[0].getBuffer()
byte [] = new byte[image.getWidth()/2*image.getHeight()/2];
int pixelStride = planes[1].getPixelStride();
if(pixelStride == 1){
  planes[1].getBuffer();//u數(shù)據(jù)
}else if(pixelStride == 2){
    ByteBuffer uBuffer = planes[1].getBuffer();
    for(int i = 0;i<uBuffer.remaining;i++){
    u[i] = uBuffer.get();//丟棄一個數(shù)據(jù)，這里其實是v數(shù)據(jù)
    uBuffer.get():
}
}

//v數(shù)據(jù)與u數(shù)據(jù)同樣獲取

但是如果使用上面的代碼去獲取I420數(shù)據(jù)，可能會驚奇的發(fā)現(xiàn)，并不是在所有設置的Width與Height(分辨率)下都能夠正常運行。我們忽略了什么，為什么會出現(xiàn)問題呢？在Plane中我們已經(jīng)使用了 getBuffer 與 getPixelStride 兩個方法，但是還有一個 getRowStride 是干嘛的呢？

RowStride

RowStride表示行步長，Y數(shù)據(jù)對應的行步長可能為：

  1. 等于Width；
  2. 大于Width；
    以4x4的I420為例，其數(shù)據(jù)可以看為：
      Y   Y   Y   Y
      Y   Y   Y   Y
      Y   Y   Y   Y
      Y   Y   Y   Y
      U   U
      U   U
      V   V
      V   V

如果RowStride等于Width，那么我們直接通過 planes[0].getBuffer() 獲得Y數(shù)據(jù)沒有問題。
但是如果RowStride大于Width，比如對于4x4的I420，如果每行需要以8字節(jié)對齊，那么可能得到的RowStride不
等于4（Width），而是得到8。那么此時會在每行數(shù)據(jù)末尾補充占位的無效數(shù)據(jù):

        Y   Y   Y   Y    0    0    0    0
        Y   Y   Y   Y    0    0    0    0
        Y   Y   Y   Y    0    0    0    0
        Y    Y  Y   Y    最后一行沒有占位

對于這種情況，我們獲取Y數(shù)據(jù)，則為：

 /**
         * Y數(shù)據(jù)
         */
        //y數(shù)據(jù)的這個值只能是：1
        int pixelStride = planes[0].getPixelStride();
        ByteBuffer yBuffer = planes[0].getBuffer();
        int rowStride = planes[0].getRowStride();

        //1、rowStride 等于Width ，那么就是一個空數(shù)組
        //2、rowStride 大于Width ，那么就是每行多出來的數(shù)據(jù)大小個byte
        byte[] skipRow = new byte[rowStride - image.getWidth()];
        byte[] row = new byte[image.getWidth()];
        for (int i = 0; i < image.getHeight(); i++) {
            yBuffer.get(row);
            i420.put(row);
            // 不是最后一行才有無效占位數(shù)據(jù)，最后一行因為后面跟著U 數(shù)據(jù)，沒有無效占位數(shù)據(jù)，不需要丟棄
            if (i < image.getHeight() - 1) {
                yBuffer.get(skipRow);
            }
        }

而對于U與V數(shù)據(jù)，對應的行步長可能為：

  1. 等于Width；
  2. 大于Width；
  3. 等于Width/2;
  4. 大于Width/2

等于width

這表示，我們獲得planes[1]中不僅包含U數(shù)據(jù)，還會包含V的數(shù)據(jù)，此時pixelStride==2

    U    V    U    V
    U    V    U    V

那么V數(shù)據(jù)：planes[2]，則為：

    V    U    V    U
    V    U    V    U

這種情況下，我們上面的代碼也已經(jīng)處理了。

大于width

與Y數(shù)據(jù)一樣，可能由于字節(jié)對齊，出現(xiàn)RowStride大于Width的情況，與等于Width一樣，planes[1]中不僅包含U數(shù)據(jù)，還會包含V的數(shù)據(jù)，此pixelStride==2。

      U    V    U    V    0    0    0    0
      U    V    U    V    最后一行沒有占位

planes[2]，則為：

    V    U    V    U    0    0    0    0
    V    U    V    U    最后一行沒有占位

等于width/2

當獲取的U數(shù)據(jù)對應的RowStride等于Width/2，表示我們得到的planes[1]只包含U數(shù)據(jù)。此時pixelStride==1。那么planes[1]+planes[2]為：

    U    U
    U    U
    V    V
    V    V

這種情況，所有的U數(shù)據(jù)是連在一起的，即 planes[1].getBuffer 可以直接獲得完整的U數(shù)據(jù)。

大于width/2

同樣我們得到的planes[1]只包含U數(shù)據(jù)，但是與Y數(shù)據(jù)一樣，可能存在占位數(shù)據(jù)。此時pixelStride==1。planes[1]+planes[2]為：

    U    U    0    0    0    0    0    0
    U    U          最后一行沒有占位
    V    V    0    0    0    0    0    0
    V    V           最后一行沒有占位

總結(jié)

在獲得了攝像頭采集的數(shù)據(jù)之后，我們需要獲取對應的YUV數(shù)據(jù)，需要根據(jù)pixelStride判斷格式，同時還需要通過rowStride來確定是否存在無效數(shù)據(jù)，那么最終我們獲取YUV數(shù)據(jù)的完整實現(xiàn)為：

    public static byte[] getBytes(ImageProxy image, int rotationDegrees, int width, int height) {
        //圖像格式
        int format = image.getFormat();
        if (format != ImageFormat.YUV_420_888) {
            //拋出異常
        }

        ByteBuffer i420 = ByteBuffer.allocate(image.getWidth() * image.getHeight() * 3 / 2);
        // 3個元素 0：Y，1：U，2：V
        ImageProxy.PlaneProxy[] planes = image.getPlanes();
        // byte[]

        /**
         * Y數(shù)據(jù)
         */
        //y數(shù)據(jù)的這個值只能是：1
        int pixelStride = planes[0].getPixelStride();
        ByteBuffer yBuffer = planes[0].getBuffer();
        int rowStride = planes[0].getRowStride();

        //1、rowStride 等于Width ，那么就是一個空數(shù)組
        //2、rowStride 大于Width ，那么就是每行多出來的數(shù)據(jù)大小個byte
        byte[] skipRow = new byte[rowStride - image.getWidth()];
        byte[] row = new byte[image.getWidth()];
        for (int i = 0; i < image.getHeight(); i++) {
            yBuffer.get(row);
            i420.put(row);
            // 不是最后一行才有無效占位數(shù)據(jù)，最后一行因為后面跟著U 數(shù)據(jù)，沒有無效占位數(shù)據(jù)，不需要丟棄
            if (i < image.getHeight() - 1) {
                yBuffer.get(skipRow);
            }
        }

        /**
         * U、V
         */
        for (int i = 1; i < 3; i++) {
            ImageProxy.PlaneProxy plane = planes[i];
            pixelStride = plane.getPixelStride();
            rowStride = plane.getRowStride();
            ByteBuffer buffer = plane.getBuffer();

            //每次處理一行數(shù)據(jù)
            int uvWidth = image.getWidth() / 2;
            int uvHeight = image.getHeight() / 2;

            // 一次處理一個字節(jié)
            for (int j = 0; j < uvHeight; j++) {
                for (int k = 0; k < rowStride; k++) {
                    //最后一行
                    if (j == uvHeight - 1) {
                        //uv沒混合在一起
                        if (pixelStride == 1) {
                            //rowStride ：大于等于Width/2
                            // 結(jié)合外面的if：
                            //  如果是最后一行，我們就不管結(jié)尾的占位數(shù)據(jù)了
                            if (k >= uvWidth) {
                                break;
                            }
                        } else if (pixelStride == 2) {
                            //uv混在了一起
                            // rowStride：大于等于 Width
                            if (k >= image.getWidth()) {
                                break;
                            }
                        }
                    }


                    byte b = buffer.get();
                    // uv沒有混合在一起
                    if (pixelStride == 1) {
                        if (k < uvWidth) {
                            i420.put(b);
                        }
                    } else if (pixelStride == 2) {
                        // uv混合在一起了
                        //1、偶數(shù)位下標的數(shù)據(jù)是我們本次要獲得的U/V數(shù)據(jù)
                        //2、占位無效數(shù)據(jù)要丟棄，不保存
                        if (k < image.getWidth() && k % 2 == 0) {
                            i420.put(b);
                        }
                    }
                }
            }
        }


        //I420
        byte[] result = i420.array();

        if (rotationDegrees == 90 || rotationDegrees == 270) {
            //旋轉(zhuǎn)之后 ，圖像寬高交換
            result = rotation(result, image.getWidth(), image.getHeight(), rotationDegrees);
        }

        return result;
    }
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

相關閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容