開發(fā)遇到這樣一個需求，需要對一個視頻進行解碼，解碼生成的每一幀圖片，都要對其進行編輯，生成一張新的圖片，在實時編碼成一個新的視頻。

這里我們分為三步走

1. 對視頻進行解碼

我這邊采用的是iOS利用VideoToolbox實現(xiàn)視頻硬解碼中的方式，demo中提供了兩種解碼方式，一種是第三方庫ffmpeg，另外一種是系統(tǒng)的videotoolbox庫，效率基本上都差不多，作者封裝后都會有一個代理回調(diào)，

// XDXVideoDecoderDelegate
- (void)getVideoDecodeDataCallback:(CMSampleBufferRef)sampleBuffer isFirstFrame:(BOOL)isFirstFrame;
// XDXFFmpegVideoDecoderDelegate
- (void)getDecodeVideoDataByFFmpeg:(CMSampleBufferRef)sampleBuffer;

兩種回調(diào)都會有一個CMSampleBufferRef的對象，它是像素緩沖，其實就是我們解碼后的每一幀的圖片。

2. 合成圖片

在第一步中我們已經(jīng)拿到了每一幀的圖片，現(xiàn)在我們在其基礎上合成本地圖片，合成圖片我首先想到的是下面的方法，

- (UIImage *)composeImg:(UIImage *)image1 coverImage:(UIImage *)image2 coverRect:(CGRect)rect {
    CGImageRef imgRef1 = image1.CGImage;
    CGFloat w1 = CGImageGetWidth(imgRef1);
    CGFloat h1 = CGImageGetHeight(imgRef1);
    
    //以1的圖大小為畫布創(chuàng)建上下文
    UIGraphicsBeginImageContext(CGSizeMake(w1, h1));
    [image1 drawInRect:CGRectMake(0, 0, w1, h1)];//先把1.png 畫到上下文中
    [image2 drawInRect:rect];//再把小圖放在上下文中
    UIImage *resultImg = UIGraphicsGetImageFromCurrentImageContext();//從當前上下文中獲得最終圖片
    UIGraphicsEndImageContext();//關閉上下文
    CGImageRelease(imgRef1);
    
    return resultImg;
}

這個方法是通過兩個image的對象，最終合成一個新的image，效果可以實現(xiàn)，但是在我們這個場景中，我們在對視頻解碼時，是一個連續(xù)異步的操作，代理會不斷的回調(diào)，此時如果采用這個方式，會多次創(chuàng)建局部對象，不能及時釋放，導致內(nèi)存爆增，引起閃退。所以我采用以下方式

-(void)getDecodeVideoDataByFFmpeg:(CMSampleBufferRef)sampleBuffer {
    CVPixelBufferRef pix = CMSampleBufferGetImageBuffer(sampleBuffer);
    [self.previewView displayPixelBuffer:pix];
    count ++;
    NSLog(@"count ==== %ld" , (long)count);
    
    UIImage *coverImage = [UIImage imageWithContentsOfFile:[[NSBundle mainBundle] pathForResource:[NSString stringWithFormat:@"%ld", (long)count] ofType:@"png"]];

    [[VideoCreator manager] appendPixelBuffer2:pix overlayImage:coverImage overlayFrame:[self getCoverRect:count] frameCounter:1];
    
}

這里我用的是CIImage，它提供了一個系統(tǒng)的api

// CIImage提供的api，把一個image放在buffer上面，bounds可以截取image的區(qū)域，并不能改變他的位置，colorSpace是渲染格式一般是CGColorSpaceCreateDeviceRGB()
- (void)render:(CIImage *)image
toCVPixelBuffer:(CVPixelBufferRef)buffer
        bounds:(CGRect)bounds
    colorSpace:(nullable CGColorSpaceRef)colorSpace NS_AVAILABLE(10_11,5_0);

- (void)appendPixelBuffer2:(CVPixelBufferRef)pixelBuffer overlayImage:(UIImage *)overlayImage overlayFrame:(CGRect)overlayFrame frameCounter:(int)frameCounter {
    int bufferW = (int)CVPixelBufferGetWidth(pixelBuffer);
    int bufferH = (int)CVPixelBufferGetHeight(pixelBuffer);
    CVPixelBufferLockBaseAddress( pixelBuffer, 0 );

    CGColorSpaceRef cSpace = CGColorSpaceCreateDeviceRGB();

    CIImage *ciimage = [self imageWithBuffer:pixelBuffer Size:CGSizeMake(bufferW, bufferH) waterImg:overlayImage waterFrame:overlayFrame];

    [_ciContext render:ciimage toCVPixelBuffer:pixelBuffer bounds:ciimage.extent colorSpace:cSpace];

    [self appendPixelBuffer:pixelBuffer frameCounter:frameCounter];

    CVPixelBufferUnlockBaseAddress(pixelBuffer, 0);
    CGColorSpaceRelease(cSpace);
}
/// 特別要注意這里的autoreleasepool，因為在arc的狀態(tài)下，oc對象系統(tǒng)會及時釋放，但是UIGraphicsBeginImageContext這樣的創(chuàng)建的c的對象，并不能及時釋放，所以要把此類對象放到緩存池里面，不使用時能夠釋放掉。
- (CIImage *)imageWithBuffer:(CVPixelBufferRef)buffer Size:(CGSize)layerSize  waterImg:(UIImage *)waterImg waterFrame:(CGRect)rect{
    @autoreleasepool{
        UIImage *bufferImage = [UIImage imageFromPixelBuffer:buffer];
        UIGraphicsBeginImageContext(layerSize);

        [bufferImage drawInRect:CGRectMake(0, 0, layerSize.width, layerSize.height)];
        
        [waterImg drawInRect:rect];
        
        UIImage *image = UIGraphicsGetImageFromCurrentImageContext();
        
        UIGraphicsEndImageContext();
        
        CIImage *ciimage = [CIImage imageWithCGImage:image.CGImage];
        
        return  ciimage;
    }
}

3. 合成視頻

- (void)appendPixelBuffer:(CVPixelBufferRef)pixelBuffer frameCounter:(int)frameCounter {
    CMTime frameTime = CMTimeMake(_frameCount, self.fps);
    
    if (!_adaptor.assetWriterInput.readyForMoreMediaData) {
        return;
    }
    if (pixelBuffer == NULL) {
        return;
    }
    
    if (![_adaptor appendPixelBuffer:pixelBuffer withPresentationTime:frameTime]) {
        NSLog(@"保存視頻失敗");
        if (self.inputFieldBlcok) {
            self.inputFieldBlcok();
        }
    }else {
        NSLog(@"保存視頻成功");
        if (self.inputSuccessBlcok) {
            self.inputSuccessBlcok();
        }
    }
    
    _frameCount += frameCounter;
}