GPUImage源碼解讀之GPUImageFilter

作為一個(gè)圖片處理和濾鏡添加的框架,GPUImage最核心的類自然是GPUImageFilter,基本上所有的具體的濾鏡都繼承于它。GPUImageFilter提供了一個(gè)濾鏡所需要的基本功能,并且提供了一些hook給子類進(jìn)行覆蓋,來(lái)實(shí)現(xiàn)具體的圖片處理。

GPUImageFilter的主要功能包括了:

  1. GPUImageFilter是一個(gè)GPUImageOutput的子類,但是同時(shí)它也實(shí)現(xiàn)了GPUImageInput協(xié)議。因此,它包含了一個(gè)Input和Output的所有功能。
  2. 渲染過(guò)程:所有的Filter進(jìn)行的渲染效果的區(qū)別是因?yàn)樗麄冇胁煌腣ertexShader和FragmentShader。但是整個(gè)渲染過(guò)程是一樣的,因此這個(gè)過(guò)程都被封裝到了基類中;
  3. GLProgram的管理和交互。因?yàn)椴煌腟hader自然會(huì)對(duì)應(yīng)不同的Attributes和Uniforms,因此Filter需要跟GLProgram進(jìn)行交互。
  4. 提供子類進(jìn)行初始化或者覆蓋的hook。

Initialize

GPUImageFilter實(shí)現(xiàn)不同效果的渲染就是基于不同的Shader的,因此初始化過(guò)程都需要提供不同的Shader來(lái)創(chuàng)建Program。GPUImageFilter一共提供了三個(gè)初始化方法:

- (id)initWithVertexShaderFromString:(NSString *)vertexShaderString fragmentShaderFromString:(NSString *)fragmentShaderString;
- (id)initWithFragmentShaderFromString:(NSString *)fragmentShaderString;
- (id)initWithFragmentShaderFromFile:(NSString *)fragmentShaderFilename;

第二個(gè)和第三個(gè)初始化方法最終都調(diào)用了第一個(gè)初始化方法,而使用的VertexShader就是上一篇文章中提到的默認(rèn)VertexShader。在初始化方法中,主要做的事情有:

  1. 設(shè)置默認(rèn)屬性:
    _preventRendering = NO;
    currentlyReceivingMonochromeInput = NO;
    inputRotation = kGPUImageNoRotation;
    backgroundColorRed = 0.0;
    backgroundColorGreen = 0.0;
    backgroundColorBlue = 0.0;
    backgroundColorAlpha = 0.0;

  1. 使用Shader創(chuàng)建Program,并且進(jìn)行初始化:
filterProgram = [[GPUImageContext sharedImageProcessingContext] programForVertexShaderString:vertexShaderString fragmentShaderString:fragmentShaderString];
        
        if (!filterProgram.initialized)
        {
            [self initializeAttributes];
            
            if (![filterProgram link])
            {
                NSString *progLog = [filterProgram programLog];
                NSLog(@"Program link log: %@", progLog);
                NSString *fragLog = [filterProgram fragmentShaderLog];
                NSLog(@"Fragment shader compile log: %@", fragLog);
                NSString *vertLog = [filterProgram vertexShaderLog];
                NSLog(@"Vertex shader compile log: %@", vertLog);
                filterProgram = nil;
                NSAssert(NO, @"Filter shader link failed");
            }
        }
        
        filterPositionAttribute = [filterProgram attributeIndex:@"position"];
        filterTextureCoordinateAttribute = [filterProgram attributeIndex:@"inputTextureCoordinate"];
        filterInputTextureUniform = [filterProgram uniformIndex:@"inputImageTexture"]; 
        
        [GPUImageContext setActiveShaderProgram:filterProgram];
        
        glEnableVertexAttribArray(filterPositionAttribute);
        glEnableVertexAttribArray(filterTextureCoordinateAttribute);

GPUImage在將OpenGL ES命令面向?qū)ο蠡倪^(guò)程中,其實(shí)是有很多默認(rèn)的命名的,比如頂點(diǎn)位置的attribute name就是position;頂點(diǎn)紋理坐標(biāo)的位置的attribute name就是inputTextureCoordinate;而第一個(gè)sampler的uniform的位置就是inputImageTexture。

其中initializeAttributes就給子類提供了一個(gè)添加更多Attributes的Hook。如果你的shader有更多的屬性的話,那么就在覆蓋這個(gè)方法,并且調(diào)用super的實(shí)現(xiàn),然后添加上自己的Attributes。默認(rèn)的實(shí)現(xiàn)是:

- (void)initializeAttributes;
{
    [filterProgram addAttribute:@"position"];
    [filterProgram addAttribute:@"inputTextureCoordinate"];
}

glEnableVertexAttribArray命令是告訴Program我們將會(huì)使用這些attribute index的attribute,并給他們傳值。

GPUImageOutput

GPUImageFilter中,使用的多數(shù)GPUImageOutput的功能都直接繼承自父類;有進(jìn)行覆蓋的主要是兩個(gè)方法:

- (void)useNextFrameForImageCapture;
{
    usingNextFrameForImageCapture = YES;

    // Set the semaphore high, if it isn't already
    if (dispatch_semaphore_wait(imageCaptureSemaphore, DISPATCH_TIME_NOW) != 0)
    {
        return;
    }
}

- (CGImageRef)newCGImageFromCurrentlyProcessedOutput
{
    double timeoutForImageCapture = 3.0;
    dispatch_time_t convertedTimeout = dispatch_time(DISPATCH_TIME_NOW, timeoutForImageCapture * NSEC_PER_SEC);

    if (dispatch_semaphore_wait(imageCaptureSemaphore, convertedTimeout) != 0)
    {
        return NULL;
    }

    GPUImageFramebuffer* framebuffer = [self framebufferForOutput];
    
    usingNextFrameForImageCapture = NO;
    dispatch_semaphore_signal(imageCaptureSemaphore);
    
    CGImageRef image = [framebuffer newCGImageFromFramebufferContents];
    return image;
}

這兩個(gè)方法主要都用來(lái)進(jìn)行靜態(tài)圖片的處理,并且返回處理的結(jié)果。代碼實(shí)現(xiàn)并不難,useNextFrameForImageCapture方法在之前的GPUImageOutput中已經(jīng)詳細(xì)介紹過(guò),主要是為了防止FrameBuffer被過(guò)度釋放。
newCGImageFromCurrentlyProcessedOutput則是調(diào)用了當(dāng)前Filter的outputFrameBuffernewCGImageFromFramebufferContents方法獲取處理過(guò)的圖片。

GPUImageInput

GPUImageInput協(xié)議是GPUImageFilter實(shí)現(xiàn)的重點(diǎn)。理解了這一塊的代碼對(duì)整個(gè)FilterChain的渲染流程非常有幫助。因此我們重點(diǎn)看一下這一塊的代碼:

newFrameReadyAtTime:atIndex:

這個(gè)方法會(huì)在上一個(gè)方法渲染完成后的informTargetsAboutNewFrameAtTime:中被調(diào)用。主要由兩個(gè)部分組成:

  1. 渲染
  2. 渲染完成后通知target當(dāng)前filter已經(jīng)渲染完成。
- (void)newFrameReadyAtTime:(CMTime)frameTime atIndex:(NSInteger)textureIndex;
{
    [self renderToTextureWithVertices:imageVertices textureCoordinates:[[self class] textureCoordinatesForRotation:inputRotation]];

    [self informTargetsAboutNewFrameAtTime:frameTime];
}

具體的渲染過(guò)程我們會(huì)在接下來(lái)單獨(dú)解析。因此我們首先看一下informTargetsAboutNewFrameAtTime:方法:

- (void)informTargetsAboutNewFrameAtTime:(CMTime)frameTime;
{
    if (self.frameProcessingCompletionBlock != NULL)
    {
        self.frameProcessingCompletionBlock(self, frameTime);
    }
    
    for (id<GPUImageInput> currentTarget in targets)
    {
        if (currentTarget != self.targetToIgnoreForUpdates)
        {
            NSInteger indexOfObject = [targets indexOfObject:currentTarget];
            NSInteger textureIndex = [[targetTextureIndices objectAtIndex:indexOfObject] integerValue];

            [self setInputFramebufferForTarget:currentTarget atIndex:textureIndex];
            [currentTarget setInputSize:[self outputFrameSize] atIndex:textureIndex];
        }
    }
    
    [[self framebufferForOutput] unlock];
    
    if (usingNextFrameForImageCapture){}
    else{
        [self removeOutputFramebuffer];
    }    
    
    for (id<GPUImageInput> currentTarget in targets)
    {
        if (currentTarget != self.targetToIgnoreForUpdates)
        {
            NSInteger indexOfObject = [targets indexOfObject:currentTarget];
            NSInteger textureIndex = [[targetTextureIndices objectAtIndex:indexOfObject] integerValue];
            [currentTarget newFrameReadyAtTime:frameTime atIndex:textureIndex];
        }
    }
}

這個(gè)方法分為幾個(gè)重要功能:

  1. 調(diào)用frameProcessingCompletionBlock。因?yàn)檫@個(gè)時(shí)候,一個(gè)Frame已經(jīng)渲染完畢了,因此可以調(diào)用Output中的frameProcessingCompletionBlock來(lái)進(jìn)行相應(yīng)的后續(xù)處理;
  2. 給所有的target進(jìn)行內(nèi)容傳遞,主要的代碼是:
[self setInputFramebufferForTarget:currentTarget atIndex:textureIndex];
[currentTarget setInputSize:[self outputFrameSize] atIndex:textureIndex];

首先是將frameBuffer傳遞給所有的target以及對(duì)應(yīng)的textureIndex。然后將當(dāng)前FrameBuffer的size也傳遞給所有的target。因?yàn)閠arget需要根據(jù)這個(gè)size來(lái)從FrameBufferCache中獲取FrameBuffer。

  1. 將當(dāng)前的outputFrameBuffer 進(jìn)行unlock操作。因?yàn)槊總€(gè)target在setInputFrameBufferForTarget的時(shí)候都會(huì)對(duì)這個(gè)frameBuffer進(jìn)行一次lock操作,因此在這個(gè)時(shí)候,當(dāng)前的output對(duì)這個(gè)frameBuffer的使用已經(jīng)結(jié)束。如果調(diào)用過(guò)useNextFrameForImageCapture方法來(lái)截圖的話,則不能講這個(gè)outputFrameBuffer給remove掉,因?yàn)檫€要進(jìn)行截圖操作。
  2. 調(diào)用所有target的newFrameReadyAtTime:frameTime :atIndex:方法,告訴所有的target進(jìn)行他們?cè)撟龅氖虑椤?/li>

nextAvailableTextureIndex

由于默認(rèn)的Filter只有一個(gè)輸入的frameBuffer,因此下一個(gè)可用的textureIndex為0.

- (NSInteger)nextAvailableTextureIndex;
{
    return 0;
}

setInputFramebuffer:atIndex

informTargetsAboutNewFrameAtTime中,會(huì)對(duì)每個(gè)target都調(diào)用這個(gè)方法。這個(gè)方法做的最重要的事情就是保留住這個(gè)frameBuffer,讓它不會(huì)被歸還到FrameBufferCache中,從而能夠使用這個(gè)frameBuffer的結(jié)果進(jìn)行渲染。

- (void)setInputFramebuffer:(GPUImageFramebuffer *)newInputFramebuffer atIndex:(NSInteger)textureIndex;
{
    firstInputFramebuffer = newInputFramebuffer;
    [firstInputFramebuffer lock];
}

其他屬性的傳遞:

除了FrameBuffer之外,F(xiàn)ilter之間還需要傳遞其他的屬性,包括inputSize以及inputRotation。inputSize是用來(lái)從FrameBufferCache中獲取frameBuffer的,而inputRotation則是用來(lái)計(jì)算真正進(jìn)行渲染的size以及textureCoordinate的。

渲染過(guò)程

GPUImageFilter最重要的任務(wù)就是進(jìn)行渲染,因此我們將著重解析一下渲染模塊的代碼。
在OpenGL ES Program創(chuàng)建好并且link成功了之后,我們就可以使用這個(gè)Program進(jìn)行渲染了。整個(gè)渲染的過(guò)程發(fā)生在- (void)renderToTextureWithVertices:textureCoordinates:中。我們也借著解析這個(gè)方法來(lái)熟悉一下OpenGL ES的渲染過(guò)程:

  1. 第一步是將當(dāng)前program所在的context設(shè)置為默認(rèn)context;
  2. 第二步是將當(dāng)前的program設(shè)置為active,然后才能使用:
[GPUImageContext setActiveShaderProgram:filterProgram];

這兩部都發(fā)生在GPUImageContext中的setActiveShaderProgram:filterProgram方法中:

+ (void)setActiveShaderProgram:(GLProgram *)shaderProgram;
{
    GPUImageContext *sharedContext = [GPUImageContext sharedImageProcessingContext];
    [sharedContext setContextShaderProgram:shaderProgram];
}
  1. 第三步是獲得一個(gè)渲染的標(biāo)的物,即GPUImageFrameBuffer,并且將其設(shè)置為active。根據(jù)之前的介紹,我們是從GPUImageFrameBufferCache中獲得這個(gè)frameBuffer的。如果需要獲得當(dāng)前filter的處理結(jié)果的話,那么久需要再次將這個(gè)frameBuffer進(jìn)行l(wèi)ock。
    outputFramebuffer = [[GPUImageContext sharedFramebufferCache] fetchFramebufferForSize:[self sizeOfFBO] textureOptions:self.outputTextureOptions onlyTexture:NO];
    [outputFramebuffer activateFramebuffer];
    if (usingNextFrameForImageCapture)
    {
        [outputFramebuffer lock];
    }
  1. 將整個(gè)FrameBuffer的數(shù)據(jù)使用backgroundColor進(jìn)行清空:
glClearColor(backgroundColorRed, backgroundColorGreen, backgroundColorBlue, backgroundColorAlpha);
glClear(GL_COLOR_BUFFER_BIT);
  1. 將上一個(gè)Output傳遞過(guò)來(lái)的FrameBuffer作為texture用來(lái)渲染:
glActiveTexture(GL_TEXTURE2);
glBindTexture(GL_TEXTURE_2D, [firstInputFramebuffer texture]);
glUniform1i(filterInputTextureUniform, 2);
  1. 將頂點(diǎn)的位置信息以及頂點(diǎn)的紋理坐標(biāo)信息作為attribute傳遞給GPU:
glVertexAttribPointer(filterPositionAttribute, 2, GL_FLOAT, 0, 0, vertices);
glVertexAttribPointer(filterTextureCoordinateAttribute, 2, GL_FLOAT, 0, 0, textureCoordinates);
  1. 進(jìn)行渲染:
glDrawArrays(GL_TRIANGLE_STRIP, 0, 4);
  1. 釋放上一個(gè)output傳過(guò)來(lái)的frameBuffer。因?yàn)樵诋?dāng)前的Filter中,這個(gè)FrameBuffer的任務(wù)已經(jīng)完成,應(yīng)該讓它盡快回到Cache中進(jìn)行重用。
[firstInputFramebuffer unlock];

至此,整個(gè)渲染過(guò)程就結(jié)束了。

GLProgram的交互

在不同的Filter中,渲染的不同效果主要是在FragmentShader中造成的。因此為了實(shí)現(xiàn)不同的效果,F(xiàn)ragmentShader中會(huì)有很多不一樣的uniform。因此,GPUImageFilter提供了一些通用的方法,讓子類可以輕松的進(jìn)行設(shè)置。這些方法只是簡(jiǎn)單的對(duì)OpenGL ES命令進(jìn)行面向?qū)ο蟀b,并且提供了一個(gè)恢復(fù)機(jī)制。以float型的uniform為例:

- (void)setFloat:(GLfloat)floatValue forUniform:(GLint)uniform program:(GLProgram *)shaderProgram;
{
    runAsynchronouslyOnVideoProcessingQueue(^{
        [GPUImageContext setActiveShaderProgram:shaderProgram];
        [self setAndExecuteUniformStateCallbackAtIndex:uniform forProgram:shaderProgram toBlock:^{
            glUniform1f(uniform, floatValue);
        }];
    });
}

其他的所有類型的uniform可以同理而論。

總結(jié)

GPUImageFilter是整個(gè)框架的核心,它實(shí)現(xiàn)了很多的基礎(chǔ)功能,也提供了很多可供子類覆蓋和調(diào)用的方法。作者通過(guò)良好的設(shè)計(jì),使得整個(gè)Filter的使用和繼承非常方便,有很多值得學(xué)習(xí)的設(shè)計(jì)思路。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容