【转载】 GPUImage原理

358 阅读9分钟

GPUImage原理

GPUImage是一个开元的基于GPU的图片或视频的处理框架,其本身内置了多达120多种常见的滤镜效果,并且支持照相机和摄像机的实时滤镜,并且能够自定义图像滤镜。

美颜的基本概念

OpenGL ES:开源嵌入式系统图形的处理框架,一套图形与硬件接口,创造了软件与图形加速间灵活强大的底层交互接口。用于把处理好的图片显示到屏幕上。

GPU:(图形处理单元)手机或者电脑用于图像处理和渲染的硬件。

GPU工作原理:CPU指定显示器工作,显示控制器根据CPU的控制到指定的地方去取数据和指令,目前的数据一般是从显存里取,如果显存里存不下,则从内存里取,内存也放不下,则从硬盘里取。

滤镜处理的原理:就是把静态图片或者视频的每一帧进行图形变化后在显示到屏幕上,其本质就是像素点的坐标和颜色的变化。

OpenGL ES程序处理图片的步骤:

1.初始化OpenGL ES 环境,编译、链接顶点着色器和片元着色器。

2.缓存顶点、纹理坐标数据,传送图像数据到GPU

3.绘制图元到特定的帧缓存;

4.在帧缓存去除绘制的图像。

GPUImage基本概念

GPUImage是采用链式方法来处理画面,通过addTarget方法添加对象到链中,处理完一个target,就会吧上一个环节处理好的图像数据传递到下一个target处理,成为GPUImage处理链。

GPUImage的四大输入基础类,都可以作为响应链的起点,这些基础类会把图像作为纹理传给OpenGL ES处理,然后把纹理传递给响应链的下一个target对象。

GPUImage的处理环节

source(视频,图片源)->filter(滤镜)->final target(处理后的视频、图片)

source:

GPUImageVideoCamera 摄像头-用于实时拍摄视频

GPUImageStillCamera 摄像头-用于实时拍摄照片

GPUImagePicture 用于处理已经拍摄好的图片

GPUImageMovie 用于处理已经拍摄好的视频

filter

GPUImageFilter:就是用来接收源图像,通过自定义的顶点,片元着色器来渲染新的图像,并在绘制完成后通知响应链的下一个对象。

GPUImageFramebuffer:就是用来管理纹理缓存的格式与读写帧缓存的buffer。

GPUImage的filter:GPUImageFilter类或者子类,这个类继承自GPUImageOutput,遵循GPUImageInput协议,既可以流进数据,又可以流出GPUImage的final target: GPUImageView,GPUImageMovieWriter最终输入目标,显示图片或者视频。

解析

GPUImageVideoCamera

GPUImageVideoCamera是GPUImageOutput的子类,提供来自摄像头的图像数据作为源数据,一般是响应链的源头。

1.视频图像采集:AVCaptureSession

GPUImage使用AVFoundation框架来获取视频。AVCaptureSession类从AV输入设备的采集数据到指定的输出。

2.颜色空间:YUV

YUV是被欧洲电视系统索采用的一种颜色编码方法。采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V分量,那么这样表示的图像就是黑白灰度图像,彩色电视采用YUV空间正式为了用亮度信号Y解决彩色电视机与黑白电视机的兼容问题,使黑白电视机也能接收彩色电视信号。

YUV主要用于优化彩色视频信号的传输,使其向后相容老式黑白电视。与RGB视频信号传输相比,它最大的优点在于只需占用极少的频宽。

GPUImage中的YUV

GLProgram *yuvConversionProgram:将YUV颜色空间转换成RGB颜色空间的GLSL。 CVPixelBufferGetPlaneCount:返回缓冲区的平面数。

CVOpenGLESTextureCacheCreateTextureFromImage(): 创建两个纹理luminanceTextureRef(亮度纹理)和chrominanceTextureRef(色度纹理)。 convertYUVToRGBOutput():把YUV颜色空间的纹理转换成RGB颜色空间的纹理。

顶点着色器-通用kGPUImageVertexShaderString

片元着色器:

1.kGPUImageYUVFullRangeConversionForLAFragmentShaderString

2. kGPUImageYUVVideoRangeConversionForLAFragmentShaderString

  纹理绘制

 1. glActiveTexture(GL_TEXTURE1);

 2. glGenTextures(1, &_texture); 

 3. glBindTexture(GL_TEXTURE_2D, _texture);

  GPUImageView是响应链的终点,用于显示GPUImage图像

1.填充模式

GPUImageFillModeType fillMode图像的填充模式。

sizeInPixels 像素区域的大小

recalculateViewGeometry 重新计算图像顶点位置数据

AVMakeRectWithAspectRatioInsideRece 在保证宽高比不变的前提下,得到一个尽可能大的矩形。

 28 #import ``"GPUImageBrightnessFilter.h"                 //亮度

29 #import ``"GPUImageExposureFilter.h"                    //曝光

30 #import ``"GPUImageContrastFilter.h"                    //对比度

31 #import ``"GPUImageSaturationFilter.h"                //饱和度

32 #import ``"GPUImageGammaFilter.h"                         //伽马线

33 #import ``"GPUImageColorInvertFilter.h"              //反色

34 #import ``"GPUImageSepiaFilter.h"                         //褐色(怀旧)

35 #import ``"GPUImageLevelsFilter.h"                       //色阶

36 #import ``"GPUImageGrayscaleFilter.h"                 //灰度

37 #import ``"GPUImageHistogramFilter.h"                 //色彩直方图,显示在图片上

38 #import ``"GPUImageHistogramGenerator.h"            //色彩直方图

39 #import ``"GPUImageRGBFilter.h"                            //RGB

40 #import ``"GPUImageToneCurveFilter.h"                 //色调曲线

41 #import ``"GPUImageMonochromeFilter.h"               //单色

42 #import ``"GPUImageOpacityFilter.h"                    //不透明度

43 #import ``"GPUImageHighlightShadowFilter.h"      //提亮阴影

44 #import ``"GPUImageFalseColorFilter.h"               //色彩替换(替换亮部和暗部色彩)

45 #import ``"GPUImageHueFilter.h"                            //色度

46 #import ``"GPUImageChromaKeyFilter.h"                 //色度键

47 #import ``"GPUImageWhiteBalanceFilter.h"            //白平横

48 #import ``"GPUImageAverageColor.h"                       //像素平均色值

49 #import ``"GPUImageSolidColorGenerator.h"          //纯色

50 #import ``"GPUImageLuminosity.h"                          //亮度平均

51 #import ``"GPUImageAverageLuminanceThresholdFilter.h" //像素色值亮度平均,图像黑白(有类似漫画效果)

52 

53 #import ``"GPUImageLookupFilter.h"                      //lookup 色彩调整

54 #import ``"GPUImageAmatorkaFilter.h"                  //Amatorka lookup

55 #import ``"GPUImageMissEtikateFilter.h"            //MissEtikate lookup

56 #import ``"GPUImageSoftEleganceFilter.h"          //SoftElegance lookup

61 #pragma mark - 图像处理 Handle Image

62 

63 #import ``"GPUImageCrosshairGenerator.h"                    //十字

64 #import ``"GPUImageLineGenerator.h"                             //线条

65 

66 #import ``"GPUImageTransformFilter.h"                         //形状变化

67 #import ``"GPUImageCropFilter.h"                              //剪裁

68 #import ``"GPUImageSharpenFilter.h"                         //锐化

69 #import ``"GPUImageUnsharpMaskFilter.h"                      //反遮罩锐化

70 

71 #import ``"GPUImageFastBlurFilter.h"                        //模糊

72 #import ``"GPUImageGaussianBlurFilter.h"                     //高斯模糊

73 #import ``"GPUImageGaussianSelectiveBlurFilter.h"         //高斯模糊,选择部分清晰

74 #import ``"GPUImageBoxBlurFilter.h"                          //盒状模糊

75 #import ``"GPUImageTiltShiftFilter.h"                           //条纹模糊,中间清晰,上下两端模糊

76 #import ``"GPUImageMedianFilter.h"                             //中间值,有种稍微模糊边缘的效果

77 #import ``"GPUImageBilateralFilter.h"                           //双边模糊

78 #import ``"GPUImageErosionFilter.h"                              //侵蚀边缘模糊,变黑白

79 #import ``"GPUImageRGBErosionFilter.h"                        //RGB侵蚀边缘模糊,有色彩

80 #import ``"GPUImageDilationFilter.h"                            //扩展边缘模糊,变黑白

81 #import ``"GPUImageRGBDilationFilter.h"                      //RGB扩展边缘模糊,有色彩

82 #import ``"GPUImageOpeningFilter.h"                             //黑白色调模糊

83 #import ``"GPUImageRGBOpeningFilter.h"                       //彩色模糊

84 #import ``"GPUImageClosingFilter.h"                           //黑白色调模糊,暗色会被提亮

85 #import ``"GPUImageRGBClosingFilter.h"                       //彩色模糊,暗色会被提亮

86 #import ``"GPUImageLanczosResamplingFilter.h"               //Lanczos重取样,模糊效果

87 #import ``"GPUImageNonMaximumSuppressionFilter.h"        //非最大抑制,只显示亮度最高的像素,其他为黑

88 #import ``"GPUImageThresholdedNonMaximumSuppressionFilter.h" //与上相比,像素丢失更多

89 

90 #import ``"GPUImageSobelEdgeDetectionFilter.h"                  //Sobel边缘检测算法(白边,黑内容,有点漫画的反色效果)

91 #import ``"GPUImageCannyEdgeDetectionFilter.h"                  //Canny边缘检测算法(比上更强烈的黑白对比度)

92 #import ``"GPUImageThresholdEdgeDetectionFilter.h"          //阈值边缘检测(效果与上差别不大)

93 #import ``"GPUImagePrewittEdgeDetectionFilter.h"              //普瑞维特(Prewitt)边缘检测(效果与Sobel差不多,貌似更平滑)

94 #import ``"GPUImageXYDerivativeFilter.h"                            //XYDerivative边缘检测,画面以蓝色为主,绿色为边缘,带彩色

95 #import ``"GPUImageHarrisCornerDetectionFilter.h"            //Harris角点检测,会有绿色小十字显示在图片角点处

96 #import ``"GPUImageNobleCornerDetectionFilter.h"              //Noble角点检测,检测点更多

97 #import ``"GPUImageShiTomasiFeatureDetectionFilter.h"     //ShiTomasi角点检测,与上差别不大

98 #import ``"GPUImageMotionDetector.h"                            //动作检测

99 #import ``"GPUImageHoughTransformLineDetector.h"               //线条检测

100 #import ``"GPUImageParallelCoordinateLineTransformFilter.h" //平行线检测

101 

102 #import ``"GPUImageLocalBinaryPatternFilter.h"        //图像黑白化,并有大量噪点

103 

104 #import ``"GPUImageLowPassFilter.h"                    //用于图像加亮

105 #import ``"GPUImageHighPassFilter.h"                  //图像低于某值时显示为黑

107 

108 #pragma mark - 视觉效果 Visual Effect

109 

110 #import ``"GPUImageSketchFilter.h"                            //素描

111 #import ``"GPUImageThresholdSketchFilter.h"           //阀值素描,形成有噪点的素描

112 #import ``"GPUImageToonFilter.h"                              //卡通效果(黑色粗线描边)

113 #import ``"GPUImageSmoothToonFilter.h"                   //相比上面的效果更细腻,上面是粗旷的画风

114 #import ``"GPUImageKuwaharaFilter.h"                       //桑原(Kuwahara)滤波,水粉画的模糊效果;处理时间比较长,慎用

115 

116 #import ``"GPUImageMosaicFilter.h"                           //黑白马赛克

117 #import ``"GPUImagePixellateFilter.h"                      //像素化

118 #import ``"GPUImagePolarPixellateFilter.h"            //同心圆像素化

119 #import ``"GPUImageCrosshatchFilter.h"                   //交叉线阴影,形成黑白网状画面

120 #import ``"GPUImageColorPackingFilter.h"               //色彩丢失,模糊(类似监控摄像效果)

121 

122 #import ``"GPUImageVignetteFilter.h"                       //晕影,形成黑色圆形边缘,突出中间图像的效果

123 #import ``"GPUImageSwirlFilter.h"                             //漩涡,中间形成卷曲的画面

124 #import ``"GPUImageBulgeDistortionFilter.h"           //凸起失真,鱼眼效果

125 #import ``"GPUImagePinchDistortionFilter.h"           //收缩失真,凹面镜

126 #import ``"GPUImageStretchDistortionFilter.h"        //伸展失真,哈哈镜

127 #import ``"GPUImageGlassSphereFilter.h"                  //水晶球效果

128 #import ``"GPUImageSphereRefractionFilter.h"         //球形折射,图形倒立

129     

130 #import ``"GPUImagePosterizeFilter.h"                      //色调分离,形成噪点效果

131 #import ``"GPUImageCGAColorspaceFilter.h"               //CGA色彩滤镜,形成黑、浅蓝、紫色块的画面

132 #import ``"GPUImagePerlinNoiseFilter.h"                  //柏林噪点,花边噪点

133 #import ``"GPUImage3x3ConvolutionFilter.h"             //3x3卷积,高亮大色块变黑,加亮边缘、线条等

134 #import ``"GPUImageEmbossFilter.h"                           //浮雕效果,带有点3d的感觉

135 #import ``"GPUImagePolkaDotFilter.h"                       //像素圆点花样

136 #import ``"GPUImageHalftoneFilter.h"                       //点染,图像黑白化,由黑点构成原图的大致图形

137 

138

139 #pragma mark - 混合模式 Blend

140 

141 #import ``"GPUImageMultiplyBlendFilter.h"              //通常用于创建阴影和深度效果

142 #import ``"GPUImageNormalBlendFilter.h"                  //正常

143 #import ``"GPUImageAlphaBlendFilter.h"                    //透明混合,通常用于在背景上应用前景的透明度

144 #import ``"GPUImageDissolveBlendFilter.h"              //溶解

145 #import ``"GPUImageOverlayBlendFilter.h"                //叠加,通常用于创建阴影效果

146 #import ``"GPUImageDarkenBlendFilter.h"                  //加深混合,通常用于重叠类型

147 #import ``"GPUImageLightenBlendFilter.h"                //减淡混合,通常用于重叠类型

148 #import ``"GPUImageSourceOverBlendFilter.h"           //源混合

149 #import ``"GPUImageColorBurnBlendFilter.h"             //色彩加深混合

150 #import ``"GPUImageColorDodgeBlendFilter.h"           //色彩减淡混合

151 #import ``"GPUImageScreenBlendFilter.h"                  //屏幕包裹,通常用于创建亮点和镜头眩光

152 #import ``"GPUImageExclusionBlendFilter.h"            //排除混合

153 #import ``"GPUImageDifferenceBlendFilter.h"           //差异混合,通常用于创建更多变动的颜色

154 #import ``"GPUImageSubtractBlendFilter.h"               //差值混合,通常用于创建两个图像之间的动画变暗模糊效果

155 #import ``"GPUImageHardLightBlendFilter.h"            //强光混合,通常用于创建阴影效果

156 #import ``"GPUImageSoftLightBlendFilter.h"            //柔光混合

157 #import ``"GPUImageChromaKeyBlendFilter.h"            //色度键混合

158 #import ``"GPUImageMaskFilter.h"                          //遮罩混合

159 #import ``"GPUImageHazeFilter.h"                          //朦胧加暗

160 #import ``"GPUImageLuminanceThresholdFilter.h"    //亮度阈

161 #import ``"GPUImageAdaptiveThresholdFilter.h"      //自适应阈值

162 #import ``"GPUImageAddBlendFilter.h"                      //通常用于创建两个图像之间的动画变亮模糊效果

163 #import ``"GPUImageDivideBlendFilter.h"                //通常用于创建两个图像之间的动画变暗模糊效果

164