OpenGL ES :GLSL加载图片

2,865 阅读11分钟

利用GLSL自定义的着色去加载一张图片,效果图如下:

因为OpenGL 纹理坐标与我们日常开发中的坐标点不同(0,0)iOS中表示左上角 ,而openGL 表示左下角,所以会导致我们加载的图片发生倒置,之后我们会采用一些方式进行处理

GLSL 加载流程

  1. 创建顶点着色器、片元着色器文件、自定义视图、属性等
  2. 自定义着色器:利用GLSL编写自定义的顶点、片元着色器
  3. 初始化:创建layer、context,清空缓存区,以及设置Render和Frame缓存区
  4. 绘制:主要是GLSL加载、顶点数据处理以及加载纹理,最后绘制到屏幕上

流程图如下:

创建顶点着色器、片元着色器文件
  • 在Xcode中 command + N,开始新建文件 选择 ios --> Other --> Empty,点击next 输入文件名,例如shaderv.vsh 点击create ,即可创建顶点着色器文件 重复操作创建片元着色器shaderf.fsh 文件

  • 值得注意的是,这里的.vsh 、.fsh 文件后缀并没有实际要求也可以用.glsl 都是可以的,实际上只是2个文本编辑文件中存储了一些字符串

  • 通常我们在.vsh 中进行 顶点绑定 ,在.fsh 中进行着色器的数据处理

代码如下

//顶点坐标
attribute vec4 position;
纹理坐标
attribute vec2 textCoordinate;
//纹理坐标
varying lowp vec2 varyTextCoord;

void main(){
    //通过varying 修饰的varyTextCoord,将纹理坐标传递到片元着色器
    varyTextCoord = textCoordinate;
    //给内江变量gl_Position赋值
    gl_Position = position;
}

片元着色器 必须指定 float 的默认精度,在实际开发中 .vsh 与.fsh 文件中要去掉中文注释避免发生未知错误

//指定float的默认精度
precision highp float;
//纹理坐标
varying lowp vec2 varyTextCoord;
//纹理采样器(获取对应的纹理ID)
uniform sampler2D colorMap;

void main(){
    //texture2D(纹理采样器,纹理坐标),获取对应坐标纹素
    //纹理坐标添加到对应像素点上,即将读取的纹素赋值给内建变量 gl_FragColor
    gl_FragColor = texture2D(colorMap, varyTextCoord);
}

初始化

  • setupLayer:创建图层
  • setupContext:创建上下文
  • deleteRenderAndFrameBuffer:清理缓存区
  • setupRenderBuffer、setupFrameBuffer:设置RenderBuffer & FrameBuffer

setupLayer函数:创建图层

导入头文件 #import <OpenGLES/ES2/gl.h>

我们知道在iOS中UIView中负责显示绘制内容的是layer,layer也是OpenGL ES绘制内容的载体,自定义的UIView 中添加一个 CAEAGLLayer 的layer 用于openGL 的绘制 @property(nonatomic,strong)CAEAGLLayer *myEagLayer;

  • 创建特殊图层,有两种方式
    1. 直接使用view自带的layer 由于UIView中自带的layer是继承自CALayer的,而需要创建的layer是继承自CAEAGLLayer的,所以需要重写类方法layerClass,返回[CAEAGLLayer class]
    2. 使用init创建图层 可以直接使用[[CAEAGLLayer alloc] init]创建一个新的layer,将其add到layer上 此处我们使用的是view自带的layer
  • 设置scale,将layer的大小设置为跟屏幕大小一致
  • drawableProperties 设置描述属性
    1. kEAGLDrawablePropertyRetainedBacking 只有true 或者 false两种
    2. kEAGLDrawablePropertyColorFormat有以下三种值
kEAGLDrawablePropertyColorFormat枚举值描述
kEAGLColorFormatRGBA832位的RGBA颜色值(每个表示8位,所以4*8=32位)
kEAGLColorFormatRGB56516位的RGB颜色值
kEAGLColorFormatSRGBA8表示标准的红、绿、蓝,sRGB的色彩空间基于独立的色彩坐标,可以使色彩在不同的设备使用传输中对应于同一个色彩坐标体系,而不受这些设备各自具有的不同色彩坐标的影响。
属性描述默认值
kEAGLDrawablePropertyRetainedBacking表示绘图表面显示后,是否保留其内容false
kEAGLDrawablePropertyColorFormat可绘制表面的内部颜色缓存区格式kEAGLColorFormatRGBA8
-(void)setupLayer
{
    self.myEagLayer = (CAEAGLLayer *)self.layer;
    [self setContentScaleFactor:[[UIScreen mainScreen]scale]];
    self.myEagLayer.drawableProperties = [NSDictionary dictionaryWithObjectsAndKeys:@false,kEAGLDrawablePropertyRetainedBacking, kEAGLColorFormatRGBA8,kEAGLDrawablePropertyColorFormat,nil];
}

+(Class)layerClass
{
    return [CAEAGLLayer class];
}

setupContext函数:创建上下文

自定义的UIView 中添加一个 EAGLContext 的context,用于接收当前绘制的上下文 @property(nonatomic,strong)EAGLContext *myContext;

//2、创建上下文
- (void)setupContext{
//    1、指定OpenGL ES 渲染API版本 kEAGLRenderingAPIOpenGLES2 为2D kEAGLRenderingAPIOpenGLES3 为3D
//    2、创建图形上下文
    EAGLContext *context = [[EAGLContext alloc] initWithAPI:kEAGLRenderingAPIOpenGLES2];
//    3、判断是否创建成功
    if (!context) {
        NSLog(@"Create context failed!");
        return;
    }
//    4、设置图形上下文
    if (![EAGLContext setCurrentContext:context]) {
        NSLog(@"setCurrentContext failed");
        return;
    }
//    5、将局部变量赋值给全局变量
    self.myContext = context;
}

deleteRenderAndFrameBuffer函数:清理缓存区

//3、清空缓存区
- (void)deleteRenderAndFrameBuffer{
//    清空渲染缓存区
    glDeleteBuffers(1, &_myColorRenderBuffer);
    self.myColorRenderBuffer = 0;
    
//    清空帧缓存区
    glDeleteBuffers(1, &_myColorFrameBuffer);
    self.myColorFrameBuffer = 0;
}

设置RenderBUffe & FrameBuffer

FrameBuffer:是一个收集颜色、深度和模板缓存区的附着点,简称FBO,即是一个管理者,用来管理RenderBuffer,且FrameBuffer没有实际的存储功能,真正实现存储的是RenderBuffer, RenderBuffer:是一个通过应用分配的2D图像缓冲区,需要附着在FrameBuffer上 下面这张图很形象的表示了两者间的关系

FrameBuffer有3个附着点

  • 颜色附着点(Color Attachment):管理纹理、颜色缓冲区
  • 深度附着点(depth Attachment):会影响颜色缓冲区,管理深度缓冲区(Depth Buffer)
  • 模板附着点(Stencil Attachment):管理模板缓冲区(Stencil Buffer)

RenderBuffer有3种缓存区

  • 深度缓存区(Depth Buffer):存储深度值等
  • 纹理缓存区:存储纹理坐标中对应的纹素、颜色值等
  • 模板缓存区(Stencil Buffer):存储模板

setupRenderBuffer函数

主要是创建RenderBufferID并申请标识符,将标识符绑定至GL_RENDERBUFFER,并且将layer的相关存储绑定到RenderBuffer对象

//4、设置RenderBuffer
- (void)setupRenderBuffer{
//    1、定义一个缓存区ID
    GLuint buffer;
    
//    2、申请一个缓存区标识符
    glGenRenderbuffers(1, &buffer);
    
//    3、赋值给全局变量
    self.myColorRenderBuffer = buffer;
    
//    4、将标识符绑定到GL_RENDERBUFFER
    glBindRenderbuffer(GL_RENDERBUFFER, self.myColorRenderBuffer);
    
//    5、将可绘制对象drawable object的CAEAGLLayer的存储绑定到OpenGL ES renderBuffer对象
    [self.myContext renderbufferStorage:GL_RENDERBUFFER fromDrawable:self.myEagLayer];
}

setupFrameBuffer函数

主要是创建FrameBuffer的ID并申请标识符,将标识符绑定至GL_FRAMEBUFFER,然后将RenderBuffer通过glFramebufferRenderbuffer函数绑定到FrameBuffer中的GL_COLOR_ATTACHMENT0附着点上,通过FrameBuffer来管理RenderBuffer,RenderBuffer存储相关数据到相应缓存区

注意:绑定renderBuffer和FrameBuffer是有顺序的,先有RenderBuffer,才有FrameBuffer

//5、设置FrameBuffer
- (void)setupFrameBuffer{
//    1、定义一个ID
    GLuint buffer;
    
//    2、申请一个缓存区标识符
    glGenBuffers(1, &buffer);
    
//    3、赋值给全局变量
    self.myColorFrameBuffer = buffer;
    
//    4、将标识符绑定到GL_FRAMEBUFFER
    glBindFramebuffer(GL_FRAMEBUFFER, self.myColorFrameBuffer);
    
//    5、将渲染缓存区的myColorRenderBuffer 通过 glFramebufferRenderbuffer函数绑定到GL_COLOR_ATTACHMENT0上
    /*
     glFramebufferRenderbuffer (GLenum target, GLenum attachment, GLenum renderbuffertarget, GLuint renderbuffer)
     参数1:绑定到的目标
     参数2:FrameBuffer的附着点
     参数3:需要绑定的渲染缓冲区目标
     参数4:渲染缓冲区
     */
    glFramebufferRenderbuffer(GL_FRAMEBUFFER, GL_COLOR_ATTACHMENT0, GL_RENDERBUFFER, self.myColorRenderBuffer);
}

绘制工作 renderLayer函数

//6.开始绘制
-(void)renderLayer{
    //设置清屏颜色
    glClearColor(0.3f, 0.45f, 0.5f, 1.0f);
    //清除屏幕
    glClear(GL_COLOR_BUFFER_BIT);
    
    //1.设置视口大小
    CGFloat scale = [[UIScreen mainScreen]scale];
    glViewport(self.frame.origin.x * scale, self.frame.origin.y * scale, self.frame.size.width * scale, self.frame.size.height * scale);
    
    //2.读取顶点着色程序、片元着色程序
    NSString *vertFile = [[NSBundle mainBundle]pathForResource:@"shaderv" ofType:@"vsh"];
    NSString *fragFile = [[NSBundle mainBundle]pathForResource:@"shaderf" ofType:@"fsh"];
    
    NSLog(@"vertFile:%@",vertFile);
    NSLog(@"fragFile:%@",fragFile);
    
    //3.加载shader
    self.myPrograme = [self loadShaders:vertFile Withfrag:fragFile];
    
    //4.链接
    glLinkProgram(self.myPrograme);
    GLint linkStatus;
    //获取链接状态
    glGetProgramiv(self.myPrograme, GL_LINK_STATUS, &linkStatus);
    if (linkStatus == GL_FALSE) {
        GLchar message[512];
        glGetProgramInfoLog(self.myPrograme, sizeof(message), 0, &message[0]);
        NSString *messageString = [NSString stringWithUTF8String:message];
        NSLog(@"Program Link Error:%@",messageString);
        return;
    }
    
    NSLog(@"Program Link Success!");
    //5.使用program
    glUseProgram(self.myPrograme);
    
    //6.设置顶点、纹理坐标
    //前3个是顶点坐标,后2个是纹理坐标
    GLfloat attrArr[] =
    {
        0.5f, -0.5f, -1.0f,     1.0f, 0.0f,
        -0.5f, 0.5f, -1.0f,     0.0f, 1.0f,
        -0.5f, -0.5f, -1.0f,    0.0f, 0.0f,
        
        0.5f, 0.5f, -1.0f,      1.0f, 1.0f,
        -0.5f, 0.5f, -1.0f,     0.0f, 1.0f,
        0.5f, -0.5f, -1.0f,     1.0f, 0.0f,
    };
    
    
    //7.-----处理顶点数据--------
    //(1)顶点缓存区
    GLuint attrBuffer;
    //(2)申请一个缓存区标识符
    glGenBuffers(1, &attrBuffer);
    //(3)将attrBuffer绑定到GL_ARRAY_BUFFER标识符上
    glBindBuffer(GL_ARRAY_BUFFER, attrBuffer);
    //(4)把顶点数据从CPU内存复制到GPU上
    glBufferData(GL_ARRAY_BUFFER, sizeof(attrArr), attrArr, GL_DYNAMIC_DRAW);

    //8.将顶点数据通过myPrograme中的传递到顶点着色程序的position
    //1.glGetAttribLocation,用来获取vertex attribute的入口的.
    //2.告诉OpenGL ES,通过glEnableVertexAttribArray,
    //3.最后数据是通过glVertexAttribPointer传递过去的。
    
    //(1)注意:第二参数字符串必须和shaderv.vsh中的输入变量:position保持一致
    GLuint position = glGetAttribLocation(self.myPrograme, "position");
    
    //(2).设置合适的格式从buffer里面读取数据
    glEnableVertexAttribArray(position);
    
    //(3).设置读取方式
    //参数1:index,顶点数据的索引
    //参数2:size,每个顶点属性的组件数量,1,2,3,或者4.默认初始值是4.
    //参数3:type,数据中的每个组件的类型,常用的有GL_FLOAT,GL_BYTE,GL_SHORT。默认初始值为GL_FLOAT
    //参数4:normalized,固定点数据值是否应该归一化,或者直接转换为固定值。(GL_FALSE)
    //参数5:stride,连续顶点属性之间的偏移量,默认为0;
    //参数6:指定一个指针,指向数组中的第一个顶点属性的第一个组件。默认为0
    glVertexAttribPointer(position, 3, GL_FLOAT, GL_FALSE, sizeof(GLfloat) * 5, NULL);
    
    
    //9.----处理纹理数据-------
    //(1).glGetAttribLocation,用来获取vertex attribute的入口的.
    //注意:第二参数字符串必须和shaderv.vsh中的输入变量:textCoordinate保持一致
    GLuint textCoor = glGetAttribLocation(self.myPrograme, "textCoordinate");
    
    //(2).设置合适的格式从buffer里面读取数据
    glEnableVertexAttribArray(textCoor);
    
    //(3).设置读取方式
    //参数1:index,顶点数据的索引
    //参数2:size,每个顶点属性的组件数量,1,2,3,或者4.默认初始值是4.
    //参数3:type,数据中的每个组件的类型,常用的有GL_FLOAT,GL_BYTE,GL_SHORT。默认初始值为GL_FLOAT
    //参数4:normalized,固定点数据值是否应该归一化,或者直接转换为固定值。(GL_FALSE)
    //参数5:stride,连续顶点属性之间的偏移量,默认为0;
    //参数6:指定一个指针,指向数组中的第一个顶点属性的第一个组件。默认为0
    glVertexAttribPointer(textCoor, 2, GL_FLOAT, GL_FALSE, sizeof(GLfloat)*5, (float *)NULL + 3);
    
    //10.加载纹理
    [self setupTexture:@"dean"];
    
    //11. 设置纹理采样器 sampler2D
    glUniform1i(glGetUniformLocation(self.myPrograme, "colorMap"), 0);
    
    //12.绘图
    glDrawArrays(GL_TRIANGLES, 0, 6);
    
    //13.从渲染缓存区显示到屏幕上
    [self.myContext presentRenderbuffer:GL_RENDERBUFFER];
}

绘制的整体流程图图所示

loadShaders:Withfrag: 函数

//加载shader
-(GLuint)loadShaders:(NSString *)vert Withfrag:(NSString *)frag
{
    //1.定义2个零时着色器对象
    GLuint verShader, fragShader;
    //创建program
    GLint program = glCreateProgram();
    
    //2.编译顶点着色程序、片元着色器程序
    //参数1:编译完存储的底层地址
    //参数2:编译的类型,GL_VERTEX_SHADER(顶点)、GL_FRAGMENT_SHADER(片元)
    //参数3:文件路径
    [self compileShader:&verShader type:GL_VERTEX_SHADER file:vert];
    [self compileShader:&fragShader type:GL_FRAGMENT_SHADER file:frag];
    
    //3.创建最终的程序
    glAttachShader(program, verShader);
    glAttachShader(program, fragShader);
    
    //4.释放不需要的shader
    glDeleteShader(verShader);
    glDeleteShader(fragShader);
    
    return program;
}

编译shader compileShader:type 函数

//编译shader
- (void)compileShader:(GLuint *)shader type:(GLenum)type file:(NSString *)file{
    
    //1.读取文件路径字符串
    NSString* content = [NSString stringWithContentsOfFile:file encoding:NSUTF8StringEncoding error:nil];
    const GLchar* source = (GLchar *)[content UTF8String];
    
    //2.创建一个shader(根据type类型)
    *shader = glCreateShader(type);
    
    //3.将着色器源码附加到着色器对象上。
    //参数1:shader,要编译的着色器对象 *shader
    //参数2:numOfStrings,传递的源码字符串数量 1个
    //参数3:strings,着色器程序的源码(真正的着色器程序源码)
    //参数4:lenOfStrings,长度,具有每个字符串长度的数组,或NULL,这意味着字符串是NULL终止的
    glShaderSource(*shader, 1, &source,NULL);
    //4.把着色器源代码编译成目标代码
    glCompileShader(*shader);
}

从图片中加载纹理 setupTexture: 函数

//从图片中加载纹理
- (GLuint)setupTexture:(NSString *)fileName {
    
    //1、将 UIImage 转换为 CGImageRef
    CGImageRef spriteImage = [UIImage imageNamed:fileName].CGImage;
    
    //判断图片是否获取成功
    if (!spriteImage) {
        NSLog(@"Failed to load image %@", fileName);
        exit(1);
    }
    
    //2、读取图片的大小,宽和高
    size_t width = CGImageGetWidth(spriteImage);
    size_t height = CGImageGetHeight(spriteImage);
    
    //3.获取图片字节数 宽*高*4(RGBA)
    GLubyte * spriteData = (GLubyte *) calloc(width * height * 4, sizeof(GLubyte));
    
    //4.创建上下文
    /*
     参数1:data,指向要渲染的绘制图像的内存地址
     参数2:width,bitmap的宽度,单位为像素
     参数3:height,bitmap的高度,单位为像素
     参数4:bitPerComponent,内存中像素的每个组件的位数,比如32位RGBA,就设置为8
     参数5:bytesPerRow,bitmap的没一行的内存所占的比特数
     参数6:colorSpace,bitmap上使用的颜色空间  kCGImageAlphaPremultipliedLast:RGBA
     */
    CGContextRef spriteContext = CGBitmapContextCreate(spriteData, width, height, 8, width*4,CGImageGetColorSpace(spriteImage), kCGImageAlphaPremultipliedLast);
    

    //5、在CGContextRef上--> 将图片绘制出来
    /*
     CGContextDrawImage 使用的是Core Graphics框架,坐标系与UIKit 不一样。UIKit框架的原点在屏幕的左上角,Core Graphics框架的原点在屏幕的左下角。
     CGContextDrawImage 
     参数1:绘图上下文
     参数2:rect坐标
     参数3:绘制的图片
     */
    CGRect rect = CGRectMake(0, 0, width, height);
   
    //6.使用默认方式绘制
    CGContextDrawImage(spriteContext, rect, spriteImage);
   
    //7、画图完毕就释放上下文
    CGContextRelease(spriteContext);
    
    //8、绑定纹理到默认的纹理ID(
    glBindTexture(GL_TEXTURE_2D, 0);
    
    //9.设置纹理属性
    /*
     参数1:纹理维度
     参数2:线性过滤、为s,t坐标设置模式
     参数3:wrapMode,环绕模式
     */
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR );
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR );
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);
    
    float fw = width, fh = height;
    
    //10.载入纹理2D数据
    /*
     参数1:纹理模式,GL_TEXTURE_1D、GL_TEXTURE_2D、GL_TEXTURE_3D
     参数2:加载的层次,一般设置为0
     参数3:纹理的颜色值GL_RGBA
     参数4:宽
     参数5:高
     参数6:border,边界宽度
     参数7:format
     参数8:type
     参数9:纹理数据
     */
    glTexImage2D(GL_TEXTURE_2D, 0, GL_RGBA, fw, fh, 0, GL_RGBA, GL_UNSIGNED_BYTE, spriteData);
    
    //11.释放spriteData
    free(spriteData);   
    return 0;
}

layoutSubviews 函数

-(void)layoutSubviews
{
    //1.设置图层
    [self setupLayer];
    
    //2.设置图形上下文
    [self setupContext];
    
    //3.清空缓存区
    [self deleteRenderAndFrameBuffer];

    //4.设置RenderBuffer
    [self setupRenderBuffer];
    
    //5.设置FrameBuffer
    [self setupFrameBuffer];
    
    //6.开始绘制
    [self renderLayer];
}