OpenGL ES(六) 使用GLSL加载图片

1,702 阅读8分钟

在前面两章,我们使用GLKit来加载了一张图片。在本章,我们使用GLSL来加载一张图片。

自定义着色器

说明:

lowp:低精度
highp:高精度

利用GLSL自定义顶点着色器

  • position:外部传入的顶点坐标
  • textureCoordinate:外部传入的纹理坐标
  • varyTextureCoordinate:与片元着色器桥接的变量,用来将纹理坐标从顶点着色器传递到片元着色器
  • gl_Position:内建变量,用来将顶点直接赋值给改内建变量
attribute vec4 position;
attribute vec2 textureCoordinate;
varying lowp vec2 varyTextureCoordinate;


void main() {
    varyTextureCoordinate = textureCoordinate;
    gl_Position = position;
}

利用GLSL自定义片元着色器

  • varyTextureCoordinate:与顶点着色器桥接的变量,名称必须和顶点着色器中的要一模一样,如果不一致,纹理坐标数据将无法传递
  • colorMap:纹理采样器,用于获取纹理坐标每个像素点的纹素
  • gl_FragColor:内建变量
precision highp float;
varying lowp vec2 varyTextureCoordinate;
uniform sampler2D colorMap;

void main() {
    gl_FragColor = texture2D(colorMap, varyTextureCoordinate);
}

重写layerClass

+ (Class)layerClass {
    return [CAEAGLLayer class];
}

设置layer

- (void)setupLayer{
    self.eagLayer = (CAEAGLLayer *)self.layer;
    
    // 设置scale
    self.contentScaleFactor = [UIScreen mainScreen].scale;
    
    // 描述属性
    self.eagLayer.drawableProperties = @{kEAGLDrawablePropertyRetainedBacking: @(NO),
                                         kEAGLDrawablePropertyColorFormat: kEAGLColorFormatRGBA8};
}

kEAGLDrawablePropertyRetainedBacking

表示绘图表面显示后,是否保留其内容。只有YESNO两个值。默认NO

kEAGLDrawablePropertyColorFormat

可绘制表面的内部颜色缓存区格式。有三个值。

属性说明
kEAGLColorFormatRGBA832位的RGBA颜色值(每个表示8位,所以4*8=32位)
kEAGLColorFormatRGB56516位的RGB颜色值
kEAGLColorFormatSRGBA8表示标准的红、绿、蓝。
sRGB的色彩空间基于独立的色彩坐标,可以使色彩在不同的设备
使用传输中对应于同一个色彩坐标体系,而不受这些设备各自具有
的不同色彩坐标的影响。

设置上下文

- (void)setupContext{
    self.eaglContext = [[EAGLContext alloc] initWithAPI:kEAGLRenderingAPIOpenGLES3];
    if (!self.eaglContext) {
        NSLog(@"Creat Context Failed!");
        return;
    }
    [EAGLContext setCurrentContext:self.eaglContext];
}

清空缓冲区

buffer分为frame bufferrender buffer2个大类。其中frame buffer相当于render buffer的管理者。frame buffer object即称FBOrender buffer则又可分为3类:colorBufferdepthBufferstencilBuffer

我们需要清理两个缓冲区。

- (void)deleteRenderAndFrameBuffer{
    glDeleteBuffers(1, &_renderBufferID);
    self.renderBufferID = 0;
    
    glDeleteBuffers(1, &_frameBufferID);
    self.frameBufferID = 0;
}

设置RenderBufferFrameBuffer

  • RenderBuffer:是一个通过应用分配的2D图像缓冲区,需要附着在FrameBuffer
  • FrameBuffer:是一个收集颜色、深度和模板缓存区的附着点,简称FBO,即是一个管理者。用来管理RenderBuffer,且FrameBuffer没有实际的存储功能,真正实现存储的是RenderBuffer

图片来源于网络

FrameBuffer有3个附着点:

  • 颜色附着点(Color Attachment):管理纹理、颜色缓冲区
  • 深度附着点(depth Attachment):会影响颜色缓冲区,管理深度缓冲区(Depth Buffer)
  • 模板附着点(Stencil Attachment):管理模板缓冲区(Stencil Buffer)

RenderBuffer有3种缓存区

  • 深度缓存区(Depth Buffer):存储深度值等
  • 纹理缓存区:存储纹理坐标中对应的纹素、颜色值等
  • 模板缓存区(Stencil Buffer):存储模板
- (void)setupRenderBufferAndFrameBuffer{
    GLuint renderBufferID;
    glGenBuffers(1, &renderBufferID);
    self.renderBufferID = renderBufferID;
    // 将标识符绑定到`GL_RENDERBUFFER`
    glBindRenderbuffer(GL_RENDERBUFFER, self.renderBufferID);
    // 将可绘制对象`CAEAGLLayer`的存储绑定到`RenderBuffer`对象
    [self.eaglContext renderbufferStorage:GL_RENDERBUFFER fromDrawable:self.eagLayer];
    
    GLuint frameBufferID;
    glGenBuffers(1, &frameBufferID);
    self.frameBufferID = frameBufferID;
    // 将标识符绑定到`GL_FRAMEBUFFER`
    glBindFramebuffer(GL_FRAMEBUFFER, self.frameBufferID);
    //`renderBufferID`通过`glFramebufferRenderbuffer`函数绑定到`GL_COLOR_ATTACHMENT0`
    glFramebufferRenderbuffer(GL_FRAMEBUFFER, GL_COLOR_ATTACHMENT0, GL_RENDERBUFFER, self.renderBufferID);
}

绘制

绘制主要包含5个步骤:

  • 初始化:初始化背景颜色,清理缓存,并设置视口大小;
  • GLSL自定义着色器加载:对自定义着色器进行加载,大致步骤为读取 -> 加载 -> 编译 -> program链接 -> 使用
  • 顶点数据设置及处理:将顶点坐标和纹理坐标读取到自定义的顶点着色器中;
  • 加载纹理:将png/jpg图片解压成位图,并读取纹理每个像素点的纹素;
  • 绘制:开始绘制,存储到RenderBuffer,从RenderBuffer将图片显示到屏幕上;

初始化

glClearColor(0.3f, 0.45f, 0.5f, 1.0f);
glClear(GL_COLOR_BUFFER_BIT);
CGFloat scale = [[UIScreen mainScreen]scale];
glViewport(self.frame.origin.x * scale, self.frame.origin.y * scale, self.frame.size.width * scale, self.frame.size.height * scale);

GLSL自定义着色器加载

自定义着色器的加载主要分为4步:

  • 读取自定义着色器;
  • compileShader & loadShaders函数:编译&加载着色器;
  • 链接program & 判断链接是否成功;
  • 使用program;
1、读取自定义着色器
NSString *vertexFile = [[NSBundle mainBundle]pathForResource:@"shaderv" ofType:@"vsh"];
NSString *fragmentFile = [[NSBundle mainBundle]pathForResource:@"shaderf" ofType:@"fsh"];
2、compileShader & loadShaders函数
  • 根据文件路径读取着色器文件中的源码字符串,并将其转换为c中的字符串,类型为GLchar
  • 根据传入的着色器类型type,调用glCreateShader函数创建一个带有唯一标识ID的着色器,此时着色器中并没有附加相对应的源码
  • 将读取的着色器源码通过glShaderSource函数附加到创建的shader上,并将shader的ID返回给loadShaders函数中shader,以ID来获取并使用对应的着色器
  • 通过glCompileShader函数将shader上附加的源码编译成目标代码
- (void)compileShader:(GLuint *)shader type:(GLenum)type filePath:(NSString *)filePath{
    // 读取文件路径字符串
    NSString *content = [NSString stringWithContentsOfFile:filePath encoding:NSUTF8StringEncoding error:nil];
    const GLchar *source = (GLchar *)[content UTF8String];
    // 创建一个shader(根据type类型)
    *shader = glCreateShader(type);
    // 将着色器源码附加到着色器对象上。
    // 参数1:shader,要编译的着色器对象 *shader
    // 参数2:numOfStrings,传递的源码字符串数量 1个
    // 参数3:strings,着色器程序的源码(真正的着色器程序源码)
    // 参数4:lenOfStrings,长度,具有每个字符串长度的数组,或NULL,这意味着字符串是NULL终止的
    glShaderSource(*shader, 1, &source, NULL);
    // 把着色器源代码编译成目标代码
    glCompileShader(*shader);
}



分别将顶点着色器和片元着色器编译完成后,并返回着色器对应的ID(vertexShaderIDfragmentShaderID),然后通过glAttachShader函数将顶点和片元的shaderID分别附着到programID上,然后释放不再使用的shaderID,并赋值给全局的programID

- (GLuint)loadShaderWithVertexPath:(NSString *)vertexPath fragmentPath:(NSString *)fragmentPath{
    // 定义顶点着色器ID、片元着色器ID
    GLuint vertexShaderID;
    GLuint fragmentShaderID;
    
    // 创建program
    GLint programID = glCreateProgram();
    
    // 编译顶点着色器程序
    [self compileShader:&vertexShaderID type:GL_VERTEX_SHADER filePath:vertexPath];
    [self compileShader:&fragmentShaderID type:GL_FRAGMENT_SHADER filePath:fragmentPath];
    
    // 创建最终的程序
    glAttachShader(programID, vertexShaderID);
    glAttachShader(programID, fragmentShaderID);
    
    // 释放
    glDeleteShader(vertexShaderID);
    glDeleteShader(fragmentShaderID);
    
    return programID;
}
3、链接program & 判断链接是否成功
  • 通过glLinkProgram函数链接programID
  • 可以通过glGetProgramiv函数获取链接的状态,判断链接是成功还是失败
  • 如果链接失败,可以通过glGetProgramIngoLog函数获取错误信息日志,根据错误信息一致去排查问题
// 链接
glLinkProgram(self.programeID);

// 判断链接状态
GLint linkStatus;
glGetProgramiv(self.programeID, GL_LINK_STATUS, &linkStatus);
if (linkStatus == GL_FALSE) {
    GLchar message[1024];
    glGetProgramInfoLog(self.programeID, sizeof(message), 0, &message[0]);
    NSString *messageString = [NSString stringWithUTF8String:message];
    NSLog(@"Program Link Error:%@",messageString);
    return;
}
4、使用program

通过glUseProgram函数来使用链接成功的programID

glUseProgram(self.programeID);

顶点数据设置及处理

主要分3步:

  • 设置顶点数据:主要是初始化顶点坐标和纹理坐标
  • 开辟顶点缓存区:用于将顶点数据从CPU拷贝至GPU
  • 打开顶点/片元的通道(iOS系统默认关闭)
1、设置顶点数据

由两个三角形拼接而成

GLfloat attrArr[] =
{
    0.5f, -0.5f, -1.0f,     1.0f, 0.0f,
    -0.5f, 0.5f, -1.0f,     0.0f, 1.0f,
    -0.5f, -0.5f, -1.0f,    0.0f, 0.0f,
    
    0.5f, 0.5f, -1.0f,      1.0f, 1.0f,
    -0.5f, 0.5f, -1.0f,     0.0f, 1.0f,
    0.5f, -0.5f, -1.0f,     1.0f, 0.0f,
};
2、开辟顶点缓存区
GLuint bufferID;
glGenBuffers(1, &bufferID); // 申请一个缓存区标识符
glBindBuffer(GL_ARRAY_BUFFER, bufferID); // 将attrBuffer绑定到GL_ARRAY_BUFFER标识符上
glBufferData(GL_ARRAY_BUFFER, sizeof(attrArr), attrArr, GL_DYNAMIC_DRAW); // 把顶点数据从CPU内存复制到GPU上
3、打开顶点/片元的通道(iOS系统默认关闭)

有顶点坐标和纹理坐标两种,需要分别开启两次。

  • 开启顶点
// 获取vertex attribute的入口
GLuint position = glGetAttribLocation(self.programeID, "position");
// 设置合适的格式从buffer里面读取数据
glEnableVertexAttribArray(position);
// 设置读取方式
glVertexAttribPointer(position, 3, GL_FLOAT, GL_FALSE, sizeof(GLfloat) * 5, (float *)NULL);
  • 开启纹理
GLuint textureCoordinate = glGetAttribLocation(self.programeID, "textureCoordinate");
glEnableVertexAttribArray(textureCoordinate);
glVertexAttribPointer(textureCoordinate, 2, GL_FLOAT, GL_FALSE, sizeof(GLfloat)*5, (float *)NULL + 3);

加载纹理

主要是将png/jpg图片解压成位图,并通过自定义着色器读取纹理每个像素点的纹素。

  • 将png/jpg解压成位图,加载成纹理数据,其中纹理的解压缩使用的都是CoreGraphic

图片解压缩的一般步骤:
1、将UIImage 转换为CGImageRef,判断图片是否获取成功;
2、设置图的大小,宽和高;
3、获取图片字节数 = 宽高4(rgba);
4、创建CGContextRef上下文;
5、使用CGContextDrawImage绘制图片;

// 将UIImage转变为CGImage
CGImageRef spriteImage = [UIImage imageNamed:imageName].CGImage;

// 判断是个获取成功
if (!spriteImage) {
    NSLog(@"Failed to load image");
    return;
}

// 读取图片打宽、高
size_t width = CGImageGetWidth(spriteImage);
size_t height = CGImageGetHeight(spriteImage);

// 获取图片字节数
GLubyte *spriteImageData = (GLubyte *)calloc(width * height * 4, sizeof(GLubyte));

// 创建位图
/*
 参数1:data,指向要渲染的绘制图像的内存地址
 参数2:width,bitmap的宽度,单位为像素
 参数3:height,bitmap的高度,单位为像素
 参数4:bitPerComponent,内存中像素的每个组件的位数,比如32位RGBA,就设置为8
 参数5:bytesPerRow,bitmap的没一行的内存所占的比特数
 参数6:colorSpace,bitmap上使用的颜色空间  kCGImageAlphaPremultipliedLast:RGBA
 参数7:
 */
CGContextRef spriteContext = CGBitmapContextCreate(spriteImageData,
                                                   width,
                                                   height,
                                                   8,
                                                   width * 4,
                                                   CGImageGetColorSpace(spriteImage),
                                                   kCGImageAlphaPremultipliedLast);
                                                   
CGRect rect = CGRectMake(0, 0, width, height);
// 图片翻转
CGRect rect = CGRectMake(0, 0, width, height);
CGContextTranslateCTM(spriteContext, rect.origin.x, rect.origin.y); // 围绕x、y平移
CGContextTranslateCTM(spriteContext, 0, rect.size.height); // 围绕y平移
CGContextScaleCTM(spriteContext, 1.0, -1.0); // x⽅向不变,y⽅向沿着画布⾃己的坐标系对应的y轴渲染翻转
CGContextTranslateCTM(spriteContext, -rect.origin.x, -rect.origin.y); // 相对于画布,在自己的坐标系上画图
// 绘制图片
CGContextDrawImage(spriteContext, rect, spriteImage);

// 释放
CGContextRelease(spriteContext);

// 绑定纹理
glBindTexture(GL_TEXTURE_2D, 0);

// 设置纹理属性
glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR );
glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR );
glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);

// 载入纹理
/*
 参数1:纹理模式,GL_TEXTURE_1D、GL_TEXTURE_2D、GL_TEXTURE_3D
 参数2:加载的层次,一般设置为0
 参数3:纹理的颜色值GL_RGBA
 参数4:宽
 参数5:高
 参数6:border,边界宽度
 参数7:format
 参数8:type
 参数9:纹理数据
 */
glTexImage2D(GL_TEXTURE_2D, 0, GL_RGBA, (GLsizei)width, (GLsizei)height, 0, GL_RGBA, GL_UNSIGNED_BYTE, spriteImageData);

// 释放
free(spriteImageData);
  • 设置纹理采样器(主要是获取纹理中对应像素点的的颜色值,即纹素)
GLint colorMap = glGetUniformLocation(self.programeID, "colorMap");
// 有两个参数,第一个参数是 fragment uniform的入口,本质也是一个ID,第二个参数是纹理的ID,使用的是默认的ID 0
glUniform1i(colorMap, 0);

绘制

glDrawArrays(GL_TRIANGLES, 0, 6); // 指定图元连接方式
[self.eaglContext presentRenderbuffer:GL_RENDERBUFFER]; // 将绘制好的图片渲染到屏幕上进行显示

Demo