图形API简介
- OpenGL (Open Graphics Library)是⼀一个跨编程语⾔、跨平台的编程图形程序接⼝口，它将计 算机的资源抽象称为⼀一个个OpenGL的对象，对这些资源的操作抽象为⼀一个个的OpenGL指令
- OpenGL ES (OpenGL for Embedded Systems)是 OpenGL 三维图形 API 的⼦子集，针对手机、 PDA和游戏主机等嵌⼊入式设备⽽而设计，去除了许多不不必要和性能较低的API接⼝口。
- DirectX 是由很多API组成的，DirectX并不不是⼀一个单纯的图形API. 最重要的是DirectX是属于 Windows上⼀一个多媒体处理理框架.并不不⽀支持Windows以外的平台,所以不不是跨平台框架. 按照性 质分类，可以分为四⼤大部分，显示部分、声⾳部分、输⼊部分和网络部分.
- Metal : Metal: Apple为游戏开发者推出了了新的平台技术 Metal，该技术能够为 3D 图 像提高 10 倍的渲染性能.Metal 是Apple为了解决3D渲染而推出的框架
OpenGL ES 和Metal 在iOS上的应用
如上图所示，CoreGraphics、CoreAnimation和CoreImage在2018年以前都是基于OpenGL ES的上层封装。因为OpenGL ES不是苹果自己的，苹果在使用OpenGL ES时需要在项目中进行兼容，而且无法进行定制化的修改和迭代，所以苹果为了摆脱OpenGL ES的约束，开发了自己的专有图形API--Metal。
Metal可以调用GPU来进行大量的并发运算、编码解码、识别，可以调用GPU来做一些定制化的事情。
图形API能解决的问题介绍
- 系统针对按钮、图片、视图、图层在屏幕上的渲染问题，即它们是怎么显示到手机屏幕上的；
- 游戏开发中，人物和场景的渲染问题；
- 视频播放过程中，视频解码之后的渲染问题；
- CoreAnimation核心动画（旋转、缩放、移动、图层特效）的渲染问题；
- 视频的滤镜和图片的特效的渲染问题，像直播和美颜；
- 离屏渲染的原理
OpenGL专业名词解释
OpenGL上下文(context)
- 在应用程序调⽤用任何OpenGL的指令之前，需要安排首先创建一个OpenGL的 上下⽂。这个上下文是⼀个⾮常庞⼤的状态机，保存了OpenGL中的各种状 态，这也是OpenGL指令执行的基础
- OpenGL的函数不管在哪个语⾔中，都是类似C语言一样的面向过程的函 数，本质上都是对OpenGL上下文这个庞大的状态机中的某个状态或者对象 进⾏操作，当然你得首先把这个对象设置为当前对象。因此，通过对 OpenGL指令的封装，是可以将OpenGL的相关调用封装成为一个⾯面向对象的 图形API的
- 由于OpenGL上下文是一个巨⼤的状态机，切换上下⽂往会产生较大的开 销，但是不同的绘制模块，可能需要使⽤完全独⽴的状态管理。因此，可 以在应用程序中分别创建多个不不同的上下文，在不同线程中⽤用不同的上 下⽂，上下⽂之间共享纹理、缓冲区等资源。这样的方案，会比反复切换 上下文，或者⼤量修改渲染状态，更加合理⾼效的.
OpenGL 状态机
状态机是理论上的一种机器.这个⾮常难以理解.所以我们把这个状态机这么 理解.状态机描述了⼀个对象在其生命周期内所经历的各种状态，状态间的 转变，发生转变的动因，条件及转变中所执行的活动。或者说，状态机是 ⼀种行为，说明对象在其生命周期中响应事件所经历的状态序列以及对那 些状态事件的响应。因此具有以下特点:
- 有记忆功能，能记住其当前的状态;
- 可以接收输入，根据输入的内容和⾃己的原先状态，修改自己当前状 态，并且可以有对应输出;
- 当进入特殊状态(停机状态)的时候，便不再接收输入，停止⼯工作。
渲染
将图片、视图（按钮、label等）、视频等绘制屏幕上显示的过程
顶点
顶点指的是我们在绘制⼀个图形时,它的顶点位置数据.而这个数据可以直接 存储在数组中或者将其缓存到GPU内存中 openGL 在渲染的时候，只能对以点，线或三角形为顶点的图形进行渲染,如下图：
顶点数组和顶点缓冲区
通过上面的解释，我们得到了6个顶点，将这6个顶点按确定的顺序存放在数组中，从而确定好了图形的骨架，openGL根据这个骨架就可以填充颜色了。在OpenGL ES中，有3种类型的图元，就是我们上面提到过的：点、线、三角形。这些顶点数组在计算机中如何存储呢？
- 顶点数据以数组的形式存在内存中，则这个数组称之为顶点数组；
- 顶点数据以数组的形式存在显存中，则这个数组称之为顶点缓冲区； 那么为什么存了内存，又要存显存呢？ 因为计算机从显存中读取数据比从内存中读取数据更高效，所以要预先将内存的数据缓存在显存中。
位图
比如，我们有一张图片，格式是png,jpeg或者别的格式的，这些图片都是经过压缩的。我们在显示这张图片前，需要对其进行解压缩。假如这张图片的大小是120*120 = 14400个像素点，每个像素点都由RGBA这四个数据来表示，RGBA四个数据都是1byte的数据，那这张图片的总大小是14400 * 4;这个14400 * 4的数据就是位图。位图也称为纹理。
管线
在OpenGL下渲染图形,就会有经历一个一个节点⽽而这样的操作可以理解管 线.⼤家可以想象成流⽔线.每个任务类似流水线般执行.任务之间有先后顺序. 管 线是⼀个抽象的概念，之所以称之为管线是因为显卡在处理理数据的时候是按照 一个固定的顺序来的，⽽且严格按照这个顺序。就像⽔从⼀根管子的一端流到 另一端，这个顺序是不能打破的。 通俗一点的说法就是：你要完成一件事情，必须先做步骤1，再做步骤2...，最后做步骤n，这个顺序是不能变的。这个称之为固定管理。反之，可以改变顺序的称之为可编程管线。
在早期的OpenGL 版本,它封装了了很多种着色器程序块内置的一段包含了光 照、坐标变换、裁剪等诸多功能的固定shader程序来完成,来帮助开发者 来完成图形的渲染. ⽽开发者只需要传入相应的参数,就能快速完成图形的渲染. 类似于iOS开发会封装很多API,⽽而我们只需要调用,就可以实现功能.不 需要关注底层实现原理. 是由于OpenGL 的使用场景⾮常丰富,固定管线或存储着⾊器⽆法完成每一 个业务.这时将相关部分开放成可编程.也就有了可编程管线。
着色器
我们知道，函数和方法的本质是代码段，是由CPU来调用的，而着色器其实也是代码段，但是它是由GPU来调用的。
固定着色器
已经定义好的代码段，只能调用，不能修改。例如苹果提供的API;
自定义着色器
自己基于GLSL语法来进行编写的代码段。
着色器程序
- 就全面的将固定渲染管线架构变为了可编程渲染管线。因此，OpenGL在实 际调用绘制函数之前，还需要指定一个由shader编译成的着色器程序。常 ⻅的着⾊器主要有顶点着色器(VertexShader)，⽚段着色器 (FragmentShader)/像素着⾊器(PixelShader)，⼏何着⾊器 (GeometryShader)，曲面细分着⾊器(TessellationShader)。⽚段着⾊器和像素着⾊器只是在OpenGL和DX中的不同叫法⽽而已。可惜的是，直到 OpenGLES 3.0，依然只⽀持了顶点着色器和片段着⾊器这两个最基础的着⾊器。
- OpenGL在处理shader时，和其他编译器⼀样。通过编译、链接等步骤，⽣ 成了着色器程序(glProgram)，着⾊器程序同时包含了顶点着⾊器和⽚段 着⾊器的运算逻辑。在OpenGL进行绘制的时候，⾸先由顶点着⾊器对传入 的顶点数据进行运算。再通过图元装配，将顶点转换为图元。然后进行光 栅化，将图元这种⽮量图形，转换为栅格化数据。最后，将栅格化数据传 ⼊⽚段着⾊器中进行运算。⽚段着⾊器会对栅格化数据中的每⼀个像素进 行运算，并决定像素的颜⾊.
可自定义的着色器只有两个，顶点着色器和片元着色器。
顶点着色器
- ⼀般用来处理图形每个顶点变换(旋转/平移/投影等)
- 顶点着⾊器是OpenGL中⽤于计算顶点属性的程序。顶点着⾊器是逐顶点运 算的程序，也就是说每个顶点数据都会执行一次顶点着⾊器，当然这是并 ⾏的，并且顶点着⾊器运算过程中⽆法访问其他顶点的数据
- 一般来说典型的需要计算的顶点属性主要包括顶点坐标变换、逐顶点光照 运算等等。顶点坐标由自身坐标系转换到归一化坐标系的运算，就是在这 ⾥发生的。
片元着色器
- ⼀般⽤来处理图形中每个像素点颜色计算和填充;
- ⽚段着⾊器是OpenGL中⽤于计算⽚段(像素)颜色的程序。⽚段着色器是 逐像素运算的程序，也就是说每个像素都会执行⼀次⽚段着⾊器，当然也 是并行的。
GLSL（OpenGL Shading Language）
对于自定义着色器，我们使用这个语言来进行编程
OpenGL着⾊语言(OpenGL Shading Language)是⽤来在OpenGL中着色编程 的语言，也即开发人员写的短小的⾃定义程序，他们是在图形卡的GPU (Graphic Processor Unit图形处理单元)上执行的，代替了固定的渲染管 线的一部分，使渲染管线中不同层次具有可编程性。⽐如:视图转换、投 影转换等。GLSL(GL Shading Language)的着⾊器代码分成2个部分: Vertex Shader(顶点着⾊器)和Fragment(片元着器).
光栅化
- 是把顶点数据转换为片元的过程，具有将图转化为⼀个个栅格组成的图象 的作⽤，特点是每个元素对应帧缓冲区中的一像素;
- 光栅化就是把顶点数据转换为片元的过程。⽚元中的每一个元素对应于帧 缓冲区中的⼀个像素;
- 光栅化其实是一种将几何图元变为二维图像的过程。该过程包含了两部分 的⼯作。第一部分工作:决定窗⼝坐标中的哪些整型栅格区域被基本图元 占⽤;第二部分工作:分配⼀个颜⾊值和⼀个深度值到各个区域。光栅化 过程产⽣的是片元;
- 把物体的数学描述以及与物体相关的颜色信息转换为屏幕上⽤于对应位置 的像素及⽤于填充像素的颜色，这个过程称为光栅化，这是一个将模拟信 号转化为离散信号的过程.
光栅化简单一句话就是：将图像的位置和颜色信息转换成在屏幕上显示的位置和颜色的数据的过程。
纹理
纹理可以理解为图片. 大家在渲染图形时需要在其编码填充图片,为了使得 场景更加逼真.⽽这里使用的图片,就是常说的纹理.但是在OpenGL,我们更加 习惯叫纹理,⽽不是图片.
混合
就是两个或两个以上的具有透明度的图层进行重叠时，出现的颜色混合的行为，混合的算法可以通过OpenGL的函数进行指定，但是OpenGL提供的混合算法是有限的，我们可以通过片元着色器进行混合算法的自定义，但自定义的混合算法性能会比原生的差一些。
变换矩阵
一个正方形的顶点数组Array{x1,y1,z1,x2,y2,z2},当这个正方形需要进行平移、缩放、旋转变换时，需要Array乘以一个矩阵，这个矩阵的内容记录了正方形最后的变换结果到底是平移、缩放还是旋转，这个矩阵称之为变换矩阵。
投影矩阵
一个3D图像要想在2D的屏幕上显示，则需要将3D的坐标转换成2D的坐标，这个转换的过程用到的矩阵称之为投影矩阵。
投影方式
- 正投影就是没有3D效果的投影方式，用于显示2D效果；
- 透视投影就是有3D效果的投影方式，用于显示3D效果.
如上图中所示，平行投影就好比一束平行光照射到AB投影到屏幕上，AB在屏幕上的大小和位置是不会发生变化的；而透视投影就是一束从投影中心发出的光将AB投影到屏幕上，由于角度的问题，AB在屏幕上的位置和大小是会发生变化的。
