阅读 1798

Metal 入门知识

Metal简介

Metal 是一个和 OpenGL ES 类似的面向底层的图形编程接口,通过使用相关的 api 可以直接操作 GPU ,最早在 2014 年的 WWDC 的时候发布,并于2019年发布了 Metal 2。 Metal框架支持GPU硬件加速、高级3D图形渲染以及大数据并行运算。且提供了先进而精简的API来确保框架的细粒度(fine-grain),并且在组织架构、程序处理、图形呈现、运算指令以及指令相关数据资源的管理上都支持底层控制。其核心目的是尽可能的减少CPU开销,而将运行时产生的大部分负载交由GPU承担

Metal的特点

  • CPU低消耗性
  • 更高效的GPU性能,Metal能更好的发挥GPU的性能
  • 提高CPU与GPU的并发性
  • 有效的资源管理

图形管道

Metal的图形管道通OpenGL大体相同

  • CPU将顶点数据传到顶点着色器
  • 顶点着色器将处理好的顶点进行图元装配
  • 进行光栅化处理
  • 将光栅化的数据传给片元着色器处理
  • 渲染到屏幕显示

Metal 命令与对象之间的关系

  • 命令缓存区(command buffer):从命令队列(Command Queue)中创建

  • 命令编码(Command encoder):将命令编码到命令缓冲区中

  • 提交命令缓冲区并将其发送到GPU

  • GPU执行命令并将结果呈现为可绘制

Metal API简介

Apple 建议

  • Separate Your Rendering Loop:分开渲染循环,苹果希望渲染放在一个单独的类中处理

  • Respond to View Events:即MTKDelegate,响应视图事件也要放在单独的类中处理

  • Metal Command Objects:创建一个命令对象,即创建执行命令的GPU、与GPU交互的MTLCommandQueue对象以及MTCommandBuffer渲染缓存

MTKView

在MetalKit中提供了一个视图类MTKView,类似于GLKit中GLKView,它是NSView(macOS中的视图类)或者UIView(iOS、tvOS中的视图类)的子类。用于处理metal绘制并显示到屏幕过程中的细节

MTLDevice

由于Metal是操作GPU的,所以需要获取GPU使用权限,即拿到GPU对象,Metal中提供了MTLDevice协议表示GPU接口,在iOS中一般是通过默认的方式MTLCreateSystemDefaultDevice()获取GPU。
Metal的使用必须使用真机,且必须是6s及以上的机型。
如果设备不支持Metal,将会返回空。
如果想使用多个MTLDevice实例,或者从一个MTLDevice切换到另一个,则需要为每个MTLDevice创建单独的一组对象。

MTLDevice协议表示可以执行命令的GPU,提供了如下功能:
1.创建新的命令队列
2.从内存分配缓冲区
3.创建纹理
4.查询设备功能

MTLCommandQueue

在获取了GPU后,还需要一个渲染队列,即命令队列Command Queue类型是MTLCommandQueue,该队列是与GPU交互的第一个对象,队列中存储的是将要渲染的命令MTLCommandBuffer。

队列的获取需要通过MTLDevice对象获取,且每个命令队列的生命周期很长,因此commandQueue可以重复使用,而不是频繁创建和销毁。

在绘制之前,首先需要配置好MTKView、MTLDevice以及MTLCommandQueue后,其次是准备渲染到屏幕上的数据,即准备缓存数据MTLCommandBuffer,例如顶点数据等。

简单的渲染流程就是:
1.先通过MTLCommandBuffer创建渲染缓存区
2.其次通过MTLRenderPassDescriptor创建渲染描述符
3.然后再通过创建的渲染缓存区和渲染描述符创建命令编辑器MTLRenderCommandEncoder进行编码
4.最后是结束编码,提交渲染命令,在完成渲染后,将命令缓存区提交至GPU

MTLCommandBuffer

命令缓存区 Command Buffer主要是用于存储编码的命令,其生命周期是缓存区被提交到GPU执行为止,单个的命令缓存区可以包含不同的编码命令,主要取决于用于构建它的编码器的类型和数量。

命令缓存区的创建可以通过调用MTLCommandQueue的commandBuffer方法。且command buffer对象的提交只能提交至创建它的MTLCommandQueue对象中

commandBuffer在未提交命令缓存区之前,是不会开始执行的,提交后,命令缓存区将按其入队的顺序执行,commandBuffer的提交方式有以下两种,不同的提交方式表示不同的执行顺序。
enqueue:顺序执行,enqueue方法在命令队列中为命令缓存区保留一个位置,此时并未提交命令缓存区,当最终提交命令缓存区后,按照命令队列的顺序依次执行。
commit:插队尽快执行,如果前面有commit还是需要排队等着。

MTLRenderCommandEncoder

MTLRenderCommandEncoder表示单个渲染过程中相关联的渲染状态和渲染命令,有以下功能:
1.指定图形资源,例如缓存区和纹理对象,其中包含顶点、片元、纹理图片数据
2.指定一个MTLRenderPipelineState对象,表示编译的渲染状态,包含顶点着色器和片元着色器的编译&链接情况
3.指定固定功能,包括视口、三角形填充模式、剪刀矩形、深度、模板测试以及其他值
4.绘制3D图元
其中在创建commandEncoder之前,需要县创建渲染描述符MTLRenderPassDescriptor,渲染描述符通过MTKView的currentRenderPassDescriptor获取

MTLRenderPassDescriptor *renderPassDescriptor = view.currentRenderPassDescriptor;
复制代码

然后通过commandBuffer结合渲染描述符创建命令编辑器

id<MTLRenderCommandEncoder> renderEncoder = [commandBuffer renderCommandEncoderWithDescriptor:renderPassDescriptor];
复制代码

通过苹果官方文档-MTLRenderCommandEncoder,着重说下使用渲染命令编码器执行渲染的过程:
1.通过调用MTLCommandBuffer对象的makeRenderCommandEncoder(descriptor :)方法来创建MTLRenderCommandEncoder对象。
2.调用setRenderPipelineState(_ :)方法以指定MTLRenderPipelineState,该状态定义图形渲染管道的状态,包括顶点和片段函数。
3.指定用于顶点和片元函数输入和输出的资源,并在对应的参数中设置每个资源的位置(即索引),即将顶点数据等通过commandEncoder调用setVertexBytes:length:atIndex:函数传递到metal文件的顶点着色器和片元着色器函数。
4.指定其他的固定功能状态,例如通过commandEncoder调用setViewport:函数设置视口大小等。
5.绘制图形
6.调用endEncoding()方法以终止渲染命令编码器。

案例分析

渲染循环的.h文件:

/*
 分开你的渲染循环:
    在我们开发Metal 程序时,将渲染循环分为自己创建的类,是非常有用的一种方式,使用单独的类,我们可以更好管理初始化Metal,以及Metal视图委托.

 在MTKViewDelegate 协议中有2个方法.
 - (void)mtkView:(nonnull MTKView *)view drawableSizeWillChange:(CGSize)size;

    1.每当窗口大小变化或者重新布局(设备方向更改)时,视图就会调用此方法.
    2.视图可以根据视图属性上设置View.preferredFramesPerSecond帧速率(指定时间来调用drawInMTKView方法),

- (void)drawInMTKView:(nonnull MTKView *)view;
    以上的方法,每当视图需要渲染时调用
 */

#import <Foundation/Foundation.h>
@import MetalKit;

@interface CCRenderer : NSObject<MTKViewDelegate>

-(id)initWithMetalKitView:(MTKView *)mtkView;

@end
复制代码

渲染循环的.m文件:

#import "CCRenderer.h"

@implementation CCRenderer
{
    //GPU
    id<MTLDevice> _device;
    //渲染命令队列
    id<MTLCommandQueue> _commandQueue;
}

//颜色结构体
typedef struct {
    float red, green, blue, alpha;
} Color;

//初始化
- (id)initWithMetalKitView:(MTKView *)mtkView
{
    self = [super init];
    if(self)
    {
        _device = mtkView.device;

        //所有应用程序需要与GPU交互的第一个对象是一个对象。MTLCommandQueue.
        //你使用MTLCommandQueue 去创建对象,并且加入MTLCommandBuffer 对象中.确保它们能够按照正确顺序发送到GPU.对于每一帧,一个新的MTLCommandBuffer 对象创建并且填满了由GPU执行的命令.
        _commandQueue = [_device newCommandQueue];
    }

    return self;
}

//设置颜色
- (Color)makeFancyColor
{
    //1\. 增加颜色/减小颜色的 标记
    static BOOL       growing = YES;
    //2.颜色通道值(0~3)
    static NSUInteger primaryChannel = 0;
    //3.颜色通道数组colorChannels(颜色值)
    static float      colorChannels[] = {1.0, 0.0, 0.0, 1.0};
    //4.颜色调整步长
    const float DynamicColorRate = 0.015;

    //5.判断
    if(growing)
    {
        //动态信道索引 (1,2,3,0)通道间切换
        NSUInteger dynamicChannelIndex = (primaryChannel+1)%3;

        //修改对应通道的颜色值 调整0.015
        colorChannels[dynamicChannelIndex] += DynamicColorRate;

        //当颜色通道对应的颜色值 = 1.0
        if(colorChannels[dynamicChannelIndex] >= 1.0)
        {
            //设置为NO
            growing = NO;

            //将颜色通道修改为动态颜色通道
            primaryChannel = dynamicChannelIndex;
        }
    }
    else
    {
        //获取动态颜色通道
        NSUInteger dynamicChannelIndex = (primaryChannel+2)%3;

        //将当前颜色的值 减去0.015
        colorChannels[dynamicChannelIndex] -= DynamicColorRate;

        //当颜色值小于等于0.0
        if(colorChannels[dynamicChannelIndex] <= 0.0)
        {
            //又调整为颜色增加
            growing = YES;
        }
    }

    //创建颜色
    Color color;

    //修改颜色的RGBA的值
    color.red   = colorChannels[0];
    color.green = colorChannels[1];
    color.blue  = colorChannels[2];
    color.alpha = colorChannels[3];

    //返回颜色
    return color;
}

#pragma mark - MTKViewDelegate methods

//每当视图需要渲染时调用
- (void)drawInMTKView:(nonnull MTKView *)view
{
    //1\. 获取颜色值
    Color color = [self makeFancyColor];
    //2\. 设置view的clearColor
    view.clearColor = MTLClearColorMake(color.red, color.green, color.blue, color.alpha);

    //3\. Create a new command buffer for each render pass to the current drawable
    //使用MTLCommandQueue 创建对象并且加入到MTCommandBuffer对象中去.
    //为当前渲染的每个渲染传递创建一个新的命令缓冲区
    id<MTLCommandBuffer> commandBuffer = [_commandQueue commandBuffer];
    commandBuffer.label = @"MyCommand";

    //4.从视图绘制中,获得渲染描述符
    MTLRenderPassDescriptor *renderPassDescriptor = view.currentRenderPassDescriptor;

    //5.判断renderPassDescriptor 渲染描述符是否创建成功,否则则跳过任何渲染.
    if(renderPassDescriptor != nil)
    {
        //6.通过渲染描述符renderPassDescriptor创建MTLRenderCommandEncoder 对象
        id<MTLRenderCommandEncoder> renderEncoder = [commandBuffer renderCommandEncoderWithDescriptor:renderPassDescriptor];
        renderEncoder.label = @"MyRenderEncoder";

        //7.我们可以使用MTLRenderCommandEncoder 来绘制对象,但是这个demo我们仅仅创建编码器就可以了,我们并没有让Metal去执行我们绘制的东西,这个时候表示我们的任务已经完成.
        //即可结束MTLRenderCommandEncoder 工作
        [renderEncoder endEncoding];

        /*
         当编码器结束之后,命令缓存区就会接受到2个命令.
         1) present
         2) commit
         因为GPU是不会直接绘制到屏幕上,因此你不给出去指令.是不会有任何内容渲染到屏幕上.  
        */
        //8.添加一个最后的命令来显示清除的可绘制的屏幕
        [commandBuffer presentDrawable:view.currentDrawable];
    }

    //9.在这里完成渲染并将命令缓冲区提交给GPU
    [commandBuffer commit];
}

//当MTKView视图发生大小改变时调用
- (void)mtkView:(MTKView *)view drawableSizeWillChange:(CGSize)size
{

}

@end
复制代码

渲染循环类的使用:

#import "ViewController.h"
#import "CCRenderer.h"

@interface ViewController ()
{
    MTKView *_view;
    //渲染循环类
    CCRenderer *_render;
}
@end

@implementation ViewController

- (void)viewDidLoad {
    [super viewDidLoad];

    //1\. 获取_view
    _view = (MTKView *)self.view;

    //2.为_view 设置MTLDevice(必须)
    //一个MTLDevice 对象就代表这着一个GPU,通常我们可以调用方法MTLCreateSystemDefaultDevice()来获取代表默认的GPU单个对象.
    _view.device = MTLCreateSystemDefaultDevice();

    //3.判断是否设置成功
    if (!_view.device) {
        NSLog(@"Metal is not supported on this device");
        return;
    }

    //4\. 创建CCRenderer
    //分开你的渲染循环:
    //在我们开发Metal 程序时,将渲染循环分为自己创建的类,是非常有用的一种方式,使用单独的类,我们可以更好管理初始化Metal,以及Metal视图委托.
    _render =[[CCRenderer alloc]initWithMetalKitView:_view];

    //5.判断_render 是否创建成功
    if (!_render) {
        NSLog(@"Renderer failed initialization");
        return;
    }

    //6.设置MTKView 的代理(由CCRender来实现MTKView 的代理方法)
    _view.delegate = _render;

    //7.视图可以根据视图属性上设置帧速率(指定时间来调用drawInMTKView方法--视图需要渲染时调用)
    _view.preferredFramesPerSecond = 60;

}

- (void)didReceiveMemoryWarning {
    [super didReceiveMemoryWarning];
    // Dispose of any resources that can be recreated.
}
@end
复制代码