流程和步骤
功能划分
主要分为两个部分：
-
视频采集 通过AVFoundation进行视频数据的采集到，原始数据存储到CMSampleBufferRef中， 在AVCaptureVideoDataOutputSampleBufferDelegate的回调函数中，获取到原始数据存储到CMSampleBufferRef中中的数据，并通过CoreVideo将CMSampleBufferRef中存储的图像数据转换为Metal可以直接使用的纹理MTLTexture
-
Metal对采集的图像帧进行渲染 采用MetalKit内置的MPSImageGaussianBlur滤镜对纹理渲染（MetalKit对视频图像的渲染等同于AVCaptureVideoPreviewLayer预览）
分为以下几个步骤
1. 准备工作
-
导入库 MetalKit.framework
-
模块化导入
- MetalKit
- AVFoundation
- CoreMedia
-
导入头文件
#import <MetalPerformanceShaders/MetalPerformanceShaders.h>
- 协议实现
-
渲染MTKViewDelegate
-
视频捕捉AVCaptureVideoDataOutputSampleBufferDelegate AVFoundation 视频采集回调方法
-
2. 内置属性
-
MTKView
MTKView *_view; -
数据传递Session
AVCaptureSession *mCaptureSession; -
从AVCaptureDevice获得输入数据
AVCaptureDeviceInput *mCaptureDeviceInput -
输出设备
AVCaptureVideoDataOutput *mCaptureDeviceOutput -
处理队列
dispatch_queue_t mProcessQueue -
纹理缓存区
CVMetalTextureCacheRef textureCache -
命令队列
id<MTLCommandQueue> commandQueue -
纹理
id<MTLTexture> texture
3. viewDidLoad
- Metal相关初始化 setupMetal
- 创建并添加MTKView，设置代理
- 创建命令队列
- 允许帧缓冲区读写操作
- 创建纹理缓冲区
- 视频捕捉初始化 setupCaptureSession
- 创建mCaptureSession
- 创建串行队列 mProcessQueue
- 获取摄像头设备 AVCaptureDevice
- 将AVCaptureDevice 转换为AVCaptureDeviceInput
- 将设备添加到mCaptureSession中
- 创建AVCaptureVideoDataOutput 对象
- 设置视频帧延迟到底时是否丢弃数
- 设置采样格式为BGRA
- 设置视频捕捉输出的代理
- 添加输出到mCaptureSession
- 输入与输出链接
- 设置视频方向
- 开始捕捉
4.视频采集回调协议
AVCaptureVideoDataOutputSampleBufferDelegate
-captureOutput: didOutputSampleBuffer: fromConnection:
- 从sampleBuffer 获取视频像素缓存区对象
- 获取捕捉视频的宽和高
- 根据视频像素缓存区 创建 Metal 纹理缓存区 CVMetalTextureCacheCreateTextureFromImage
- 判断tmpTexture 是否创建成功
- 设置可绘制纹理的当前大小。
- 返回纹理缓冲区的Metal纹理对象
- 释放tmpTexture
5.渲染MTKViewDelegate
- 视图大小发生改变时.会调用此方法 -mtkView: drawableSizeWillChange:
- 视图渲染则会调用此方法
-drawInMTKView:
- 判断是否获取了AVFoundation 采集的纹理数据
- 创建指令缓冲 MTLCommandBuffer
- 将MTKView 作为目标渲染纹理MTLTexture
- 设置滤镜 MPSImageGaussianBlur
- 设置滤镜的输入输出
- 展示显示的内容 presentDrawable
- 提交命令
- 清空当前纹理,准备下一次的纹理数据读取
