iOS 利用 Metal 实现滤镜与动效滤镜

Harbeth 是基于GPU快速实现图片or视频注入滤镜特效，代码零侵入实现图像显示and视频导出功能，支持iOS系统和macOS系统。👒👒👒

功能清单

🟣 目前最重要的特点可以总结如下：

支持macOS和iOS平台系统，也支持SwiftUI使用；
高性能在如下数据源快速添加过滤器效果：
UIImage, NSImage, CIImage, CGImage, CMSampleBuffer, CVPixelBuffer
支持运算符函数式操作；
支持快速设计滤镜和输出源的快速扩展；
支持相机采集特效和视频滤镜播放；
支持两种查找滤镜 LUTs 和 Cube 来定制专属滤镜；
支持使用 Kakapos 库对已有视频添加滤镜并导出；
滤镜部分大致分为以下几个模块：
- Blend：图像融合技术
- Blur：模糊效果
- Pixel：图像的基本像素颜色处理
- Coordinate：图像坐标叠加修改效果处理
- Lookup：查找表过滤器
- Matrix: 矩阵卷积滤波器
- Shape：图像形状大小相关
- Generator: 生成滤镜
- Combination: 组合滤镜效果

总结下来目前共有`100+`种滤镜供您使用。

代码零侵入注入滤镜功能，

// 原始代码：
ImageView.image = originImage

// 注入滤镜代码：
let filter = C7ColorMatrix4x4(matrix: Matrix4x4.Color.sepia)
ImageView.image = try? originImage.make(filter: filter)

相机采集生成图片

// 注入边缘检测滤镜:
let filter = C7EdgeGlow(lineColor: .red)
// 注入颗粒感滤镜:
let filter2 = C7Granularity(grain: 0.8)

// 生成相机采集器
let collector = C7FilterCollector(callback: {
    self.ImageView.image = $0
})
collector.captureSession.sessionPreset = AVCaptureSession.Preset.hd1280x720
collector.filter = filter
ImageView.layer.addSublayer(collector)

主要部分

核心，基础核心板块
- C7FilterProtocol：滤镜设计必须遵循此协议。
  - modifier：编码器类型和对应的函数名称。
  - factors：设置修改参数因子，需要转换为Float。
  - otherInputTextures：多个输入源，包含MTLTexture的数组
  - resize(input:)：更改输出图像的大小。
输出，输出板块
- Outputable：输出内容协议，所有输出都必须实现该协议。
  - make：根据滤镜处理生成数据。
  - makeGroup：多个滤镜组合，请注意滤镜添加的顺序可能会影响图像生成的结果。
  - filtering：不定个数处理滤镜效果。
- Operators：操作符链式生产。
  - ->>：单个滤镜连接。
  - -->>>：多个滤镜连接。
- BoxxIO：快速向源添加过滤器，支持同步和异步处理。
  - output：同步输出滤镜处理之后的数据源。
  - transmitOutput(success:failed:)：异步输出滤镜处理之后的数据源。
  - filtering(texture:complete:)：异步输出滤镜处理之后的金属纹理。

设计滤镜

下面我们就第一款滤镜来分享一下如何设计处理

实现协议 C7FilterProtocol

public protocol C7FilterProtocol {
     /// 编码器类型和对应的函数名
     ///
     /// 计算需要对应的`kernel`函数名
     /// 渲染需要一个`vertex`着色器函数名和一个`fragment`着色器函数名
     var modifier: Modifier { get }
    
     /// 制作缓冲区
     /// 设置修改参数因子，需要转换为`Float`。
     var factors: [Float] { get }
    
     /// 多输入源扩展
     /// 包含 `MTLTexture` 的数组
     var otherInputTextures: C7InputTextures { get }
    
     /// 改变输出图像的大小
     func resize(input size：C7Size) -> C7Size
}

编写基于并行计算的核函数着色器。
配置传递参数因子，仅支持Float类型。
配置额外的所需纹理。

举个例子

设计一款灵魂出窍滤镜，

/// 灵魂出窍效果
public struct C7SoulOut: C7FilterProtocol {
    
    public static let range: ParameterRange<Float, Self> = .init(min: 0.0, max: 1.0, value: 0.5)
    
    /// The adjusted soul, from 0.0 to 1.0, with a default of 0.5
    @ZeroOneRange public var soul: Float = range.value
    public var maxScale: Float = 1.5
    @ZeroOneRange public var maxAlpha: Float = 0.5
    
    public var modifier: Modifier {
        return .compute(kernel: "C7SoulOut")
    }
    
    public var factors: [Float] {
        return [soul, maxScale, maxAlpha]
    }
    
    public init(soul: Float = range.value, maxScale: Float = 1.5, maxAlpha: Float = 0.5) {
        self.soul = soul
        self.maxScale = maxScale
        self.maxAlpha = maxAlpha
    }
}

此过滤器需要三个参数：
- soul：调整后的灵魂，从 0.0 到 1.0，默认为 0.5
- maxScale：最大灵魂比例
- maxAlpha：最大灵魂的透明度
编写基于并行计算内核函数

kernel void C7SoulOut(texture2d<half, access::write> outputTexture [[texture(0)]],
                      texture2d<half, access::sample> inputTexture [[texture(1)]],
                      constant float *soulPointer [[buffer(0)]],
                      constant float *maxScalePointer [[buffer(1)]],
                      constant float *maxAlphaPointer [[buffer(2)]],
                      uint2 grid [[thread_position_in_grid]]) {
    constexpr sampler quadSampler(mag_filter::linear, min_filter::linear);
    const half4 inColor = inputTexture.read(grid);
    const float x = float(grid.x) / outputTexture.get_width();
    const float y = float(grid.y) / outputTexture.get_height();
    
    const half soul = half(*soulPointer);
    const half maxScale = half(*maxScalePointer);
    const half maxAlpha = half(*maxAlphaPointer);
    
    const half alpha = maxAlpha * (1.0h - soul);
    const half scale = 1.0h + (maxScale - 1.0h) * soul;
    
    const half soulX = 0.5h + (x - 0.5h) / scale;
    const half soulY = 0.5h + (y - 0.5h) / scale;
    
    // 最终色 = 基色 * (1 - a) + 混合色 * a
    const half4 soulMask = inputTexture.sample(quadSampler, float2(soulX, soulY));
    const half4 outColor = inColor * (1.0h - alpha) + soulMask * alpha;
    
    outputTexture.write(outColor, grid);
}

简单使用，由于我这边设计的是基于并行计算管道，所以可以直接生成图片

let filter = C7SoulOut(soul: 0.5, maxScale: 2.0)

/// 直接显示在ImageView
ImageView.image = try? originImage.makeImage(filter: filter)

至于上面的动效也很简单，添加一个计时器，然后改变soul值就完事，简单嘛。

高级用法

运算符链式处理

/// 1.转换成BGRA
let filter1 = C7ColorConvert(with: .bgra)

/// 2.调整颗粒度
let filter2 = C7Granularity(grain: 0.8)

/// 3.调整白平衡
let filter3 = C7WhiteBalance(temperature: 5555)

/// 4.调整高光阴影
var filter4 = C7HighlightShadow()
filter4.shadows = 0.4
filter4.highlights = 0.5

/// 5.组合操作
let AT = C7FilterTexture.init(texture: originImage.mt.toTexture()!)
let result = AT ->> filter1 ->> filter2 ->> filter3 ->> filter4

/// 6.获取结果
filterImageView.image = result.outputImage()

批量操作处理

/// 1.转换成RBGA
let filter1 = C7ColorConvert(with: .rgba)

/// 2.调整颗粒度
let filter2 = C7Granularity(grain: 0.8)

/// 3.配置灵魂效果
let filter3 = C7SoulOut(soul: 0.7)

/// 4.组合操作
let group: [C7FilterProtocol] = [filter1, filter2, filter3]

/// 5.获取结果
filterImageView.image = try? originImage.makeGroup(filters: group)