--- theme: cyanosis --- ![x](https://p3-xtjj-sign.byteimg.com/tos-cn-i-73owjymdk6/f06e216c01974d77b804e19f2ad5a7ef~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAg6Iy25bqV5LiW55WM5LmL5LiL:q75.awebp?rk3s=f64ab15b&x-expires=1761269139&x-signature=%2B%2B%2BzV9Sn97y%2B8YEr%2FsM74VckppQ%3D) [**Harbeth**](https://github.com/yangKJ/Harbeth) 是基于GPU快速实现图片or视频注入滤镜特效，代码零侵入实现图像显示and视频导出功能，支持iOS系统和macOS系统。👒👒👒 ## 功能清单 🟣 目前最重要的特点可以总结如下： * 支持macOS和iOS平台系统，也支持SwiftUI使用； * 高性能在如下数据源快速添加过滤器效果： UIImage/NSImage, CIImage, CGImage, CMSampleBuffer, CVPixelBuffer。 * 支持运算符函数式操作，支持异步滤镜效果处理； * 支持快速设计滤镜和输出源的快速扩展； * 支持相机采集特效和视频滤镜播放； * 支持两种查找滤镜 [LUTs](https://github.com/yangKJ/Harbeth/tree/master/Sources/Compute/Lookup/C7LookupTable.swift) 和 [Cube](https://github.com/yangKJ/Harbeth/tree/master/Sources/CoreImage/CIColorCube.swift) 来定制专属滤镜； * 支持使用 [Kakapos](https://github.com/yangKJ/Kakapos) 库对已有视频添加滤镜并导出； * 滤镜部分大致分为以下几个模块： * [x] [Blend](https://github.com/yangKJ/Harbeth/tree/master/Sources/Compute/Blend)：图像融合技术 * [x] [Blur](https://github.com/yangKJ/Harbeth/tree/master/Sources/Compute/Blur)：模糊效果 * [x] [Pixel](https://github.com/yangKJ/Harbeth/tree/master/Sources/Compute/Pixel)：图像的基本像素颜色处理 * [x] [Coordinate](https://github.com/yangKJ/Harbeth/tree/master/Sources/Compute/Coordinate)：图像坐标叠加修改效果处理 * [x] [Lookup](https://github.com/yangKJ/Harbeth/tree/master/Sources/Compute/Lookup)：查找表过滤器 * [x] [Matrix](https://github.com/yangKJ/Harbeth/tree/master/Sources/Compute/Matrix): 矩阵卷积滤波器 * [x] [Shape](https://github.com/yangKJ/Harbeth/tree/master/Sources/Compute/Shape)：图像形状大小相关 * [x] [Generator](https://github.com/yangKJ/Harbeth/tree/master/Sources/Compute/Generator): 生成滤镜 * [x] [Combination](https://github.com/yangKJ/Harbeth/tree/master/Sources/Compute/Combination): 组合滤镜效果 #### **总结下来目前共有`100+`种滤镜供您使用。** | ![](https://p9-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ab261e06fe3a44deb508f15249cd52bb~tplv-k3u1fbpfcp-watermark.image#?w=640\&h=358\&s=2112212\&e=gif\&f=20\&b=36322c) | ![](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/6b607add314b4b2180009e2517629be2~tplv-k3u1fbpfcp-watermark.image#?w=640\&h=359\&s=2946364\&e=gif\&f=40\&b=848572) | | :---------------------------------------------------------------------------------------------------------------------------------------------------------------------: | :---------------------------------------------------------------------------------------------------------------------------------------------------------------------: | * 代码零侵入注入滤镜功能， ```swift // 原始代码： ImageView.image = originImage // 注入滤镜代码： let filter = C7ColorMatrix4x4(matrix: Matrix4x4.Color.sepia) ImageView.image = try? originImage.make(filter: filter) // 也可数据源模式使用 let dest = HarbethIO.init(element: originImage, filters: filters) // 同步处理 ImageView.image = try? dest.output() // 异步处理 dest.transmitOutput(success: { [weak self] image in DispatchQueue.main.async { self?.ImageView.image = image } }) ``` * 相机采集生成图片 ```swift // 注入边缘检测滤镜: let filter = C7EdgeGlow(lineColor: .red) // 注入颗粒感滤镜: let filter2 = C7Granularity(grain: 0.8) // 生成相机采集器 let collector = C7FilterCollector(callback: { self.ImageView.image = $0 }) collector.captureSession.sessionPreset = AVCaptureSession.Preset.hd1280x720 collector.filter = filter ImageView.layer.addSublayer(collector) ``` ### 主要部分 * 核心，基础核心板块 * [Filterable](https://github.com/yangKJ/Harbeth/blob/master/Sources/Basic/Core/Filterable.swift)：滤镜设计必须遵循此协议。 * **modifier**：编码器类型和对应的函数名称。 * **factors**：设置修改参数因子，需要转换为`Float`。 * **otherInputTextures**：多个输入源，包含`MTLTexture`的数组 * **resize(input:)**：更改输出图像的大小。 * 输出，输出板块 * [Outputable](https://github.com/yangKJ/Harbeth/blob/master/Sources/Basic/Outputs/Outputable.swift)：输出内容协议，所有输出都必须实现该协议。 * **make**：根据滤镜处理生成数据。 * **makeGroup**：多个滤镜组合，请注意滤镜添加的顺序可能会影响图像生成的结果。 * **filtering**：不定个数处理滤镜效果。 * [Operators](https://github.com/yangKJ/Harbeth/blob/master/Sources/Basic/Outputs/Operators.swift)：操作符链式生产。 * **->>**：单个滤镜连接。 * **-->>>**：多个滤镜连接。 * [HarbethIO](https://github.com/yangKJ/Harbeth/blob/master/Sources/Basic/Outputs/HarbethIO.swift)：快速向源添加过滤器，支持同步和异步处理。 * **output**：同步输出滤镜处理之后的数据源。 * **transmitOutput(success:failed:)**：异步输出滤镜处理之后的数据源。 * **filtering(texture:complete:)**：异步输出滤镜处理之后的金属纹理。 ### 设计滤镜 * 下面我们就第一款滤镜来分享一下如何设计处理 1. 实现协议 `Filtering` ```swift public protocol Filterable { /// 编码器类型和对应的函数名 /// /// 计算需要对应的`kernel`函数名 /// 渲染需要一个`vertex`着色器函数名和一个`fragment`着色器函数名 var modifier: Modifier { get } /// 制作缓冲区 /// 设置修改参数因子，需要转换为`Float`。 var factors: [Float] { get } /// 多输入源扩展 /// 包含 `MTLTexture` 的数组 var otherInputTextures: C7InputTextures { get } /// 改变输出图像的大小 func resize(input size：C7Size) -> C7Size } ``` 2. 编写基于并行计算的核函数着色器。 3. 配置传递参数因子，仅支持`Float`类型。 4. 配置额外的所需纹理。 ### 举个例子设计一款灵魂出窍滤镜，

```swift /// 灵魂出窍效果 public struct C7SoulOut: Filterable { public static let range: ParameterRange = .init(min: 0.0, max: 1.0, value: 0.5) /// The adjusted soul, from 0.0 to 1.0, with a default of 0.5 @ZeroOneRange public var soul: Float = range.value public var maxScale: Float = 1.5 @ZeroOneRange public var maxAlpha: Float = 0.5 public var modifier: Modifier { return .compute(kernel: "C7SoulOut") } public var factors: [Float] { return [soul, maxScale, maxAlpha] } public init(soul: Float = range.value, maxScale: Float = 1.5, maxAlpha: Float = 0.5) { self.soul = soul self.maxScale = maxScale self.maxAlpha = maxAlpha } } ``` * 此过滤器需要三个参数： * `soul`：调整后的灵魂，从 0.0 到 1.0，默认为 0.5 * `maxScale`：最大灵魂比例 * `maxAlpha`：最大灵魂的透明度 * 编写基于并行计算内核函数 ```c++ kernel void C7SoulOut(texture2d outputTexture [[texture(0)]], texture2d inputTexture [[texture(1)]], constant float *soulPointer [[buffer(0)]], constant float *maxScalePointer [[buffer(1)]], constant float *maxAlphaPointer [[buffer(2)]], uint2 grid [[thread_position_in_grid]]) { constexpr sampler quadSampler(mag_filter::linear, min_filter::linear); const half4 inColor = inputTexture.read(grid); const float x = float(grid.x) / outputTexture.get_width(); const float y = float(grid.y) / outputTexture.get_height(); const half soul = half(*soulPointer); const half maxScale = half(*maxScalePointer); const half maxAlpha = half(*maxAlphaPointer); const half alpha = maxAlpha * (1.0h - soul); const half scale = 1.0h + (maxScale - 1.0h) * soul; const half soulX = 0.5h + (x - 0.5h) / scale; const half soulY = 0.5h + (y - 0.5h) / scale; // 最终色 = 基色 * (1 - a) + 混合色 * a const half4 soulMask = inputTexture.sample(quadSampler, float2(soulX, soulY)); const half4 outColor = inColor * (1.0h - alpha) + soulMask * alpha; outputTexture.write(outColor, grid); } ``` * 简单使用，由于我这边设计的是基于并行计算管道，所以可以直接生成图片 let filter = C7SoulOut(soul: 0.5, maxScale: 2.0) /// 直接显示在ImageView ImageView.image = try? originImage.makeImage(filter: filter) * 至于上面的动效也很简单，添加一个计时器，然后改变`soul`值就完事，简单嘛。 *** ### 高级用法 * 运算符链式处理 /// 1.转换成BGRA let filter1 = C7ColorConvert(with: .bgra) /// 2.调整颗粒度 let filter2 = C7Granularity(grain: 0.8) /// 3.调整白平衡 let filter3 = C7WhiteBalance(temperature: 5555) /// 4.调整高光阴影 var filter4 = C7HighlightShadow() filter4.shadows = 0.4 filter4.highlights = 0.5 /// 5.组合操作 let AT = C7FilterTexture.init(texture: originImage.mt.toTexture()!) let result = AT ->> filter1 ->> filter2 ->> filter3 ->> filter4 /// 6.获取结果 filterImageView.image = result.outputImage()

* 批量操作处理 /// 1.转换成RBGA let filter1 = C7ColorConvert(with: .rgba) /// 2.调整颗粒度 let filter2 = C7Granularity(grain: 0.8) /// 3.配置灵魂效果 let filter3 = C7SoulOut(soul: 0.7) /// 4.组合操作 let group: [C7FilterProtocol] = [filter1, filter2, filter3] /// 5.获取结果 filterImageView.image = try? originImage.makeGroup(filters: group)

**两种方式都可以处理多滤镜方案，怎么选择就看你心情。✌️** ### CocoaPods * 如果要导入 [**Metal**](https://github.com/yangKJ/Harbeth) 模块，则需要在 Podfile 中： pod 'Harbeth' * 如果要导入 [**OpenCV**](https://github.com/yangKJ/OpencvQueen) 图像模块，则需要在 Podfile 中： pod 'OpencvQueen' ### 效果图 * 来一波部分展示效果图： | ![](https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/eed0fef004d941bf926efb31ee191a83~tplv-k3u1fbpfcp-watermark.image#?w=1080\&h=1920\&s=33097397\&e=gif\&f=141\&b=f6e9f7) | ![](https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/9c40c28f123642468a9f2211c55999a8~tplv-k3u1fbpfcp-watermark.image#?w=1080\&h=1920\&s=49097026\&e=gif\&f=199\&b=f6edf8) | | :-------------------------------------------------------------------------------------------------------------------------------------------------------------------------: | :-------------------------------------------------------------------------------------------------------------------------------------------------------------------------: | | ![IMG\_7385.PNG](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ea44f5c58998445fac26c3b295ec6ef6~tplv-k3u1fbpfcp-watermark.image#?w=1242\&h=2208\&s=4594893\&e=png\&b=70f8c6) | ![IMG\_7380.PNG](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/db3f8847926d45259f0a468c2a037bec~tplv-k3u1fbpfcp-watermark.image#?w=1242\&h=2208\&s=4686608\&e=png\&b=70f9c7) | ![3.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/acb01ded8f644c06a591f0b229677acc~tplv-k3u1fbpfcp-watermark.image#?w=1242\&h=2208\&s=1673088\&e=png\&b=ebe9f1) | | :------------------------------------------------------------------------------------------------------------------------------------------------------------------------------: | :------------------------------------------------------------------------------------------------------------------------------------------------------------------------------: | :----------------------------------------------------------------------------------------------------------------------------------------------------------------------: | | ![1.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/71bbc1d39c464ee7af3470f9be27c74c~tplv-k3u1fbpfcp-watermark.image#?w=1242\&h=2208\&s=1486998\&e=png\&b=ebe9f1) | ![5.png](https://p9-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/20690086fa6f40f687d72cb1a13290a9~tplv-k3u1fbpfcp-watermark.image#?w=1242\&h=2208\&s=2831589\&e=png\&b=ece9f2) | ![4.png](https://p9-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/bb430492282d4c5781244f9f1d1b6ffa~tplv-k3u1fbpfcp-watermark.image#?w=1242\&h=2208\&s=2569286\&e=png\&b=e8e6ee) | | :----------------------------------------------------------------------------------------------------------------------------------------------------------------------: | :----------------------------------------------------------------------------------------------------------------------------------------------------------------------: | :----------------------------------------------------------------------------------------------------------------------------------------------------------------------: | | ![6.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/947b4bb2f1b841dfb99753ff20381129~tplv-k3u1fbpfcp-watermark.image#?w=1242\&h=2208\&s=596539\&e=png\&b=ebdaf0) | ![2.png](https://p9-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/4e3449ea106347d8b5ed74a1b54faff4~tplv-k3u1fbpfcp-watermark.image#?w=1242\&h=2208\&s=2264537\&e=png\&b=e8d9ed) | ![7.png](https://p9-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/4b2ab329ca4f4a589ef8a505c553914c~tplv-k3u1fbpfcp-watermark.image#?w=1242\&h=2208\&s=1217011\&e=png\&b=e9def0) | | :---------------------------------------------------------------------------------------------------------------------------------------------------------------------: | :----------------------------------------------------------------------------------------------------------------------------------------------------------------------: | :----------------------------------------------------------------------------------------------------------------------------------------------------------------------: | ### 最后 * 关于滤镜框架介绍与设计到此为止吧。 * 慢慢再补充其他相关滤镜，喜欢就给我点个星🌟吧。 * [**滤镜Demo地址**](https://github.com/yangKJ/Harbeth)，目前包含`100+`种滤镜。 * 再附上一个开发加速库[**KJCategories**](https://github.com/yangKJ/KJCategories)和网络架构[**RxNetworks**](https://github.com/yangKJ/RxNetworks) 🎷喜欢的老板们可以点个星🌟 ✌️.