iOS 利用 Metal 实现滤镜与动效滤镜

简介: iOS 利用 Metal 实现滤镜与动效滤镜

Harbeth 是 Apple 的 Metal 框架上的一小部分实用程序和扩展,致力于使您的 Swift GPU 代码更加简洁,让您更快地构建管道原型。本文就来介绍与设计基于GPU的滤镜,图形处理和滤镜制作...👒👒👒


功能清单


🟣 目前,Metal Moudle 最重要的特点可以总结如下:

支持运算符函数式操作

支持快速设计滤镜

支持输出源的快速扩展

支持相机采集特效

支持矩阵卷积

滤镜部分大致分为以下几个模块:

Blend:图像融合技术

Blur:模糊效果

ColorProcess:图像的基本像素颜色处理

Effect:效果处理

Lookup:查找表过滤器

Matrix: 矩阵卷积滤波器

Shape:图像形状大小相关

VisualEffect: 视觉动态特效


总结下来目前共有100+种滤镜供您使用。

1.png

1.png

代码零侵入注入滤镜功能,

原始代码:
ImageView.image = originImage
注入滤镜代码:
let filter = C7ColorMatrix4x4(matrix: Matrix4x4.sepia)
ImageView.image = try? originImage.make(filter: filter)

相机采集生成图片

注入边缘检测滤镜
var filter = C7EdgeGlow()
filter.lineColor = UIColor.blue
生成相机采集器
let collector = C7FilterCollector(callback: {
    self.ImageView.image = $0
})
collector.captureSession.sessionPreset = AVCaptureSession.Preset.hd1280x720
collector.filter = filter
ImageView.layer.addSublayer(collector)


主要部分


核心,基础核心板块

C7FilterProtocol:滤镜设计必须遵循此协议。

modifier:编码器类型和对应的函数名称。

factors:设置修改参数因子,需要转换为Float

otherInputTextures:多个输入源,包含MTLTexture的数组

outputSize:更改输出图像的大小。

输出,输出板块

C7FilterOutput:输出内容协议,所有输出都必须实现该协议。

make:根据滤镜处理生成数据。

makeGroup:多个滤镜组合,请注意滤镜添加的顺序可能会影响图像生成的结果。

C7FilterImage:基于C7FilterOutput的图像输入源,以下模式仅支持基于并行计算的编码器。

C7FilterTexture: 基于C7FilterOutput的纹理输入源,输入纹理转换成滤镜处理纹理。

C7CollectorCamera:相机数据采集器,直接生成图像,然后在主线程返回。

C7CollectorVideo:视频图像桢加入滤镜效果,直接生成图像。


设计滤镜


下面我们就第一款滤镜来分享一下如何设计处理

实现协议 C7FilterProtocal

public protocol C7FilterProtocol {
     /// 编码器类型和对应的函数名
     ///
     /// 计算需要对应的`kernel`函数名
     /// 渲染需要一个`vertex`着色器函数名和一个`fragment`着色器函数名
     var modifier: Modifier { get }
     /// 制作缓冲区
     /// 设置修改参数因子,需要转换为`Float`。
     var factors: [Float] { get }
     /// 多输入源扩展
     /// 包含 `MTLTexture` 的数组
     var otherInputTextures: C7InputTextures { get }
     /// 改变输出图像的大小
     func outputSize(input size:C7Size)-> C7Size
}

编写基于并行计算的核函数着色器。

配置传递参数因子,仅支持Float

配置额外的所需纹理。


举个例子


设计一款灵魂出窍滤镜,

public struct C7SoulOut: C7FilterProtocol {
    /// The adjusted soul, from 0.0 to 1.0, with a default of 0.5
    public var soul: Float = 0.5
    public var maxScale: Float = 1.5
    public var maxAlpha: Float = 0.5
    public var modifier: Modifier {
        return .compute(kernel: "C7SoulOut")
    }
    public var factors: [Float] {
        return [soul, maxScale, maxAlpha]
    }
    public init() { }
}

此过滤器需要三个参数:

soul:调整后的灵魂,从 0.0 到 1.0,默认为 0.5

maxScale:最大灵魂比例

maxAlpha:最大灵魂的透明度

编写基于并行计算内核函数

kernel void C7SoulOut(texture2d<half, access::write> outputTexture [[texture(0)]],
                      texture2d<half, access::sample> inputTexture [[texture(1)]],
                      constant float *soulPointer [[buffer(0)]],
                      constant float *maxScalePointer [[buffer(1)]],
                      constant float *maxAlphaPointer [[buffer(2)]],
                      uint2 grid [[thread_position_in_grid]]) {
    constexpr sampler quadSampler(mag_filter::linear, min_filter::linear);
    const half4 inColor = inputTexture.read(grid);
    const float x = float(grid.x) / outputTexture.get_width();
    const float y = float(grid.y) / outputTexture.get_height();
    const half soul = half(*soulPointer);
    const half maxScale = half(*maxScalePointer);
    const half maxAlpha = half(*maxAlphaPointer);
    const half alpha = maxAlpha * (1.0h - soul);
    const half scale = 1.0h + (maxScale - 1.0h) * soul;
    const half soulX = 0.5h + (x - 0.5h) / scale;
    const half soulY = 0.5h + (y - 0.5h) / scale;
    const half4 soulMask = inputTexture.sample(quadSampler, float2(soulX, soulY));
    const half4 outColor = inColor * (1.0h - alpha) + soulMask * alpha;
    outputTexture.write(outColor, grid);
}

简单使用,由于我这边设计的是基于并行计算管道,所以可以直接生成图片

var filter = C7SoulOut()
filter.soul = 0.5
filter.maxScale = 2.0
/// 直接显示在ImageView
ImageView.image = try? originImage.makeImage(filter: filter)

至于上面的动效也很简单,添加一个计时器,然后改变soul值就完事,简单嘛。


高级用法


运算符链式处理

/// 1.转换成BGRA
let filter1 = C7Color2(with: .color2BGRA)
/// 2.调整颗粒度
var filter2 = C7Granularity()
filter2.grain = 0.8
/// 3.调整白平衡
var filter3 = C7WhiteBalance()
filter3.temperature = 5555
/// 4.调整高光阴影
var filter4 = C7HighlightShadow()
filter4.shadows = 0.4
filter4.highlights = 0.5
/// 5.组合操作
let AT = C7FilterTexture.init(texture: originImage.mt.toTexture()!)
let result = AT ->> filter1 ->> filter2 ->> filter3 ->> filter4
/// 6.获取结果
filterImageView.image = result.outputImage()

1.png

批量操作处理

/// 1.转换成RBGA
let filter1 = C7Color2(with: .color2RBGA)
/// 2.调整颗粒度
var filter2 = C7Granularity()
filter2.grain = 0.8
/// 3.配置灵魂效果
var filter3 = C7SoulOut()
filter3.soul = 0.7
/// 4.组合操作
let group: [C7FilterProtocol] = [filter1, filter2, filter3]
/// 5.获取结果
filterImageView.image = try? originImage.makeGroup(filters: group)

1.png


两种方式都可以处理多滤镜方案,怎么选择就看你心情。✌️


CocoaPods


如果要导入 Metal 模块,则需要在 Podfile 中:

pod 'Harbeth'

如果要导入 OpenCV 图像模块,则需要在 Podfile 中:

pod 'OpencvQueen'


效果图


来一波部分展示效果图:

1.png1.png

1.png

1.png

1.png

1.png

1.png

1.png

1.png


最后


关于滤镜框架介绍与设计到此为止吧。

慢慢再补充其他相关滤镜,喜欢就给我点个星🌟吧。

滤镜Demo地址,目前包含100+种滤镜,当然也有大部分滤镜算法是参考GPUImage设计而来。

再附上一个开发加速库KJCategoriesDemo地址 🎷喜欢的老板们可以点个星🌟✌️.

相关文章
|
8月前
|
算法 计算机视觉 iOS开发
iOS 实时图像处理技术:使用 Core Image 和 Metal 进行高效滤镜应用
【4月更文挑战第8天】 在移动设备上实现高效的图像处理功能是现代应用程序开发中的一个关键需求。苹果的iOS平台提供了Core Image和Metal两大技术,它们为开发者提供了强大的工具来实现复杂的图像处理任务。本文将探讨如何使用Core Image进行基础图像处理,并结合Metal的性能优势,开发出一个自定义的实时图像滤镜。我们将通过创建一个能够动态调整参数并且具有实时反馈效果的滤镜来演示这一过程。
|
iOS开发
css3 重置ios滤镜
​原来iPhone上的safari解析input[type="submit"]和input[type="reset"]按钮会以苹果浏览器的默认UI渲染,苹果一直非常注重用户体验,从苹果系统为中文单独定义了汉字的字体就可以看出来,所以苹果浏览器对网页元素进行渲染和美化不足为其,只是考虑到是为客户做项目,如果不能保证在各种设备上显示一致的话,是不能被客户所认可的。
1326 0
|
图形学 iOS开发
iOS开发系列--绘图与滤镜全面解析
<div style="border-width:0px; padding:0px; margin:0px; list-style:none; color:rgb(51,51,51); font-family:宋体; font-size:14px; line-height:28px"> 在iOS中常用的绘图框架就是Quartz 2D,Quartz 2D是Core Graphics框架的一
1386 0
|
数据库 异构计算 容器
iOS8 Core Image In Swift:视频实时滤镜
iOS8 Core Image In Swift:自动改善图像以及内置滤镜的使用 iOS8 Core Image In Swift:更复杂的滤镜 iOS8 Core Image In Swift:人脸检测以及马赛克 iOS8 Core Image In Swift:视频实时滤镜 在Core Image之前,我们虽然也能在视频录制或照片拍摄中对图像进行实时处理,但远没有Core Image使用起来方便,我们稍后会通过一个Demo回顾一下以前的做法,在此之前的例子都可以在模拟器和真机中测试,而这个例子因为会用到摄像头,所以只能在真机上测试。
1500 0
|
API 异构计算
iOS8 Core Image In Swift:自动改善图像以及内置滤镜的使用
iOS8 Core Image In Swift:自动改善图像以及内置滤镜的使用 iOS8 Core Image In Swift:更复杂的滤镜 iOS8 Core Image In Swift:人脸检测以及马赛克 iOS8 Core Image In Swift:视频实时滤镜 Core Image是一个很强大的框架。
1073 0
|
2月前
|
开发框架 前端开发 Android开发
安卓与iOS开发中的跨平台策略
在移动应用开发的战场上,安卓和iOS两大阵营各据一方。随着技术的演进,跨平台开发框架成为开发者的新宠,旨在实现一次编码、多平台部署的梦想。本文将探讨跨平台开发的优势与挑战,并分享实用的开发技巧,帮助开发者在安卓和iOS的世界中游刃有余。
|
17天前
|
iOS开发 开发者 MacOS
深入探索iOS开发中的SwiftUI框架
【10月更文挑战第21天】 本文将带领读者深入了解Apple最新推出的SwiftUI框架,这一革命性的用户界面构建工具为iOS开发者提供了一种声明式、高效且直观的方式来创建复杂的用户界面。通过分析SwiftUI的核心概念、主要特性以及在实际项目中的应用示例,我们将展示如何利用SwiftUI简化UI代码,提高开发效率,并保持应用程序的高性能和响应性。无论你是iOS开发的新手还是有经验的开发者,本文都将为你提供宝贵的见解和实用的指导。
108 66
|
3天前
|
存储 监控 API
app开发之安卓Android+苹果ios打包所有权限对应解释列表【长期更新】-以及默认打包自动添加权限列表和简化后的基本打包权限列表以uniapp为例-优雅草央千澈
app开发之安卓Android+苹果ios打包所有权限对应解释列表【长期更新】-以及默认打包自动添加权限列表和简化后的基本打包权限列表以uniapp为例-优雅草央千澈
|
27天前
|
开发框架 Android开发 iOS开发
安卓与iOS开发中的跨平台策略:一次编码,多平台部署
在移动应用开发的广阔天地中,安卓和iOS两大阵营各占一方。随着技术的发展,跨平台开发框架应运而生,它们承诺着“一次编码,到处运行”的便捷。本文将深入探讨跨平台开发的现状、挑战以及未来趋势,同时通过代码示例揭示跨平台工具的实际运用。