iOS8 Core Image In Swift:人脸检测以及马赛克

简介: iOS8 Core Image In Swift:自动改善图像以及内置滤镜的使用iOS8 Core Image In Swift:更复杂的滤镜iOS8 Core Image In Swift:人脸检测以及马赛克iOS8 Core Image In Swift:视频实时滤镜Core Image不仅内置了诸多滤镜,还能检测图像中的人脸,不过Core Image只是检测,并非识别,检测人脸是指在图像中寻找符合人脸特征(只要是个人脸)的区域,识别是指在图像中寻找指定的人脸(比如某某某的脸)。

iOS8 Core Image In Swift:自动改善图像以及内置滤镜的使用

iOS8 Core Image In Swift:更复杂的滤镜

iOS8 Core Image In Swift:人脸检测以及马赛克

iOS8 Core Image In Swift:视频实时滤镜


Core Image不仅内置了诸多滤镜,还能检测图像中的人脸,不过Core Image只是检测,并非识别,检测人脸是指在图像中寻找符合人脸特征(只要是个人脸)的区域,识别是指在图像中寻找指定的人脸(比如某某某的脸)。Core Image在找到符合人脸特征的区域后,会返回该特征的信息,比如人脸的范围、眼睛和嘴巴的位置等。



人脸检测并标记检测到的区域

先做好以下几步:
  1. 新建一个Single View Application工程
  2. 然后在Storyboard里放入UIImageView,ContentMode设置为Aspect Fit
  3. 将UIImageView连接到VC里
  4. 放入一个名为“人脸检测”的UIButton,然后连接到VC的faceDetecting方法上
  5. 关闭Auto Layout以及Size Classes
UIImageView的frame以及VC的UI如下:


以下是工程中会用到的图,齐刷刷一排脸,点击图片显示原图:



然后在VC上添加基本的属性:懒加载的originalImage、context(Core Image框架绕不开的对象)。

class ViewController: UIViewController {

    @IBOutlet var imageView: UIImageView!

    lazy var originalImage: UIImage = {

        return UIImage(named: "Image")

    }()

    lazy var context: CIContext = {

        return CIContext(options: nil)

    }()

...... 

在viewDidLoad方法里显示originalImage:

override func viewDidLoad() {

    super.viewDidLoad()

    // Do any additional setup after loading the view, typically from a nib.

    self.imageView.image = originalImage

} 

然后就可以准备实现faceDetecting方法了。
在Core Image框架中, CIDetector对象提供了对图像检测的功能,只需要通过几个APIs就能完成CIDetector的初始化并得到检测结果:


@IBAction func faceDetecing() {

    let inputImage = CIImage(image: originalImage)

    let detector = CIDetector(ofType: CIDetectorTypeFace,

                             context: context,

                             options: [CIDetectorAccuracyCIDetectorAccuracyHigh])

    var faceFeatures: [CIFaceFeature]!

    if let orientation: AnyObject = inputImage.properties()?[kCGImagePropertyOrientation] {

        faceFeatures = detector.featuresInImage(inputImage, 

                                                options: [CIDetectorImageOrientation: orientation]

                                               ) as [CIFaceFeature]

    } else {

        faceFeatures = detector.featuresInImage(inputImage) as [CIFaceFeature]

    }


    println(faceFeatures)

......

使用kCGImagePropertyOrientation的时候,可能需要导入ImageIO框架
originalImage和context通过懒加载都得到了,在创建CIDetector对象的时候,必须告诉它要检测的内容,这里当然是传 CIDetectorTypeFace了,除了CIDetectorTypeFace外,CIDetector还能检测二维码;然后传递一个context,多个CIDetector可以共用一个context对象;第三个参数是一个字典,我们能够指定检测的精度,除了CIDetectorAccuracyHigh以外,还有CIDetectorAccuracyLow,精度高会识别度更高,但识别速度就更慢。
创建完CIDetector之后,把要识别的CIImage传递给它,在这里,我判断了CIImage是否带有方向的元数据,如果带的话调用就 featuresInImage:options这个方法,因为方向对CIDetector来说至关重要,直接导致识别的成功与否;而有的图片没有方向这些元数据,就调用 featuresInImage方法,由于这张《生活大爆炸》的图是不带方向元数据的,所以是执行的featuresInImage方法,但是大多数情况下应该会用到前者。
featuresInImage方法的返回值是一个 CIFaceFeature数组,CIFaceFeature包含了面部的范围、左右眼、嘴巴的位置等,我们通过使用bounds就能标记出面部的范围。
我们很容易写出这样的代码:
  1. 获取所有的面部特征
  2. 用bounds实例化一个UIView
  3. 把View显示出来
实现出来就像这样:

@IBAction func faceDetecing() {

    let inputImage = CIImage(image: originalImage)

    let detector = CIDetector(ofType: CIDetectorTypeFace,

        context: context,

        options: [CIDetectorAccuracyCIDetectorAccuracyHigh])

    var faceFeatures: [CIFaceFeature]!

    if let orientation: AnyObject = inputImage.properties()?[kCGImagePropertyOrientation] {

        faceFeatures = detector.featuresInImage(inputImage, options: [CIDetectorImageOrientation: orientation]) as [CIFaceFeature]

    } else {

        faceFeatures = detector.featuresInImage(inputImage) as [CIFaceFeature]

    }

    

    println(faceFeatures)


    for faceFeature in faceFeatures {

        let faceView = UIView(frame: faceFeature.bounds)

        faceView.layer.borderColor = UIColor.orangeColor().CGColor

        faceView.layer.borderWidth = 2

        

        imageView.addSubview(faceView)

    }

}

这样写是否可以呢?如果你运行起来会得到这样的效果:

这是因为我们的 inputImage,其实是用 originalImage初始化的,而我这张originalImage的真实大小比实际看到的大得多:

它的宽实有600像素,我把它以@2x命名,实际显示有300像素,且在imageView里以 Aspect Fit模式展示(imageViwe宽为300像素),在显示的时候被缩放了,但是在内存中它是完整的,除此之外,CIImage的坐标系统和UIView的坐标系统也不一样,CIImage的坐标系统就像数学坐标系统,原点在下,在UIView看来,就是倒置的,这是因Core Image、Core Graphics这些框架都来源于Mac OS X,在Mac OS X上这种坐标系统已存在多年,iOS直接引入了这些框架,这解决了Cocoa App和iOS App底层兼容性的问题,但是在上层就只能自己解决了。所以实际上它是这样的:

我们需要做两步工作:
  • 调整transform,让它正过来
  • 缩放bounds,让它适配imageView
然后再次很容易的写下了这样的代码:

@IBAction func faceDetecing() {

    let inputImage = CIImage(image: originalImage)

    let detector = CIDetector(ofType: CIDetectorTypeFace,

        context: context,

        options: [CIDetectorAccuracyCIDetectorAccuracyHigh])

    var faceFeatures: [CIFaceFeature]!

    if let orientation: AnyObject = inputImage.properties()?[kCGImagePropertyOrientation] {

        faceFeatures = detector.featuresInImage(inputImage, options: [CIDetectorImageOrientation: orientation]) as [CIFaceFeature]

    } else {

        faceFeatures = detector.featuresInImage(inputImage) as [CIFaceFeature]

    }

    

    println(faceFeatures)

    

    // 1.

    let inputImageSize = inputImage.extent().size

    var transform = CGAffineTransformIdentity

    transform = CGAffineTransformScale(transform, 1, -1)

    transform = CGAffineTransformTranslate(transform, 0-inputImageSize.height)


    for faceFeature in faceFeatures {

        var faceViewBounds = CGRectApplyAffineTransform(faceFeature.bounds, transform)

        // 2.

        let scaleTransform = CGAffineTransformMakeScale(0.50.5)

        faceViewBounds = CGRectApplyAffineTransform(faceViewBounds, scaleTransform)

        

        let faceView = UIView(frame: faceViewBounds)

        faceView.layer.borderColor = UIColor.orangeColor().CGColor

        faceView.layer.borderWidth = 2

        

        imageView.addSubview(faceView)

    }

} 

现在看起来就没有问题了,在第一步里我们放置了一个调整坐标系统的tranform,在第二步对bounds进行了缩放(等同于把x、y、width、height全部乘以0.5),由于我们知道实际scale是0.5(原图600像素,imageView宽为300像素),就直接写死了0.5,但运行后出现了一点点偏移:

这其实是因为我把imageView的 ContentMode设为Aspect Fit的结果 :


一般来讲,我们不会拉伸照片,通常会按宽、高进行适配,所以我们还需要对Aspect Fit进行处理,上面代码修改后如下:

@IBAction func faceDetecing() {

    let inputImage = CIImage(image: originalImage)

    let detector = CIDetector(ofType: CIDetectorTypeFace,

        context: context,

        options: [CIDetectorAccuracyCIDetectorAccuracyHigh])

    var faceFeatures: [CIFaceFeature]!

    if let orientation: AnyObject = inputImage.properties()?[kCGImagePropertyOrientation] {

        faceFeatures = detector.featuresInImage(inputImage, options: [CIDetectorImageOrientation: orientation]) as [CIFaceFeature]

    } else {

        faceFeatures = detector.featuresInImage(inputImage) as [CIFaceFeature]

    }

    

    println(faceFeatures)

    

    // 1.

    let inputImageSize = inputImage.extent().size

    var transform = CGAffineTransformIdentity

    transform = CGAffineTransformScale(transform, 1, -1)

    transform = CGAffineTransformTranslate(transform, 0-inputImageSize.height)


    for faceFeature in faceFeatures {

        var faceViewBounds = CGRectApplyAffineTransform(faceFeature.bounds, transform)

        

        // 2.

        var scale = min(imageView.bounds.size.width / inputImageSize.width,

            imageView.bounds.size.height / inputImageSize.height)

        var offsetX = (imageView.bounds.size.width - inputImageSize.width * scale) / 2

        var offsetY = (imageView.bounds.size.height - inputImageSize.height * scale) / 2

        

        faceViewBounds = CGRectApplyAffineTransform(faceViewBounds, CGAffineTransformMakeScale(scale, scale))

        faceViewBounds.origin.x += offsetX

        faceViewBounds.origin.y += offsetY

        

        let faceView = UIView(frame: faceViewBounds)

        faceView.layer.borderColor = UIColor.orangeColor().CGColor

        faceView.layer.borderWidth = 2

        

        imageView.addSubview(faceView)

    }

}

在第二步里,除了通过宽、高比计算scale外,还计算了x、y轴的偏移,以确保在宽或高缩放的情况下都能正常工作(最后除以2是因为缩放时是居中显示,上下或左右都各有一半)。
编译、运行,在不同的高度下的效果图:


面部马赛克

检测到面部以后,我们还能做一些有趣的操作,比如打上马赛克:

这是苹果官方例子上的一张图,展示了把一张照片中所有的面部打上马赛克的方法:
  1. 基于原图,创建一个将所有部分都马赛克的图片
  2. 为检测到的人脸创建一张蒙版图
  3. 用蒙版图,将完全马赛克的图和原图混合起来
我们在VC上添加一个名为“马赛克”的按钮,将其事件连接到VC的 pixellated方法上,然后开始实现马赛克的效果。
具体步骤如下:

创建完全马赛克的图

使用 CIPixellate滤镜,其参数设置:
  • 设置inputImage为原图
  • 可以根据自己的需要,选择设置inputScale参数,inputScale取值为1到100,取值越大,马赛克就越大
这一步的效果图:


为检测到的人脸创建蒙版图

和之前一样,使用CIDetector检测人脸,然后为每一张脸:
  • 使用CIRadialGradient滤镜创建一个把脸包围起来的圆
  • 使用CISourceOverCompositing滤镜把各个蒙版(有几张脸其实就有几个蒙版)组合起来
这一步的效果图:


混合马赛克图、蒙版图以及原图

CIBlendWithMask滤镜来混合三者,其参数设置如下:
  • 设置inputImage为马赛克图
  • 设置inputBackground为原图
  • 设置inputMaskImage为蒙版图
完整实现代码如下:

@IBAction func pixellated() {

    // 1.

    var filter = CIFilter(name: "CIPixellate")

    println(filter.attributes())

    let inputImage = CIImage(image: originalImage)

    filter.setValue(inputImage, forKey: kCIInputImageKey)

    // filter.setValue(max(inputImage.extent().size.width, inputImage.extent().size.height) / 60, forKey: kCIInputScaleKey)

    let fullPixellatedImage = filter.outputImage

    // let cgImage = context.createCGImage(fullPixellatedImage, fromRect: fullPixellatedImage.extent())

    // imageView.image = UIImage(CGImage: cgImage)

    // 2.

    let detector = CIDetector(ofType: CIDetectorTypeFace,

                              context: context,

                              options: nil)

    let faceFeatures = detector.featuresInImage(inputImage)

    // 3.

    var maskImage: CIImage!

    for faceFeature in faceFeatures {

        println(faceFeature.bounds)

        // 4.

        let centerX = faceFeature.bounds.origin.x + faceFeature.bounds.size.width / 2

        let centerY = faceFeature.bounds.origin.y + faceFeature.bounds.size.height / 2

        let radius = min(faceFeature.bounds.size.width, faceFeature.bounds.size.height

        let radialGradient = CIFilter(name: "CIRadialGradient",

                                      withInputParameters: [

                                        "inputRadius0" : radius,

                                        "inputRadius1" : radius + 1,

                                        "inputColor0" : CIColor(red: 0, green: 1, blue: 0, alpha: 1),

                                        "inputColor1" : CIColor(red: 0, green: 0, blue: 0, alpha: 0),

                                        kCIInputCenterKey : CIVector(x: centerX, y: centerY)

            ])

        println(radialGradient.attributes())

        // 5.

        let radialGradientOutputImage = radialGradient.outputImage.imageByCroppingToRect(inputImage.extent())

        if maskImage == nil {

            maskImage = radialGradientOutputImage

        } else {

            println(radialGradientOutputImage)

            maskImage = CIFilter(name: "CISourceOverCompositing",

                withInputParameters: [

                    kCIInputImageKey : radialGradientOutputImage,

                    kCIInputBackgroundImageKey : maskImage

                ]).outputImage

        }

    }

    // 6.

    let blendFilter = CIFilter(name: "CIBlendWithMask")

    blendFilter.setValue(fullPixellatedImage, forKey: kCIInputImageKey)

    blendFilter.setValue(inputImage, forKey: kCIInputBackgroundImageKey)

    blendFilter.setValue(maskImage, forKey: kCIInputMaskImageKey)

    // 7.

    let blendOutputImage = blendFilter.outputImage

    let blendCGImage = context.createCGImage(blendOutputImage, fromRect: blendOutputImage.extent())

    imageView.image = UIImage(CGImage: blendCGImage)

} 

我详细的分为了7个部分:
  1. 用CIPixellate滤镜对原图先做个完全马赛克
  2. 检测人脸,并保存在faceFeatures中
  3. 初始化蒙版图,并开始遍历检测到的所有人脸
  4. 由于我们要基于人脸的位置,为每一张脸都单独创建一个蒙版,所以要先计算出脸的中心点,对应为x、y轴坐标,再基于脸的宽度或高度给一个半径,最后用这些计算结果初始化一个CIRadialGradient滤镜(我将inputColor1的alpha赋值为0,表示将这些颜色值设为透明,因为我不关心除了蒙版以外的颜色,这点和苹果官网中的例子有太一样,苹果将其赋值为了1)
  5. 由于CIRadialGradient滤镜创建的是一张无限大小的图,所以在使用之前先对它进行裁剪(苹果官网例子中没有对其裁剪。。),然后把每一张脸的蒙版图合在一起
  6. CIBlendWithMask滤镜把马赛克图、原图、蒙版图混合起来
  7. 输出,在界面上显示
运行效果:

一个简单的对照片进行马赛克处理的例子就完成了。


GitHub下载地址

我在GitHub上会保持更新。

UPDATED:

细心的朋友会发现马赛克的面积比检测到的面积要大:

这是因为计算马赛克radius时没有考虑缩放的因素,只要先计算出scale,再把scale和现在的radius相乘就能得到精确的范围。
计算scale:

var scale = min(imageView.bounds.size.width / inputImage.extent().size.width,

                imageView.bounds.size.height / inputImage.extent().size.height)

修正radius:

let radius = min(faceFeature.bounds.size.width, faceFeature.bounds.size.height* scale

修正后的马赛克效果与人脸检测效果:



参考资料:

https://developer.apple.com/library/mac/documentation/graphicsimaging/conceptual/CoreImaging/ci_intro/ci_intro.html

目录
相关文章
|
5月前
|
开发工具 Swift iOS开发
【Swift开发专栏】Swift中的内存泄漏检测与修复
【4月更文挑战第30天】本文探讨了Swift中的内存泄漏问题,尽管有ARC机制,但仍需关注内存管理。文章分为三部分:内存管理基础知识、检测方法和修复技巧。了解ARC原理和循环引用陷阱是防止内存泄漏的关键。检测方法包括使用Xcode内存调试器、LeakSanitizer和性能分析工具。修复技巧涉及打破循环引用、使用弱/无主引用及手动管理内存。理解这些对优化应用性能和稳定性至关重要。
213 0
|
5月前
|
算法 计算机视觉 iOS开发
iOS 实时图像处理技术:使用 Core Image 和 Metal 进行高效滤镜应用
【4月更文挑战第8天】 在移动设备上实现高效的图像处理功能是现代应用程序开发中的一个关键需求。苹果的iOS平台提供了Core Image和Metal两大技术,它们为开发者提供了强大的工具来实现复杂的图像处理任务。本文将探讨如何使用Core Image进行基础图像处理,并结合Metal的性能优势,开发出一个自定义的实时图像滤镜。我们将通过创建一个能够动态调整参数并且具有实时反馈效果的滤镜来演示这一过程。
|
5月前
|
算法 计算机视觉 iOS开发
iOS 实时图像处理技术:Core Image 框架的应用
【4月更文挑战第8天】 在移动设备上实现高效的图像处理功能,对于提升用户体验和扩展应用程序能力至关重要。苹果公司的iOS平台提供了强大的Core Image框架,它允许开发者以高效和直观的方式执行复杂的图像处理任务。本文将深入探讨Core Image框架的关键特性,并通过实例演示如何在iOS应用中集成实时图像处理功能,不仅提高性能,同时保持了电池寿命的优化。我们将重点讨论面部识别、滤镜应用和性能优化等关键技术点,为读者提供一份全面的iOS图像处理指南。
|
2月前
|
API 开发工具 Android开发
视觉智能开放平台产品使用合集之人脸活体检测能力是否支持Android端或者iOS端直接调用
视觉智能开放平台是指提供一系列基于视觉识别技术的API和服务的平台,这些服务通常包括图像识别、人脸识别、物体检测、文字识别、场景理解等。企业或开发者可以通过调用这些API,快速将视觉智能功能集成到自己的应用或服务中,而无需从零开始研发相关算法和技术。以下是一些常见的视觉智能开放平台产品及其应用场景的概览。
|
2月前
|
Swift iOS开发
iOS Swift使用Alamofire请求本地服务器报错-1002
iOS Swift使用Alamofire请求本地服务器报错-1002
67 1
|
3月前
|
Unix 调度 Swift
苹果iOS新手开发之Swift 中获取时间戳有哪些方式?
在Swift中获取时间戳有四种常见方式:1) 使用`Date`对象获取秒级或毫秒级时间戳;2) 通过`CFAbsoluteTimeGetCurrent`获取Core Foundation的秒数,需转换为Unix时间戳;3) 使用`DispatchTime.now()`获取纳秒级精度的调度时间点;4) `ProcessInfo`提供设备启动后的秒数,不表示绝对时间。不同方法适用于不同的精度和场景需求。
75 3
|
17天前
|
安全 Swift iOS开发
探索iOS开发之旅:Swift语言的魅力与挑战
【9月更文挑战第21天】在这篇文章中,我们将一起潜入iOS开发的海洋,探索Swift这门现代编程语言的独特之处。从简洁的语法到强大的功能,Swift旨在让开发者能够以更高效、更安全的方式构建应用程序。通过实际代码示例,我们会深入了解Swift如何简化复杂任务,并讨论它面临的挑战和未来的发展方向。无论你是初学者还是有经验的开发者,这篇文章都将为你提供新的视角和知识。
31 4
|
1月前
|
安全 编译器 Swift
探索iOS开发之旅:Swift编程语言的魅力与挑战
【9月更文挑战第5天】在iOS应用开发的广阔天地中,Swift作为苹果官方推荐的编程语言,以其简洁、高效和安全的特点,成为了开发者的新宠。本文将带领你领略Swift语言的独特魅力,同时探讨在实际开发过程中可能遇到的挑战,以及如何克服这些挑战,成为一名优秀的iOS开发者。
|
1月前
|
设计模式 前端开发 Swift
探索iOS开发:Swift与Objective-C的较量
在这篇文章中,我们将深入探讨iOS开发的两大编程语言——Swift与Objective-C。我们将分析这两种语言的特性、优势和局限性,并讨论它们在现代iOS开发中的应用。无论你是初学者还是有经验的开发者,这篇文章都将为你提供有价值的见解和建议。
41 3
|
2月前
|
测试技术 Swift iOS开发
探索iOS自动化测试:使用Swift编写UI测试
【8月更文挑战第31天】在软件开发的海洋中,自动化测试是保证船只不偏离航线的灯塔。本文将带领读者启航,深入探索iOS应用的自动化UI测试。我们将通过Swift语言,点亮代码的灯塔,照亮测试的道路。文章不仅会展示如何搭建测试环境,还会提供实用的代码示例,让理论知识在实践中生根发芽。无论你是新手还是有经验的开发者,这篇文章都将是你技能提升之旅的宝贵指南。