在计算机科学中,机器学习是一个非常有意思的领域,它已经在我的最想学习的愿望清单中驻留已久。因为有太多来自于RxJava
, Testing
, Android N
, Android Studio
以及其他 Android
相关的技术更新,所以我都每能花时间来学习这个。甚至在 Udacity
还专门有一个有关机器学习的课程。
让我非常激动的发现是,目前任意一个开发人员都能基于运动视觉(Mobile Vision API
) 把机器学习运用在他们自己的应用程序中,这个技术来自于 Google,它让你甚至都不需要有机器学习领域的专业知识。你只需要关心怎么利用这些 APIs
。
在云服务和移动应用中,有很多运用于机器学习的 APIs
,但是在这些 API
中,我将只关注运动视觉 (Mobile Vision
)API
,因为它是专门为 Android
开发者们创造的。目前运动视觉 (Mobile Vision
) API 包含了三种功能: 人脸侦测 API,条形码侦测 API,文本侦测 API。在这篇文章中,我们将涉及人脸侦测的内容,并且会在之后的一系列文章里讨论剩下的两种功能。
人脸侦测 API
这个 API 被用于侦测和追踪在图片或视频中的人脸,但是它还不具备人脸识别的能力。它能在脸上进行侦测标定并提供人脸分类的功能。人脸标定是一系列在脸组成的点,例如眼睛,鼻子和嘴巴。人脸分类被用于检查那些标定的点是否符合某个特征,例如微笑的脸或者闭上了的眼睛,它们是目前仅支持的分类。这个 API 也能在不同的角度进行人脸侦测,并且记录欧式(欧拉)空间中的 Y坐标和 Z 的角度。
入门指南
我们准备创建一个具有两个过滤器的应用程序 printf("%s Story", yourName)
。请注意,本文的目的仅为了显示如何使用这个 API,所以这个初始版本的代码将不会进行测试或者遵循任何设计模式。也请注意,最好把所有的处理过程都从 UI 线程中分离。托管在 Github 上的源码 将会更新。
让我们开始吧...
- 在
Android Studio
中创建一个新的项目 - 将含有 Mobile Vision API 的 Google Play Services SDK 导入到你项目中
app
层级下的build.gradle
文件内。在写这篇文章的时候,最新版本是9.6.1\
。请一定要小心这里,如果导入了整个 SDK 而不是仅导入你需要的那个 (play-services-vision),那你一定会达到 65k 方法的限制。
compile 'com.google.android.gms:play-services-vision:9.6.1'
- 为了启用那些具有人脸侦测功能的依赖库,添加这个
meta-data
到你的manifest
文件中。
<meta-data
android:name="com.google.android.gms.vision.DEPENDENCIES"
android:value="face"/>
- 下一步,你需要增加一个 ImageView 和 Button 到你的界面布局中。这个按钮通过选择一个图片开始,并处理这个图片,之后把它显示在 ImageView。这个图片能从摄像头或者照片库中获得和加载。为了节约时间,我保存并使用了一个在
drawable
文件夹内的图片。 - 在那个按钮的点击事件内,创建一个新的 BitmapFactory.Options 对象并且把 inmutable 属性设定为
true
。这确保了bitmap
是可变的,以便我们对它动态地增加效果。
BitmapFactory.Options bitmapOptions = new BitmapFactory.Options();
bitmapOptions.inMutable = true;
- 下一步,从
BitmapFactory
类方法中用 decodeResource 方法创建一个新的Bitmap
。你会使用来自你的drawable
文件夹内相同的一个图片并且把 BitmapOptions 这个对象通过和之前一样的参数进行创建。
Bitmap defaultBitmap = BitmapFactory.decodeResource(getResources(), R.drawable.image, bitmapOptions);
- 创建一个 Paint 对象并把它的
style
属性设定成stroke
。这确保了图形不会被完全填充,因为我们需要确保头部在长方形内。
注意: 如果你正创建一个名为 !(Recognize Me) 的游戏,你需要在这个游戏内用一个图片挡住你的脸,所以你的对手不得不猜测你是谁,你想要把填充的形式设定成 Paint.Style.FILL
Paint rectPaint = new Paint();
rectPaint.setStrokeWidth(5);
rectPaint.setColor(Color.CYAN);
rectPaint.setStyle(Paint.Style.STROKE);
- 我们需要一个展现这个
bitmap
的画布。我们先创建一个有临时bitmap
的画布。这个临时的bitmap
会和之前的有着一样的尺寸,但是仅仅是这个一样的。我们之后要把原始的bitmap
画在同一个画布上。
Bitmap temporaryBitmap = Bitmap.createBitmap(defaultBitmap.getWidth(), defaultBitmap
.getHeight(), Bitmap.Config.RGB_565);
Canvas canvas = new Canvas(temporaryBitmap);
canvas.drawBitmap(defaultBitmap, 0, 0, null);
- 最后,让我们言归正传,说说看怎么使用 FaceDectector API 。因为我们在使用一个静态的图片,所以追踪功能被禁止了。它应该在视频上被启用。
FaceDetector faceDetector = new FaceDetector.Builder(this)
.setTrackingEnabled(false)
.setLandmarkType(FaceDetector.ALL_LANDMARKS)
.build();
- 检查是否人脸侦测正常运作了。有可能第一次它不能正常工作,因为有一个依赖库需要被下载到设备上,而当你需要使用它的时候还没有完全下载完毕。
if (!faceDetector.isOperational()) {
new AlertDialog.Builder(this)
.setMessage("Face Detector could not be set up on your device :(")
.show();
return;
}
- 下一步,我们用默认的
bitmap
创建一帧,然后调用人脸侦测功能获取人脸对象。
Frame frame = new Frame.Builder().setBitmap(defaultBitmap).build();
SparseArray sparseArray = faceDetector.detect(frame);
- 在这一步中矩形框画在这个人脸上。我们能获取每个人脸左边和上部的位置,但是我们还需要右边和底部的尺寸才能画矩形。为了解决这个问题,我们分别为左边和上部增加宽度和高度。
for (int i = 0; i < sparseArray.size(); i++) {
Face face = sparseArray.valueAt(i);
float left = face.getPosition().x;
float top = face.getPosition().y;
float right = left + face.getWidth();
float bottom = right + face.getHeight();
float cornerRadius = 2.0f;
RectF rectF = new RectF(left, top, right, bottom);
canvas.drawRoundRect(rectF, cornerRadius, cornerRadius, rectPaint);
}
- 我们之后创建一个新的 BitmapDrawable,它有一个临时的
bitmap
并且把它设定在界面布局中的ImageView
中,之后这个人脸侦测的实例就能被释放了。
imageView.setImageDrawable(new BitmapDrawable(getResources(), temporaryBitmap));
faceDetector.release();
通过这些步骤,已经可以在每一张人脸上画出一个矩形框了。如果你想在每一张人脸上突出那些标定点,你只需要修改最后两步中的循环内容。你将为没一张脸依次加上标定点,获取标定点的 x
和 y
坐标,并且在每一个标定点处画上一个圆圈。
for (int i = 0; i < sparseArray.size(); i++) {
Face face = sparseArray.valueAt(i);
float left = face.getPosition().x;
float top = face.getPosition().y;
float right = left + face.getWidth();
float bottom = right + face.getHeight();
float cornerRadius = 2.0f;
RectF rectF = new RectF(left, top, right, bottom);
canvas.drawRoundRect(rectF, cornerRadius, cornerRadius, rectPaint);
for (Landmark landmark : face.getLandmarks()) {
int x = (int) (landmark.getPosition().x);
int y = (int) (landmark.getPosition().y);
float radius = 10.0f;
canvas.drawCircle(x, y, radius, rectPaint);
}
}
有标定点的人脸图片
我很好奇这些标定点是什么展现出来的,所以我使用 landmark.getType() 来查明原由。原来每一个标定点都附带了特别的数字。
for (Landmark landmark : face.getLandmarks()) {
int cx = (int) (landmark.getPosition().x);
int cy = (int) (landmark.getPosition().y);
// canvas.drawCircle(cx, cy, 10, rectPaint);
String type = String.valueOf(landmark.getType());
rectPaint.setTextSize(50);
canvas.drawText(type, cx, cy, rectPaint);
}
当我们想在屏幕上定位跟某个人脸标定点相关的对象的时候,这就非常有用了。如果我们想创建自己的 printf("%s Story", yourName)
应用程序,我们要做的就是把一个图像放置到和其中一个标定点有关的位置上,因为我们现在知道了那些数字代表了什么。让我们开始如下的操作...
假设我们现在是一群海盗,并且我们想通过这个非常棒的 printf("%s Story", yourName)
滤镜来展现左眼上的眼罩。所以eyePatchBitmap
会被画在左眼的位置。
for (Landmark landmark : face.getLandmarks()) {
int cx = (int) (landmark.getPosition().x);
int cy = (int) (landmark.getPosition().y);
// canvas.drawCircle(cx, cy, 10, rectPaint);
// String type = String.valueOf(landmark.getType());
// rectPaint.setTextSize(50);
// canvas.drawText(type, cx, cy, rectPaint);
// the left eye is represented by 4
if (landmark.getType() == 4) {
canvas.drawBitmap(eyePatchBitmap, cx - 270, cy - 250, null);
}
}
这里有更多 printf("%s Story", yourName)
应用程序的内容...
关于这个 API
还有很多内容。我们能更新这个应用程序,它可以用来在视频内追踪人脸并且允许过滤器跟随头部移动。文中提到的工程源码已经提交到了我们的 GitHub 仓库。