OpenCV 在 Android 上的应用

简介: OpenCV 在 Android 上的应用

一. OpenCV 介绍



OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库,可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成,同时提供了Python、Ruby、MATLAB等语言的接口,实现了图像处理和计算机视觉方面的很多通用算法。


在移动端上使用 OpenCV 可以完成一系列图像处理的工作。


二. OpenCV 在 Android 上的配置



我在项目中使用的 OpenCV 版本是 4.x。


在 Android Studio 中创建一个 Library,将官网下载的 OpenCV 导入后,就可以直接调用 OpenCV 中 Java 类的方法。


如果想调用 C++ 的类,也可以使用 CMake 创建环境,然后通过 include 文件放入指定路径。


下面是项目中使用的 CMakeLists.txt

cmake_minimum_required(VERSION 3.6.0)
include_directories(
        ${CMAKE_SOURCE_DIR}/src/main/cpp/include
)
add_library(libopencv_java4 SHARED IMPORTED)
set_target_properties(
        libopencv_java4
        PROPERTIES IMPORTED_LOCATION
        ${CMAKE_SOURCE_DIR}/src/main/jniLibs/libs/${ANDROID_ABI}/libopencv_java4.so)
add_library(libc++_shared SHARED IMPORTED)
set_target_properties(
        libc++_shared
        PROPERTIES IMPORTED_LOCATION
        ${CMAKE_SOURCE_DIR}/src/main/jniLibs/libs/${ANDROID_ABI}/libc++_shared.so)
add_library(
        detect
        SHARED
        src/main/cpp/detect-lib.cpp
        src/main/cpp/detect-phone.cpp
)
find_library(
        log-lib
        log
)
target_link_libraries(
        detect libopencv_java4 libc++_shared jnigraphics
        ${log-lib}
)


其中,detect-lib.cpp 和 detect-phone.cpp 是我创建的 C++ 类。打成 so 文件时,会包含这2个类。


三. 例子两则



3.1 作为二维码识别的兜底方案


在 Android 原生开发中,二维码识别有老牌的 zxing 等开源库。为何还要使用 OpenCV 呢?


因为 OpenCV 有自己的优势,借助它可以定位到二维码的位置,一般识别不到二维码的内容大多是因为找不到它的位置。要是能够找到位置,就可以快速识别二维码的内容。


这样一来,识别二维码时需要先拍一张照,从图像中找出二维码的位置。当然,还可以对图像进行预处理,以便能够更好地找到二维码的位置。


下面的代码,展示了在应用层拍完照之后,将图片的路径传到 jni 层将其转换成对应的 Mat 对象,再转换成灰度图像,然后找出二维码的位置,要是能够找到的话就识别出二维码的内容。

extern "C"
JNIEXPORT jstring JNICALL
Java_com_xxx_sdk_utils_DetectUtils_qrDetect(JNIEnv *env, jclass jc,jstring filePath) {
    const char *file_path_str = env->GetStringUTFChars(filePath, 0);
    string path = file_path_str;
    Mat src = imread(path);
    Mat gray, qrcode_roi;
    cvtColor(src, gray, COLOR_BGR2GRAY);
    QRCodeDetector qrcode_detector;
    vector<Point> pts;
    string detect_info;
    bool det_result = qrcode_detector.detect(gray, pts);
    if (det_result) {
        detect_info = qrcode_detector.decode(gray, pts, qrcode_roi);
        return env->NewStringUTF(detect_info.c_str());
    } else {
        detect_info = "";
        return env->NewStringUTF(detect_info.c_str());
    }
}


对应的 Java 代码,方便应用层调用 jni 层的 qrDetect()

public class DetectUtils {
    static {
        System.loadLibrary("detect");
    }
    /**
     * 识别二维码
     * @param filePath
     * @return
     */
    public static native String qrDetect(String filePath);
    ......
}


最后是应用层的调用

// 使用 OpenCV 进行二维码识别
val result = DetectUtils.qrDetect(filePath)
L.d("opencvs识别二维码: $result")


3.2 比对图像的差异


在我们的实际开发中遇到一个应用场景:需要判断我们的手机回收机里面是否存放了物体。(手机回收机是一个触摸屏设备,可以通过 Android 系统来操作内部的硬件设备。)

我们事先拍一张回收机内没有物体的图作为基准图像,等到需要判断是否存在物体时再拍一张图片。两幅图片对比看比例,比列超过阈值则认为回收机内存在着物体。


下面的代码,展示了在应用层拍完照之后,跟基准图片进行比对,并返回结果。

extern "C"
JNIEXPORT jboolean JNICALL
Java_com_xxx_sdk_utils_DetectUtils_checkPhoneInMTA(JNIEnv *env, jclass jc,jstring baseImgPath,jstring filePath) {
    jboolean tRet = false;
    const char *file_path_str = env->GetStringUTFChars(filePath, 0);
    string path = file_path_str;
    Mat src = imread(path);
    const char *base_img_path_str = env->GetStringUTFChars(baseImgPath, 0);
    string basePath = base_img_path_str;
    Mat baseImg = imread(basePath);
    int result = checkPhoneInBox(baseImg,src,40,0.1);
    LOGI("checkPhoneInBox result = %d",result);
    if (result == 0) {
        tRet = true;
    }
    return tRet;
}


两张图片真正的比对是在 checkPhoneInBox() 中完成的。其中,maxFilter() 是为了处理彩色的情况,然后使用高斯滤波进行降噪处理,再进行二值化处理,最后判断灰度差异区域占总图像的比列是否超过预先设定的阈值。

int checkPhoneInBox(cv::Mat baseImg, cv::Mat snapImg, int diffThresh, double threshRatio) {
    cv::Mat baseMaxImg, snapMaxImg,baseGausImg, snapGausImg;
    if (baseImg.empty()|| snapImg.empty())
    {
        return -1;
    }
    try {
        maxFilter(baseImg, baseMaxImg);
        maxFilter(snapImg, snapMaxImg);
    } catch (...) {
        return -1;
    }
    cv::GaussianBlur(baseMaxImg, baseGausImg, cv::Size(5, 5),0);
    cv::GaussianBlur(snapMaxImg, snapGausImg, cv::Size(5, 5),0);
    cv::Mat diff,diffBin;
    cv::Mat noMax;
    cv::absdiff(baseGausImg, snapGausImg, diff);
    cv::threshold(diff, diffBin, diffThresh, 255, cv::THRESH_BINARY);
    float ratio = (float)cv::countNonZero(diffBin) / (long)diffBin.total();
    LOGI("ratio = %f,%d,%ld",ratio,cv::countNonZero(diffBin),(long)diffBin.total());
    if (ratio > threshRatio)
    {
        return 0;
    }
    else
    {
        return 1;
    }
}
int maxFilter(cv::Mat baseImg, cv::Mat &maxImg)
{
    if (baseImg.channels() <3)
    {
        maxImg = baseImg.clone();
    }
    else
    {
        maxImg.create(baseImg.size(), CV_8UC1);
        for (int r=0;r<baseImg.rows;r++)
        {
            for (int c = 0; c < baseImg.cols; c++)
            {
                uchar maxTmp=0;
                cv::Vec3b s = baseImg.at<cv::Vec3b>(r, c);
                maxTmp = (std::max)(s[0],s[1]);
                maxTmp = (std::max)(maxTmp,s[2]);
                maxImg.at<uchar>(r, c) = maxTmp;
            }
        }
    }
    return 0;
}


对应的 Java 代码,方便应用层调用 jni 层的 checkPhoneInMTA()

public class DetectUtils {
    static {
        System.loadLibrary("detect");
    }
    /**
     * 判断MTA中是否有手机
     * @param baseImageFilePath 基准的图片
     * @param filePath          拍摄的图片
     * @return
     */
    public static native boolean checkPhoneInMTA(String baseImageFilePath, String filePath);
    ......
}


最后是应用层的调用

val result = DetectUtils.checkPhoneInMTA(Constants.OPENCV_PHOTO_PATH, it.absolutePath)


四. 总结



OpenCV 是一款功能强大的图像处理库。但是它本身体积也较大,在移动端使用至少会增加 Android Apk 包 10 M+ 的体积(主要取决于 App 要支持多少个 CPU 架构)。如果很介意的话,可以考虑自行裁剪 OpenCV,然后再进行编译。


我所在的部门隶属于中台部门,主要输出接口和 SDK。在 SDK 中使用 OpenCV 的确会给业务方造成困扰,未来也会考虑如何减少 SDK 的体积,以及把 SDK 做成模块化。

相关文章
|
2月前
|
IDE Java 开发工具
深入探索安卓应用开发:从环境搭建到第一个"Hello, World!"应用
本文将引导读者完成安卓应用开发的初步入门,包括安装必要的开发工具、配置开发环境、创建第一个简单的安卓项目,以及解释其背后的一些基本概念。通过一步步的指导和解释,本文旨在为安卓开发新手提供一个清晰、易懂的起点,帮助读者顺利地迈出安卓开发的第一步。
222 65
|
2月前
|
存储 Java Android开发
探索安卓应用开发:构建你的第一个"Hello World"应用
【9月更文挑战第24天】在本文中,我们将踏上一段激动人心的旅程,深入安卓应用开发的奥秘。通过一个简单而经典的“Hello World”项目,我们将解锁安卓应用开发的基础概念和步骤。无论你是编程新手还是希望扩展技能的老手,这篇文章都将为你提供一次实操体验。从搭建开发环境到运行你的应用,每一步都清晰易懂,确保你能顺利地迈出安卓开发的第一步。让我们开始吧,探索如何将一行简单的代码转变为一个功能齐全的安卓应用!
|
13天前
|
JSON Java Android开发
探索安卓开发之旅:打造你的第一个天气应用
【10月更文挑战第30天】在这个数字时代,掌握移动应用开发技能无疑是进入IT行业的敲门砖。本文将引导你开启安卓开发的奇妙之旅,通过构建一个简易的天气应用来实践你的编程技能。无论你是初学者还是有一定经验的开发者,这篇文章都将成为你宝贵的学习资源。我们将一步步地深入到安卓开发的世界中,从搭建开发环境到实现核心功能,每个环节都充满了发现和创造的乐趣。让我们开始吧,一起在代码的海洋中航行!
|
13天前
|
存储 搜索推荐 Java
打造个性化安卓应用:从设计到实现
【10月更文挑战第30天】在数字化时代,拥有一个个性化的安卓应用不仅能够提升用户体验,还能加强品牌识别度。本文将引导您了解如何从零开始设计和实现一个安卓应用,涵盖用户界面设计、功能开发和性能优化等关键环节。我们将以一个简单的记事本应用为例,展示如何通过Android Studio工具和Java语言实现基本功能,同时确保应用流畅运行。无论您是初学者还是希望提升现有技能的开发者,这篇文章都将为您提供宝贵的见解和实用的技巧。
|
16天前
|
搜索推荐 开发工具 Android开发
打造个性化Android应用:从设计到实现的旅程
【10月更文挑战第26天】在这个数字时代,拥有一个能够脱颖而出的移动应用是成功的关键。本文将引导您了解如何从概念化阶段出发,通过设计、开发直至发布,一步步构建一个既美观又实用的Android应用。我们将探讨用户体验(UX)设计的重要性,介绍Android开发的核心组件,并通过实际案例展示如何克服开发中的挑战。无论您是初学者还是有经验的开发者,这篇文章都将为您提供宝贵的见解和实用的技巧,帮助您在竞争激烈的应用市场中脱颖而出。
|
18天前
|
算法 Java 数据库
Android 应用的主线程在什么情况下会被阻塞?
【10月更文挑战第20天】为了避免主线程阻塞,我们需要合理地设计和优化应用的代码。将耗时操作移到后台线程执行,使用异步任务、线程池等技术来提高应用的并发处理能力。同时,要注意避免出现死循环、不合理的锁使用等问题。通过这些措施,可以确保主线程能够高效地运行,提供流畅的用户体验。
29 2
|
22天前
|
Java API Android开发
安卓应用程序开发的新手指南:从零开始构建你的第一个应用
【10月更文挑战第20天】在这个数字技术不断进步的时代,掌握移动应用开发技能无疑打开了一扇通往创新世界的大门。对于初学者来说,了解并学习如何从无到有构建一个安卓应用是至关重要的第一步。本文将为你提供一份详尽的入门指南,帮助你理解安卓开发的基础知识,并通过实际示例引导你完成第一个简单的应用项目。无论你是编程新手还是希望扩展你的技能集,这份指南都将是你宝贵的资源。
46 5
|
22天前
|
移动开发 Dart 搜索推荐
打造个性化安卓应用:从零开始的Flutter之旅
【10月更文挑战第20天】本文将引导你开启Flutter开发之旅,通过简单易懂的语言和步骤,让你了解如何从零开始构建一个安卓应用。我们将一起探索Flutter的魅力,实现快速开发,并见证代码示例如何生动地转化为用户界面。无论你是编程新手还是希望扩展技能的开发者,这篇文章都将为你提供价值。
|
1月前
|
调度 Android开发 开发者
构建高效Android应用:探究Kotlin多线程优化策略
【10月更文挑战第11天】本文探讨了如何在Kotlin中实现高效的多线程方案,特别是在Android应用开发中。通过介绍Kotlin协程的基础知识、异步数据加载的实际案例,以及合理使用不同调度器的方法,帮助开发者提升应用性能和用户体验。
46 4
|
1月前
|
机器学习/深度学习 API 计算机视觉
基于Python_opencv人脸录入、识别系统(应用dlib机器学习库)(下)
基于Python_opencv人脸录入、识别系统(应用dlib机器学习库)(下)
22 2