Android项目集成opencv

1,283 阅读3分钟
  • 使用mac电脑开发,Android Studio开发工具
  • opencv 4.10.0

一、下载依赖库

1、opencv库

  • 此opencv库支持多种平台,移动端编译最小库,解决直接从opencv官网下载opencv集成到项目里各种报错问题

二、新建Android项目

1、新建项目

  • 新建Native C++项目
  • 选择Java开发语言
  • 构建语言可以选择kotlin也可以选择Groovy,区别是kotlin会生成build.gradle.kts 构建文件,我这里选择了Groovy生成buld.gradle文件的选项。
踩坑点提示:
  • 如果选择了kotlin构建语言,此时项目里的自动生成的构建文件为build.gradle.kts,而后期添加opencv时会自动生成新的build.gradle文件,会覆盖原build.gradle.kts文件的功能造成失效,需要更改build.gradle.kts的内容到build.gradle,否则项目会编译失败。
  • 因为后期会使用cpp,所以直接创建Native C++项目更为方便,项目会自动生成一些cpp必要的库和demo文件。
  • 选择C++14

2、运行项目

  • 检查是否能运行

三、引入opencv库

1.引入module

  • File-->New-->Import Module
  • 选择下载好的opencv/sdk文件夹

2.修改opencv的build.gradle文件

  • 修改build.gradle文件中sdk编号,与app的build.gradle中的sdk编号一致。
  • 注释'kotlin-android'插件
  • 重新编译成功

3.app添加对opencv模型的依赖

  • File --> Project Structure --> Dependencies

  • 添加成功后会在settings.gradle中自动生成opencv的配置

4. 项目中添加opencv并配置Cmake

  • 定位到CMakeLists.txt所在文件夹,即:项目/app/src/main/cpp
  • 将下载的OpenCV-4.10.0-android-sdk放到此文件夹下
  • 修改CMAkeLists.txt文件,添加opencv环境配置
cmake_minimum_required(VERSION 3.22.1)

project("yoloposedemo")


set(OpenCV_DIR "${CMAKE_SOURCE_DIR}/OpenCV-4.10.0-android-sdk/sdk/native/jni")
find_package(OpenCV REQUIRED core imgproc)

add_library(${CMAKE_PROJECT_NAME} SHARED
        pre_image.cpp)

# jnigraphics-lib 需要link,否则无法在cpp中使用#include <android/bitmap.h> 中的方法
cmake_minimum_required(VERSION 3.22.1)

project("yoloposedemo")


set(OpenCV_DIR "${CMAKE_SOURCE_DIR}/OpenCV-4.10.0-android-sdk/sdk/native/jni")
find_package(OpenCV REQUIRED core imgproc)

add_library(${CMAKE_PROJECT_NAME} SHARED
        native-lib.cpp)

target_link_libraries(${CMAKE_PROJECT_NAME}
        ${OpenCV_LIBS}
        android
        log)

5.添加opencv处理

1)新建cpp文件

  • 在CMakeLists.txt同路径下新建pre_image.cpp文件

2)修改CMake文件

  • 在CMakeLists.txt中添加对pre_image.cpp的支持
add_library(${CMAKE_PROJECT_NAME} SHARED
      pre_image.cpp)

3) 在MainActivity.java文件中添加native方法

//获得Canny边缘
    public native void getEdge(Object bitmap);

  • 光标移动大这个方法等待1s或光标定位到这个方法使用快捷键alt+Enter,弹出框选Create JNI function for getEdge
  • 选择在pre_image.cpp中新建JNI方法。

4)添加getEdge方法的内容,使用了opencv的Canny方法

#include <jni.h>
#include <string>

#include <android/bitmap.h>
#include <opencv2/opencv.hpp>

using namespace cv;


extern "C"
JNIEXPORT void JNICALL
Java_com_test_yoloposedemo_MainActivity_getEdge(JNIEnv *env, jobject thiz, jobject bitmap) {
    // TODO: implement getEdge()

    AndroidBitmapInfo info;
    void *pixels;

    CV_Assert(AndroidBitmap_getInfo(env, bitmap, &info) >= 0);
    CV_Assert(info.format == ANDROID_BITMAP_FORMAT_RGBA_8888 ||
              info.format == ANDROID_BITMAP_FORMAT_RGB_565);
    CV_Assert(AndroidBitmap_lockPixels(env, bitmap, &pixels) >= 0);
    CV_Assert(pixels);
    if (info.format == ANDROID_BITMAP_FORMAT_RGBA_8888) {
        Mat temp(info.height, info.width, CV_8UC4, pixels);
        Mat gray;
        cvtColor(temp, gray, COLOR_RGBA2GRAY);
        Canny(gray, gray, 45, 75);
        cvtColor(gray, temp, COLOR_GRAY2RGBA);
    } else {
        Mat temp(info.height, info.width, CV_8UC2, pixels);
        Mat gray;
        cvtColor(temp, gray, COLOR_RGB2GRAY);
        Canny(gray, gray, 45, 75);
        cvtColor(gray, temp, COLOR_GRAY2RGB);
    }
    AndroidBitmap_unlockPixels(env, bitmap);

}

5) CMake文件中再次配置jnigraphics-lib

  • 由于pre_image.cpp中使用了<android/bitmap.h>中的方法,因此需要在CMakeList.txt中配置一下jnigraphics-lib,否则编译成功但运行时报错
find_library(jnigraphics-lib jnigraphics)

target_link_libraries(${CMAKE_PROJECT_NAME}
        ${OpenCV_LIBS}
        android
        log
        ${jnigraphics-lib})

6.新建xml文件用于ui展示

<?xml version="1.0" encoding="utf-8"?>
<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
    android:orientation="vertical"
    android:layout_width="fill_parent"
    android:layout_height="fill_parent">

    <LinearLayout
        android:orientation="horizontal"
        android:layout_width="fill_parent"
        android:layout_height="wrap_content">

        <Button
            android:id="@+id/checkImgBtn"
            android:layout_width="wrap_content"
            android:layout_height="wrap_content"
            android:text="选图" />
        <Button
            android:id="@+id/buttonDet"
            android:layout_width="wrap_content"
            android:layout_height="wrap_content"
            android:text="渲染" />
    </LinearLayout>

    <ImageView
        android:id="@+id/showImg"
        android:layout_width="fill_parent"
        android:layout_height="fill_parent"
        android:layout_weight="1" />

</LinearLayout>


7.修改MainActivity.java

  • 添加按钮点击方法
package com.test.yoloposedemo;

import androidx.appcompat.app.AppCompatActivity;

import android.graphics.Bitmap;
import android.graphics.BitmapFactory;
import android.health.connect.datatypes.ActiveCaloriesBurnedRecord;
import android.os.Bundle;
import android.view.View;
import android.widget.Button;
import android.widget.ImageView;
import android.widget.TextView;

import com.test.yoloposedemo.databinding.ActivityHomeBinding;
import com.test.yoloposedemo.databinding.ActivityMainBinding;

public class MainActivity extends AppCompatActivity {

    // Used to load the 'yoloposedemo' library on application startup.
    static {
        System.loadLibrary("yoloposedemo");
    }

    private ActivityHomeBinding homeBinding;
    private ImageView imageView;
    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);

        homeBinding = ActivityHomeBinding.inflate(getLayoutInflater());

        setContentView(homeBinding.getRoot());

        //
        Button checkImgBtn = homeBinding.checkImgBtn;
        checkImgBtn.setOnClickListener(new View.OnClickListener() {
            @Override
            public void onClick(View arg0) {
                loadImage();
            }
        });

        //
        Button buttonDet = homeBinding.buttonDet;
        buttonDet.setOnClickListener(new View.OnClickListener() {
            @Override
            public void onClick(View arg0) {
                detectImage();
            }
        });

        //
        imageView = homeBinding.showImg;
        loadImage();
    }

    private void loadImage() {
        String imageName = "dog";

        int imageResourceId = getResources().getIdentifier(imageName, "drawable", getPackageName());
        imageView.setImageResource(imageResourceId);

    }

    private void detectImage() {
        Bitmap bitmap = BitmapFactory.decodeResource(getResources(), R.drawable.dog);
        getEdge(bitmap);
        imageView.setImageBitmap(bitmap);
    }

    /**
     * A native method that is implemented by the 'yoloposedemo' native library,
     * which is packaged with this application.
     */

    //获得Canny边缘
    public native void getEdge(Object bitmap);
}

8.运行效果

👀关注公众号:Android老皮!!!欢迎大家来找我探讨交流👀