基于最近邻分类器,在HarmonyOS实现图像识别_图像识别的分类器,2024年最新HarmonyOS鸿蒙中高级面试必知必会

61 阅读4分钟

由于先前已训练了20项数据,所以我们可以获取20项距离数据,将它们表示为d1, d2, ... ,d20。接着,分类器通过逐项比较获取最小距离di(i∈[1,20]∩N),这意味着第i个已训练样本是未知品种的鱼的最近邻。因此,当第i个已训练样本属于鲈鱼品种时,上述品种未知的鱼将被分类为鲈鱼,否则分类为鲑鱼。

基于最近邻分类器的图像识别算法

首先需要明确的是,本案例的图像识别分类器所分类的对象是灰度图。图像识别的最近邻分类器与前面提到的例子十分类似,只不过在图像识别中,样本的每个像素点的灰度值是一个特征维。假设分类器所处理的图像规模是100px乘100px,那么对应的特征空间就是10000维的高维空间,而每个图像样本经特征提取后都可以表示成10000维空间的一个向量。虽然特征空间的维度升高了不少,但分类算法在本质上没有差别。同先前的例子一样,图片分类的依据是被测样本的最近邻,所以我们需要计算被测样本对应在高维空间中的向量与其他已训练样本的向量的距离,这里的距离仍采用欧式范数

图片

找出被测样本的最近邻后,我们便可以凭借此最近邻进行图片分类。

代码结构

─entry/src/main ├─ module.json5 ├─ resources │ ├─ zh_CN │ ├─ rawfile │ │ ├─ p1.png │ │ ├─ p2.png │ │ ├─ p3.png │ │ ├─ p4.png │ │ ├─ p5.png │ │ ├─ p6.png │ │ ├─ s1.png │ │ └─ s2.png │ ├─ en_US │ └─ base └─ ets ├─ XL_Modules │ └─ XL_Image_NNC.ts ├─ pages │ └─ Index.ets └─ entryability └─ EntryAbility.ts

图片解码流程

图片解码指将所支持格式的存档图片解码成统一的PixelMap,以便在应用或系统中进行图片显示或图片处理。

在本案例中,不论是用于训练分类器的图片还是待检测的图片,都需要提前放入Demo

的rawfile目录下的。如果要获取某个图像资源,我们只需要知道此图像的名称(字符串数据),然后通过资源管理者模块resourceManager即可取得。如下给出以获取rawfile目录下名为'p1.png',大小为100px乘100px的图片资源为例,需要编写的相关操作语句。

获取resourceManager

let context = getContext(this) const resourceMgr = context.resourceManager

获取rawfile文件夹下p1.png的ArrayBuffer

let Data = await resourceMgr.getRawFileContent('test.jpg') let buffer = Data.buffer

创建ImageSource实例

const imageSource = image.createImageSource(buffer)

创建PixelMap实例

const pixelMap = await imageSource.createPixelMap();

因为我们需要做图像处理,所以还需要创建一个ArrayBuffer实例(buffer对象),并读取PixelMap实例的数据至buffer中。这样以后,buffer就是一个储存了p1.png图像数据的BGRA_8888格式的数组(也可以称之为向量)了。

let dim = 1001004 //维度 let buffer = new ArrayBuffer(dim) await pixelMap.readPixelsToBuffer(buffer) .catch(err => { console.error(err: +${err}) })

由于buffer是BGRA_8888格式的数组,所以buffer中第i,i+1,i+2,  i+3(i∈[0,dim/4-1])分别代表某个像素点蓝色分量(B),绿色分量(G),红色分量(R)和透明度分量(A)。因为本案例的图像识别是在灰度图的基础上进行的,所以我们还需要将BGRA_8888格式的数组转化为灰度值数组。

RGB图转灰度图并不难,只需要将每个像素点的蓝色,绿色和红色分量加权求和,就可以得到每个像素点的灰度值。其中,灰度值 = (红色通道值 * 0.299) + (绿色通道值 * 0.587) + (蓝色通道值 * 0.114)。这里的加权系数是根据人眼对不同颜色敏感度的差异来确定的。

关键代码

XL_Image_NNC.ts

import image from '@ohos.multimedia.image'; import common from '@ohos.app.ability.common';

//所操作图片的尺寸(图片的宽高一致) const OPERATION_SIZE = 100

/*

  • 函数名: Get_NumberType_Array_MinValue_Index
  • 描述: 返回输入的number型Array中数值最小的元素所在索引 */ function Get_NumberType_Array_MinValue_Index(arr:Array):number{

let location:number = 0

for(var i = 0; i < arr.length; ++i){ if(arr[i]<arr[location]){ location = i } }

return location

}

//最近邻分类器能力接口 interface I_Nearest_Neighbor_Classifier{

train(context:common.Context,Train_Data:Array)

identify(test_data:string)

}

/*

  • 类名: XL_Image_NNC
  • 描述: 基于最近邻分类器的图像识别模块 */ class XL_Image_NNC implements I_Nearest_Neighbor_Classifier{

//日志标签 private TAG:string = '------[XL_Image_NNC] '

//BGRA_8888图对应向量的规模 private dim_rgb:number = 4*(OPERATION_SIZE**2)

//灰度图对应向量的规模 private dim_gray:number = OPERATION_SIZE**2

//RGB图向量转化为灰度图向量时, 三原色(red green blue)通道值各自占灰度值的权重, 并且满足R_Weight + G_Weight + B_Weight = 1 private R_Weight:number = 0.299 private G_Weight:number = 0.587 private B_Weight:number = 0.114

//已加入的图像向量的集合(BGRA_8888) private Trained_Data_RGB:Array = []

//已加入的图像向量的集合(灰度图) private Trained_Data_Gray:Array = []

//存储距离(欧式范数)的数组 private Distance_Array:Array = []

//储存资源管理模块的变量 private resourceMgr = null

/*

  • 方法名: train
  • 描述: 为分类器填充数据, 使得分类器获取监督模式识别的功能
  • 参数: context: UIAbility的上下文对象 Train_Data: 待训练的图片集(图片需要提前储存在rawfile目录下) */ public async train(context:common.Context,Train_Data:Array) {

//通过context获取ResourceManager(资源管理模块) this.resourceMgr = context.resourceManager

//遍历和处理待输入的图片数据 for (var item of Train_Data) {

//通过resourceMgr的getRawFileContent方法(填入图片的文件名字符串),获取rawfile目录下某个图片所资源对应的UintArray let rawData = await this.resourceMgr.getRawFileContent(item)

//通过先前获取的UintArray创建ImageSource实例 let imageSource = image.createImageSource(rawData.buffer)

//通过ImageSource实例创建像素表 let pixelMap = await imageSource.createPixelMap()

//将像素表读取到新建的ArrayBuffer变量中 let buffer = new ArrayBuffer(this.dim_rgb) await pixelMap.readPixelsToBuffer(buffer) .catch(err => { console.error(this.TAG+err: +${err}) })

//最后将ArrayBuffer携带的RGB型图像向量存入Trained_Data_RGB(向量集合)中 this.Trained_Data_RGB.push(new Uint8Array(buffer))

}

//将获取的RGB型图像向量集合转化为灰度型图像向量集合 for(var element of this.Trained_Data_RGB){

let GrayScaleVector = new Uint8Array(this.dim_gray) let index:number = 0

//遍历RGB型图像向量的元素 for(var i = 0; i < element.length; i++){ if((i+1)%4 == 0){

//获取像素点的R,G,B通道值, 将他们加权求和得到灰度值 var grayScale = this.R_Weightelement[i-3]+this.G_Weightelement[i-2]+this.B_Weight*element[i-1]

//存储 GrayScaleVector[index++] = grayScale } }

//最后将GrayScaleVector携带的灰度型图像向量存入Trained_Data_Gray(向量集合)中 this.Trained_Data_Gray.push(GrayScaleVector)

}

}

/*

  • 方法名: identify
  • 描述: 基于已获取的数据,完成监督模式识别,返回输入样本的最近邻在Trained_Data_Gray中的索引
  • 参数: test_data: 待识别的图片(图片需要储存在rawfile目录下) */ public async identify(test_data:string):Promise{

//排除异常情况 if(this.resourceMgr == null){ console.error(this.TAG+'Please train the image data before identifying') return -1 }

//获取rawfile目录下某个图片所对应的UintArray let rawData = await this.resourceMgr.getRawFileContent(test_data)

//通过先前获取的UintArray创建ImageSource实例 let imageSource = image.createImageSource(rawData.buffer)

//通过ImageSource实例创建像素表 let pixelMap = await imageSource.createPixelMap()

//将像素表读取到新建的buffer变量中 let buffer = new ArrayBuffer(this.dim_rgb) await pixelMap.readPixelsToBuffer(buffer) .catch(err => { console.error(this.TAG+err: +${err}) })

let Sample_RGB = new Uint8Array(buffer)

let Sample_Gray = new Uint8Array(this.dim_gray)

let index:number = 0

img img

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!