【杰哥带你玩转Android自动化】学亿点有备无患的"姿势"

·  阅读 4066
【杰哥带你玩转Android自动化】学亿点有备无患的"姿势"

本文为稀土掘金技术社区首发签约文章,14天内禁止转载,14天后未获授权禁止转载,侵权必究!

0x1、引言

Hi,我是杰哥,上节《学穿ADB》 带着大家:

对ADB相关的姿势进行了深入学习,并写了一个 "某办公软件打卡自动化" 的简单练手案例。

不知道读者朋友们,有没有跟着动手试试看,纸上得来终觉浅,绝知此事要躬行,收藏夹吃灰是大忌,没试过的赶紧玩起来!

文尾处说道:这个自动打卡脚本的实现过于简单粗暴 (定时 + adb包名启动应用),存在一系列问题。

而单靠ADB并不能解决,所以本节我们再学点有备无患的 "自动化姿势",拓宽认知,为下节自动打卡脚本的「赋能」做准备。

本节学习路线安排如下:

  • 了解下OCR文字识别的相关概念,使用 pytesseract库chineseocr_lite 库识别图片文字;
  • 了解消息推送相关,使用 Server酱 推送消息到微信;
  • 学习自动化中Python常用的 图片处理操作
  • 利用Android系统中的 system/bin/uiautomator.jar包,导出当前页面的所有控件信息,并对xml内容进行解析;

话不多说,直接开冲~


0x2、OCR文字识别

OCR,Optical Character Recognition,译作 光学字符识别,亦称 计算机文字识别,指的是利用光学技术和计算机技术,对文本资料的图像文件进行分析识别处理,获取文字及版面信息的过程。

说人话就是:利用这项技术,从图片中直接提取文字

OCR技术是实现文字快速录入的一项关键技术,应用场景可就多了:

  • 车牌路牌识别;
  • 证件卡片识别;
  • 验证码识别;
  • 古籍识别;
  • PDF转Word等...

如今大部分手机和APP都自带OCR,读者们应该都玩过吧?没玩过的可以打开微信体验下:点开图片 → 长按 → 提取文字:

简单介绍下 印刷体文字 的主要识别流程 (详细讲解可见【独家】一文读懂文字识别(OCR))

前期处理

  • 灰度化 → 彩色图像中每个像素的颜色由 RGB三个分量 决定,取值范围0-255,对于计算机来说,这样一个像素点会有256256256=16777216种颜色的变化范围。而灰度图是一种 RGB分量相同 的特殊色图像,一个像素点的变化范围只有0-255这256种。图像灰度化的目的是为了简化矩阵,提高运算速度。
  • 二值化 → 将文字与背景进一步分开,将灰度值图像信号转换为只有黑(1)和白(0)的二值图像信号,可简单理解为 "黑白化",常用方法有:分量法、最大值法、平均值法、加权平均法等;
  • 降噪 → 根据噪点的特征进行去噪;
  • 倾斜校正 → 倾斜的文档图像对后期的字符分割、识别和图像压缩等工作会产生较大影响,为了保证后续处理的正确性,需要对文本图像进行倾斜检测和校正;
  • 大小规范化 → 将输入的任意尺寸的文字都处理成统一尺寸的标准文字,以便与预先存储在字典中的参考模板相匹配;
  • 图像平滑 → 去掉笔划上的孤立白点和笔划外部的孤立黑点,以及笔划边缘的凹凸点,使得笔划边缘变得平滑;

中期处理

  • 版面分析 → 将文本图像分割为不同部分,并标定各部分属性,如:文本、图像、表格;
  • 版面理解 → 获取文章逻辑结构,包括各区域的逻辑属性、文章的层次关系和阅读顺序;
  • 图像切分 → 对文本图像进行切分,方便对单个文字进行识别处理,有两个类型:行(列)切分和字切分;
  • 特征提取 → 从单个字符图像上提取统计特征或结构特征,匹配特征库中与待识别文字相似度最高的文字;
  • 模型训练 → 从大量标记预料中自动学习出图像的特征;

识别后处理

  • 版面恢复 → 根据版面分析和OCR的结果,重构出包含文字信息和版面信息的电子文档;
  • 识别校正 → 特定的语言上下文的关系,对识别结果进行校正;

上述内容看得一脸懵逼,云里雾里?放心,这些技术我们无需掌握,专业的事情交给专业的人,大概了解下就好。

我们只关注 能提取图片文字的OCR工具这个工具该怎么用


① pytesseract (不推荐)

网上随手搜下关键字 Python OCR识别文字,一堆烂大街的教程都是教你用 pytesseract 这个基于Google开源的 Tesseract-OCR 引擎封装的库来进行文字识别。

用法确实简单,先装两个东西:

# 安装 pytesseract
pip install pytesseract

# 安装Tesseract (区分系统)

# Windows系统 → 可到:https://github.com/UB-Mannheim/tesseract/wiki 下载exe安装包
# 注:记得选中文包,默认只支持英文识别
# 安装完,来到tesseract.exe所在的目录,复制路径,在PATH环境变量中新增此路径。

# macOS系统可用brew安装 → brew install tesseract
复制代码

安装配置完,打开命令行键入 tesseract -v 可以查看对应版本:

如果安装时没勾选中文包也没关系,可以到 tessdata 中下载中文数据集 chi_sim.traineddata,然后放到 tessdata 目录下 (其它语言也是如此):

随手拿个图片试试水:

识别代码如下:

import pytesseract
from PIL import Image

if __name__ == '__main__':
    image = Image.open("test_ocr.jpg")
    text = pytesseract.image_to_string(image, lang='chi_sim')
    print(text)
复制代码

输出结果如下:

em...识别率好像不是很高?尝试把文字部分抠出来 (手动截图),再识别一下:

第一行文本算是完整识别了,但第二行文本依旧识别不出来。想提高识别率,除了 对图片进行处理 (二值化、灰度等),还可以自己 训练数据模型,对训练方法感兴趣可移步至 Training for Tesseract 5 自行查阅尝试。

得自己训练模型,这波算是劝退我们了,毕竟我们的期望是:简单调下API,就能获取较为准确的识别结果


② chineseocr_lite (推荐)

自己不想训练模型,直接用别人训练好的模型,不就好了?

随手搜下"OCR平台",铺天盖地的供应服务商,以百度OCR为例,官网控制台开通OCR相关服务,接着 pip install baidu-aip 安装模块,然后直接调用:

from aip import AipOcr


# 读取文件内容
def get_file_content(file_path):
    with open(file_path, 'rb') as fp:
        return fp.read()


class BaiDuOCR:
    # 初始化,相关字段到官网控制台自行获取
    def __init__(self):
        self.APP_ID = "xxx"
        self.API_KEY = "xxx"
        self.SECRET_KEY = "xxx"
        self.client = AipOcr(self.APP_ID, self.API_KEY, self.SECRET_KEY)

    # 识别图片
    def general(self, pic_path):
        orc_result = self.client.basicGeneral(get_file_content(pic_path))
        if orc_result is not None:
            print("识别结果:" + str(orc_result))
        else:
            print("识别失败")
            raise Exception("识别失败异常")


if __name__ == '__main__':
    ocr_client = BaiDuOCR()
    ocr_client.general('test_ocr.jpg')
复制代码

运行识别结果如下:

啧啧,完美识别,其它OCR识别平台的集成方法也是类似,参照对应官方文档即可。

当然,识别服务是要 收费的 的 (有提供少量的白嫖次数),毕竟,人家也是要盈利的,有企业采购需求可以考虑下~

除了付费的服务供应商外,还有一些优秀的开源OCR识别库,比如笔者在 《破大防!这个开源库,竟能让APP日常任务自动化变得如此简单》 中用到的 DayBreak-u/chineseocr_lite,识别速度和准确率都非常高。

使用方法很简单,先把项目clone到本地:

git clone https://github.com/DayBreak-u/chineseocr_lite.git
复制代码

接着cd到目录下,键入启动命令:

python backend/main.py 
复制代码

一般是运行不起来的,相关依赖都没有装,报缺啥,你就pip装啥,比如笔者依次就装了这些:

# Python 高性能Web框架
pip install tornado

# opencv → cv2
pip install opencv-python

# ONNX格式的机器学习模型的高性能推理引擎
pip install onnxruntime

# 小型动态图形计算库,将输入的图形路径进行处理
pip install pyclipper

# 空间几何对象库,支持点线面等集合对象及相关空间操作
pip install shapely
复制代码

该装的都装完了,执行启动命令,终端最后会输出一个内网的ip地址:

复制到浏览器打开,把要识别的图片传入,接着点击识别,静待识别完成:

识别结果准确无误不说,文字区域相对图片的位置也标记出来了:

接着要做的事情就是:抓包编写代码 (模拟上传图片 + 解析识别结果),而这部分折腾过程在 《模拟上传 & 结果解析》 中已经写得巨详细了,不再复述了,直接给出工具代码:

import socket
import requests as r
from collections import OrderedDict

local_ocr_base_url = "http://{}:8089".format(socket.gethostbyname(socket.gethostname()))
local_ocr_tr_run_url = local_ocr_base_url + "/api/tr-run/"


def picture_local_ocr(pic_path):
    upload_files = {'file': open(pic_path, 'rb'), 'compress': 960}
    # 发送请求会自动加上Content-Type,不要手多加上,加了会报错
    resp = r.post(local_ocr_tr_run_url, files=upload_files)
    return extract_text(resp.json())


def extract_text(origin_data_dict):
    text_dict = OrderedDict()
    raw_out = origin_data_dict['data']['raw_out']
    if raw_out is not None:
        for raw in raw_out:
            text_dict[raw[1]] = (raw[0][0][0], raw[0][0][1], raw[0][27][0], raw[0][28][1])
        return text_dict
    else:
        print("Json数据解析异常")


if __name__ == '__main__':
    print(picture_local_ocr('test_ocr.jpg'))
复制代码

运行打印输出结果如下:

行吧,想用OCR文字识别的时候,先把服务跑起来,然后调下 picture_local_ocr() 就好了,非常简单~


0x3、消息推送

在自动化脚本运行过程中,有时需要将一些消息及时告知我们,以便进行一些决策,比如:自动打卡成功或失败。

而笔者知道的关于消息推送的方案有这些:

  • 发送邮件 (免费,python中主要用到两个内置库smtplib-登录邮箱,email-构建邮件内容)
  • 发送短信 (付费,调短信平台提供的API,各种传自己的信息,而且有限制);
  • 集成第三方消息推送SDK (花钱不说,可能还得自己写个接收端的APP);
  • 各种群机器人 (企业微信、钉钉、飞书、tg等);
  • 微信消息 (Server酱、微信测试号等)

上述方案都可以,按照自己实际情况来就好,这里只提一嘴笔者一直在用的 Server酱。用法比较简单,打开官网扫码登录 (要接收消息的微信):

然后点击通道配置,选择方糖服务号:

接着点SendKey跳转,可以在此测试发送消息:

手机微信立马到推送:

接着就是写代码调调API咯,直接给出工具代码:

import requests as r

send_key = "xxx"  # SendKey,官网自行获取
send_url = "https://sctapi.ftqq.com/%s.send" % send_key


def send_wx_message(title, desp, short, channel=9):
    """
    发送微信消息
    :param title: 标题,必填,最大长度32
    :param desp: 消息内容,选填,最大长度为 32KB
    :param short: 消息卡片内容,选填,最大长度64,不指定会自动截图desp的前30个显示
    :param channel: 渠道,支持最多两个通道,用竖线隔开,9为方糖服务号
    :return: None
    """
    resp = r.post(send_url, data={'title': title, 'desp': desp, 'short': short, 'channel': channel})
    if resp:
        if resp.status_code == 200:
            print("消息发送成功")
        else:
            print("消息发送失败")
        print(resp.text)


if __name__ == '__main__':
    send_wx_message("测试标题", "测试消息内容\n\n" * 16, "测试卡片")
复制代码

运行输出结果如下:

微信同样收到消息推送,细心的你可能发现了 [1/5],这是每天只能发5条?

确切点来说是 新版免费额度每天只有5条,对于我们的自动打卡场景来说是 够用 的了。

如果你还有其他自动化的需求,需要 频繁用到消息推送的,也可以按需订阅会员,丰俭由人~

当然,你还可以使用 微信测试号企业微信 动手搭建一个类似的推送平台,具体实践可以参考:《使用python推送消息至手机微信最全版》


0x4、图片处理

就是一些自动化里经常用到的图片处理操作,比如:区域裁剪分辨率调整转灰度二值化 等,也没啥好讲,直接上工具代码,读者按需Copy即可:

import os
import time

from PIL import Image


def get_picture_size(pic_path):
    """
    获得图片尺寸
    :param pic_path: 图片路径
    :return: 图片宽度、图片高度,图片格式,返回样例:(1080, 1080, 'JPEG')
    """
    img = Image.open(pic_path)
    return img.width, img.height, img.format


def crop_area(pic_path, start_x, start_y, end_x, end_y):
    """
    裁剪图片
    :param pic_path: 图片路径
    :param start_x: x轴起始坐标
    :param start_y: y轴起始坐标
    :param end_x: x轴终点坐标
    :param end_y: y轴终点坐标
    :return: 生成的截图路径
    """
    img = Image.open(pic_path)
    region = img.crop((start_x, start_y, end_x, end_y))
    save_path = os.path.join(os.getcwd(), "crop_" + str(round(time.time() * 1000)) + ".jpg")
    region.save(save_path)
    return save_path


def resize_picture(pic_path, width, height):
    """
    调整图片分辨率
    :param pic_path: 图片路径
    :param width: 调整后的图片宽
    :param height: 调整后的图片高
    :return: 调整后的图片路径
    """
    img = Image.open(pic_path)
    resized_img = img.resize((width, height), Image.ANTIALIAS)
    save_path = os.path.join(os.getcwd(), "resized_" + str(round(time.time() * 1000)) + ".jpg")
    resized_img.save(save_path)
    return save_path


def resize_picture_percent(pic_path, percent):
    """
    按比例调整图片分辨率
    :param pic_path: 图片路径
    :param percent: 缩放比例
    :return: 调整后的图片路径
    """
    img = Image.open(pic_path)
    resized_img = img.resize((int(img.width * percent), int(img.height * percent)), Image.ANTIALIAS)
    save_path = os.path.join(os.getcwd(), "resized_" + str(round(time.time() * 1000)) + ".jpg")
    resized_img.save(save_path)
    return save_path


def picture_to_gray(pic_path):
    """
    转灰度图
    :param pic_path: 图片路径
    :return: 转换后的图片路径
    """
    img = Image.open(pic_path)
    gray_img = img.convert('L')
    save_path = os.path.join(os.getcwd(), "gray_" + str(round(time.time() * 1000)) + ".jpg")
    gray_img.save(save_path)
    return save_path


def picture_to_black_white(pic_path):
    """
    图片二值化(黑白)
    :param pic_path: 图片路径
    :return: 转换后的图片路径
    """
    img = Image.open(pic_path)
    gray_img = img.convert('1')
    save_path = os.path.join(os.getcwd(), "bw_" + str(round(time.time() * 1000)) + ".jpg")
    gray_img.save(save_path)
    return save_path


if __name__ == '__main__':
    print(get_picture_size('test_ocr.jpg'))
    print(crop_area('test_ocr.jpg', 0, 0, 100, 200))
    print(resize_picture('test_ocr.jpg', 300, 600))
    print(resize_picture_percent('test_ocr.jpg', 0.5))
    print(picture_to_gray('test_ocr.jpg'))
    print(picture_to_black_white('test_ocr.jpg'))
复制代码

运行输出结果如下:


0x5、获取当前页面所有控件信息

有时,我们需要 定位 到页面中的某个控件的 所在区域,然后触发一些交互,比如登录时:

  • 先定位到点击账号/密码输入文本框,点击获得焦点,然后进行输入;
  • 先定位到同意协议单选框,点击勾选;

有文字的控件 可以通过上面的OCR文字识别大概定位到 位置区域,而 对于没有文字 的控件这种方式就不太行得通了。

当然你不嫌麻烦,直接截图,然后用 PS抠像素点坐标 也可以。

当然,有更高效便捷的方法,如果是 原生控件堆砌的页面,可以利用Android系统中的 system/bin/uiautomator.jar包,把当前屏幕上所有控件信息直接 dumpxml 中。调用命令如下:

# dump出所有控件信息到xml中
adb shell /system/bin/uiautomator dump --compressed /手机存储路径/ui.xml

# 将文件从手机导出到PC
adb pull /手机存储路径/ui.xml 本地路径
复制代码

直接在Python中调用这两行命令:

def current_ui_xml(save_dir=None):
    """
    获取当前页面的布局xml
    :param save_dir: 文件保存根目录
    :return: 布局xml文件的本地路径
    """
    ui_xml_name = "ui_%d.xml" % (int(round(t * 1000)))
    start_cmd('adb shell /system/bin/uiautomator dump --compressed  /sdcard/%s' % ui_xml_name)
    ui_xml_path = os.path.join(os.getcwd() if save_dir is None else save_dir, ui_xml_name)
    start_cmd('adb pull /sdcard/%s %s' % (ui_xml_name, ui_xml_path))
    return ui_xml_path
复制代码

运行输出结果如下:

打开这个xml文件康康:(此处以掘金APP为例~)

结构很简单,最外层是 hierarchy标签,然后是 node标签(代表一个控件) 的嵌套,接着要做的事情就是解析这个xml,提取所需的数据了。先挑选可能要用的属性,直接定义一个Node类:

class Node:
    """
    XML节点类
    """
    def __init__(self, index=None, text=None, resource_id=None, class_name=None, package=None, content_desc=None,
                 bounds=None):
        self.index = index
        self.text = text
        self.resource_id = resource_id
        self.class_name = class_name
        self.package = package
        self.content_desc = content_desc
        self.bounds = bounds
        self.nodes = [] # 存储子节点

    def add_node(self, node):
        self.nodes.append(node)
复制代码

使用 lxml库 解析xml,难点应该就是:遍历子node节点,这里直接 递归 进行遍历,看不懂的多看几遍就好,还算简单。顺手写个递归打印出所有节点,以便结果更直观,直接给出完整代码:

from lxml import etree
import re

bounds_pattern = re.compile(r"\[(\d+),(\d+)\]\[(\d+),(\d+)\]")  # 将坐标区域格式化为元组的正则

def analysis_ui_xml(xml_path):
    """
    解析ui.xml文件
    :param xml_path: xml文件路径
    :return: 节点实例
    """
    root = etree.parse(xml_path, parser=etree.XMLParser(encoding="utf-8"))
    root_node_element = root.xpath('/hierarchy/node')[0] # 定位到根node节点
    node = analysis_element(root_node_element)
    print_node(node)    # 打印看看效果
    return node


def analysis_element(element):
    """
    递归分析结点(转换为node对象)
    :param element:
    :return:
    """
    if element is not None and element.tag == "node":
        # 解析当前节点
        bounds_result = re.search(bounds_pattern, element.attrib['bounds'])
        node = Node(
            int(element.attrib['index']),
            element.attrib['text'],
            element.attrib['resource-id'],
            element.attrib['class'],
            element.attrib['package'],
            element.attrib['content-desc'],
            (int(bounds_result[1]), int(bounds_result[2]), int(bounds_result[3]), int(bounds_result[4]))
        )
        # 解析子节点,递归调用
        child_node_elements = element.xpath('node')
        if len(child_node_elements) > 0:
            for child_node_element in child_node_elements:
                node_result = analysis_element(child_node_element)
                if node_result:
                    node.nodes.append(node_result)
        return node


def print_node(node, space_count=0):
    """
    递归打印结点信息
    :param node: 当前节点
    :param space_count: 前面的空格数,区分不同层级用
    :return:
    """
    widget_info = "%d - %s - %s - %s - %s - %s - %s" % (
        node.index, node.text, node.resource_id, node.class_name, node.package, node.content_desc, node.bounds)
    print(" " * (2 * space_count), widget_info)
    for child_node in node.nodes:
        print_node(child_node, space_count + 1)


if __name__ == '__main__':
    # 测试解析效果
    analysis_ui_xml('ui_1665224943842.xml')
复制代码

运行输出结果如下:

效果杠杠滴,读者Copy下,根据自己的具体业务按需修改即可~


0x6、小结

不知不觉又到文尾,本节简要学习了亿点和自动化有关的 "姿势(知识)",包括:OCR文字识别、消息推送、图片处理、获取当前页面的所有控件信息。

看似 轻松愉快的一节,但 实操性极强,杰哥建议:即使不自己跟着写一遍,也要Copy下代码,运行一下!

啧啧,杰哥将在下一节中用上这些姿势,把我们的打卡jio本 打磨blingbling 的,敬请期待~


参考文献

收藏成功!
已添加到「」, 点击更改