ai在ui自动化中的应用

2 阅读1分钟

目录

1. AI自动化核心原理

2. AI自动化封装

3. AI结合web自动化实战

ai操作:解决问题

传统自动化最大的痛点:元素定位(id,name,xpath,css...)

像人一样理解界面,不依赖项目结构,不依赖元素定位

告诉AI【点击登录按钮】,他就能像人一样去找到登录按钮,然后操作

在搜索框中输入“云上夕轮”

ai操作:可以用于app,web跨平台去使用,不需要写元素定位

app->APPIUM

web->selenium

缺点:

ai 不稳定性

可以 ai+原生定位方式

ai怎么具体实现?

用户发送指令【点击登录按钮,点击搜索按钮】

截图->调用大模型->理解文字图片->坐标返回(告诉元素在哪)->自动化在执行

大模型:AI基础知识

大模型(llm):海量数据的学霸

多模态大模型:既能看又能读,理解截图+指令

千问vl-同时处理图片和文本,分析图片和用户的行为进行匹配

大模型:开通大模型

百炼平台