目录
1. AI自动化核心原理
2. AI自动化封装
3. AI结合web自动化实战
ai操作:解决问题
传统自动化最大的痛点:元素定位(id,name,xpath,css...)
像人一样理解界面,不依赖项目结构,不依赖元素定位
告诉AI【点击登录按钮】,他就能像人一样去找到登录按钮,然后操作
在搜索框中输入“云上夕轮”
ai操作:可以用于app,web跨平台去使用,不需要写元素定位
app->APPIUM
web->selenium
缺点:
ai 不稳定性
可以 ai+原生定位方式
ai怎么具体实现?
用户发送指令【点击登录按钮,点击搜索按钮】
截图->调用大模型->理解文字图片->坐标返回(告诉元素在哪)->自动化在执行
大模型:AI基础知识
大模型(llm):海量数据的学霸
多模态大模型:既能看又能读,理解截图+指令
千问vl-同时处理图片和文本,分析图片和用户的行为进行匹配
大模型:开通大模型
百炼平台