打工了一天,下班再也不想打开手机回微信了,有AI代劳就好了(笑)
RPA+AI
感觉RPA+AI真的是一个挺有趣的方向。
本次介绍的是AI-Operating-Wechat,是一个有趣的小项目,可以自动回复微信新消息,支持单人聊天和群聊。
代码结构非常清晰简单,主流程是使用一个有限状态机实现的,一些状态是依赖AI返回的结果,所以感觉也非常好扩展。比如增加一些新的选项和状态。
👀 效果演示
实测的话会自动跳过那些设置了消息免打扰的聊天。
大体的方案设计
作者应该是很喜欢DND游戏,DND游戏就是每一个游戏步骤,把一些场景信息给到玩家,然后让玩家做出选择。这个项目就是把微信的一些状态作为场景信息,然后提供选项给到AI,那么AI基于场景来进行判断。
那么如何把微信的状态告诉AI呢,这就要定位到微信的一些窗格信息了。windows系统上有一个自带的软件叫做Inspect.exe,这个软件的话用everything可以搜出来。运行后就可以看到一些系统运行的窗格了:
然后结合python的uiautomation库就可以实现一些信息的抓取和控制了。 随着每一步的操作,程序不断更新微信的状态告诉AI,这样就串起来了整个流程。
不得不说这是在大模型对图像和视频的理解、定位和控制能力还不够成熟的时候的一种非常有趣且有效的替代方案。
GitHub链接附在后面,大家也可以pull下来玩,觉得有趣或有帮助的话可以给作者点个star:
https://github.com/ethanhwang1024/AI-Operating-Wechat