大家好,我是马建仓。
深夜失眠刷抖音发现,即便是凌晨四点还是有主播在热火朝天地带货。点进直播间,这位女主播面容姣好、吐字清晰,但却老是出现音画不同步的不真实感。仔细一看,原来这是虚拟的数字人。
如今直播成为消费市场的一个红利切口,无论商家还是个人都想从中分一杯羹。然而直播带货的主播招聘成本却居高不下,于是“将人数字化”的直播形式逐渐兴起,许多商家为了节约成本开始探索利用数字人代替真人主播,实现 24 小时的自动带货,甚至都不需要庞大的直播团队,仅需一台电脑和开放的源代码即可实现。
在 Gitee 有这么个数字人开源项目——Fay。开发者可以采用该开源项目灵活组合、接入不同的应用场景,不仅能生成虚拟主播进行直播带货,还可以搭建商品导购、数字人面试官以及前台指引等。
Fay 是什么?
项目作者: xszyou 开源许可证: GPL-3.0 项目地址: gitee.com/xszyou/fay
该项目基于浪潮集团的“源1.0”、科大讯飞的 AIUI 以及 OpenAI 的ChatGPT 开发,整个项目主要由 Fay 控制器及数字人模型构成,包含 Python 内核及 UE 数字人模型。
划重点! Gitee 紧跟时代,目前已经支持 AI 模型的托管,为广大 AI 开发者提供高速稳定的托管服务。欢迎各位 AI 爱好开发者将 AI 模型托管到 Gitee,更快捷,更放心。
言归正传,对于 Fay 而言,控制器是其核心组件。
通过 Fay 控制器,开发者可以驱动不同的模型,如真人照片、二次元模型等;同时还可以设置不同的模式,例如带货模式、测评模式以及助理模式等;该控制器还支持不同的终端平台,如手机、PC、手表等。
另外,该控制器还支持远程音频接入,你只需在 Fay 提供的控制面板进行设置即可。
因此,开发人员可以采用 Fay 控制器搭建各种类型的数字人,如虚拟主播、现场推销、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官及心理测评、贾维斯、Her等。
如何实现?
据项目开发者在博客中介绍,Fay 的基本理念就是“把人数字化,以行人的职责”。
具体来讲是通过技术把人的特征数字化,比如进行语音识别、情绪分析,构建人的表情和动作,合成带有情绪的语音并输出,让这个数字人有“耳朵”“嘴巴” 。
从构成上看,Fay 由多个模块组成,各个模块之间耦合度非常低,包括声音来源、语音识别、情绪分析、NLP 处理、情绪语音合成、语音输出和表情动作输出等模块,每个模块都可根据需要自行替换。下图为 Fay 控制器的核心逻辑。
如何安装?
部署安装环境
- 该项目需在 Python 3.8.0 + 环境下运行;
- 如要开启直播功能,需下载 Chrome 浏览器;
- 安装依赖。
pip install -r requirements.txt
配置应用密钥
- 启动前填入相应 AI 模块应用密钥;
- 浏览链接,注册并创建应用,将应用密钥填入
./system.conf中。
启动
启动 Fay 控制器
python main.py
特别注意
- 项目作者在仓库中详细介绍了 macOS 用户如何复现的操作流程,欢迎前往 Gitee 查看。
仓库地址: gitee.com/xszyou/fay
- 该控制器还提供了设置面板,你也可以根据不同的使用场景,进行相应设置。
举个例子,在搭建简单的数字人互动过程中,开发者可以通过 Fay 控制器进行一系列设置,如麦克风输入源开启、展板播放关闭、填写性格Q&A,从而合成数字人。
另外,若是想要应用到更大平台,例如抖音虚拟数字人主播时,你也可以启动 bin/Release_2.85/2.85.exe, 根据 Fay 控制器进行一系列设置,如抖音输入源开启、展板播放关闭,结合抖音伴侣,最终生成数字人。
最新更新
近期,Fay 控制器进行了一波新更新,例如:
- 目前该项目提供本地 NLP 的对接代码(rasa+Chatglm)
- 在搭建抖音直播互动数据对接时,可更换成系统代理抓包 pd 解码的方式(运行直播伴侣即可);
- 更新了 ChatGPT 接口:局部接入代理、Prompt 上补充角色模拟及简化回复内容;
- 该项目也补充推荐两个优秀仓库:chatglm、全平台的抖音抓包等
......
你觉得自己的工作会被替代吗?
今年 ChatGPT 又一次点燃 AI 热潮,人工智能的强大让人类警觉,人们不仅担心行业被冲击,更担心自己被替代从而失业。
尤其是类似数字人这样连续 24 小时上岗不下播,如此高强度要是真人那可怎么熬得住呢。对于 数字人的前景与挑战,你是怎样看待的呢?你觉得你的工作会被 AI 取代吗?欢迎在评论区留言。
如果你也开发了有意思的数字人项目,点击此处,前往 Gitee 向 1000 万开发者展示你的作品吧。