AI玩具Folotoy实践

笛子鸭梨山大233
560 阅读12分钟

AI玩具Folotoy实战经验：从编码到部署的全过程分享

背景

偶尔刷到这个基于chatGPT的玩具，是一个会对话的魔性仙人掌。初步了解，是Folotoy出品的一个玩具。此时，我对于chatGPT的了解并没有多深刻。因此，想借这个机会，进一步对chatGPT学习和了解。 同时，有关注到字节跳动的Coze（coze.cn），是专门用于开发chatGPT的开发平台，最重要的是免费。而FoloToy是支持用Coze开发的，所以一拍即合，咱也是可以接触一下大模型。 整个实现的过程，还是遇到一些困难的，尤其是对docker并不熟悉，写下来实践的记录，以供各位参考。

目录

  • folotoy硬件
  • bot 简介
  • 构思分析
  • 技术实现
  • bot 效果展示
  • 商业化场景分析

folotoy 硬件

docker配置运行

配置网络， IP地址是电脑连接的WIFI的IP

docker 编写xml设置文件 XML是有固定模版的，设置好LLM、TTS、STT的相对应参数即可

LLM：Coze，需要的参数如下：

#Coze
LLM_TYPE: coze
#COZE_API_BASE: https://api.coze.cn/open_api/v2
COZE_API_BASE: https://api.coze.cn/v3
# COZE_API_BASE: https://api.coze.cn/v3/chat
COZE_PERSONAL_ACCESS_TOKEN: pat_nf7hkmIDknf7hkmIDknf7hkmIDknf7hkmIDknf7hkmIDknf7hkmIDk
# 开发页面 URL 中 bot 参数后的数字就是 Bot ID
COZE_BOT_ID:   7424111111111111111

STT & TTS：阿里云API，智能语音服务,参数如下

SPEECH_UDP_SERVER_HOST: 192.168.x.x
SPEECH_UDP_SERVER_PORT: 8085
ALIYUN_ASR_ACCESS_KEY_ID: qwqweqweqwqwrqrwqrwqrq
ALIYUN_ASR_ACCESS_KEY_SECRET: sdadasdadsfsdfsdfsdfsdadasdadsfsdfsdfsdf
ALIYUN_ASR_APP_KEY: dfsfsfsfeffff
ALIYUN_TTS_ACCESS_KEY_ID: qwqweqweqwqwrqrwqrwqrq
ALIYUN_TTS_ACCESS_KEY_SECRET: sdadasdadsfsdfsdfsdfsdadasdadsfsdfsdfsdf
ALIYUN_TTS_APP_KEY: dfsfsfsfeffff
TTS_TYPE: aliyun-tts
STT_TYPE: aliyun-asr

完成配置文件，重启docker sudo docker compose restart folotoy

当有各种异常情况，查询docker服务器日志，根据日志判断 sudo docker compose logs -f

Coze实现bot

  • bot 名称：AI宝贝（爱宝贝）

  • bot 功能介绍：

儿童聊天伙伴

作为一个儿童聊天伙伴，能够提供有效的沟通和陪伴。它不仅能回答孩子们提出的各种问题，还能根据孩子们的兴趣和需求，提供个性化的互动体验，即使是那些天马行空的“为什么”，AI也能给出既有趣又富有教育意义的回答。通过模拟真实的对话场景，教会孩子们如何进行有效的沟通，如何表达自己的想法和感受。

儿童定制化故事体验

为小朋友量身打造的讲故事功能。不是一个简单的故事讲述器，而是一个能够根据孩子的喜好和需求定制故事的AI伙伴。无论是将孩子设定为故事的主角，还是选择他们感兴趣的背景，孩子们可以自由地发挥想象，决定故事的走向，这样的互动不仅能够激发孩子们的创造力，还能提高他们的语言能力。

英语口语练习

在语言学习方面，提供了英语口语练习功能。通过模拟真实的对话场景，孩子们可以在轻松愉快的氛围中练习英语口语。AI系统能够即时反馈，帮助孩子们纠正发音，提升语言流利度，更能增强他们与世界沟通的能力。

父母育儿智能助手

提供智能育儿助手。根据宝宝的年龄和发展阶段，提供详细的成长特点和养育注意事项。无论是饮食、睡眠还是情感发展，都能给出科学的建议，帮助父母更好地理解孩子的需求，做出更合适的育儿决策。

智能疫苗接种管理

提供宝宝疫苗接种的时间建议和注意事项。通过整合医疗数据和专家建议，系统能够提醒父母按时给宝宝接种疫苗，并提供详细的接种前后护理指南。

构思分析

  • 需求分析：

  1. 安全性：

    • 确保对话内容适合儿童，避免不适当的话题和敏感词汇。
    • 遵守相关的法律法规，如儿童在线隐私保护法案（COPPA）。
    • 确保机器人的设计和操作符合伦理标准。
    • 保护儿童的隐私和数据安全。

  2. 教育性：

    • 提供有教育意义的内容，如基础知识教学、语言学习、科学普及等。
    • 能够根据儿童的年龄和认知水平提供适宜的学习材料。

  3. 互动性：

    • 能够进行双向互动，回答儿童的问题，并提出引导性问题以促进思考。
    • 适应不同儿童的个性和交流风格。

  4. 情感识别与回应：

    • 识别儿童的情绪状态，并给予适当的情感支持和回应。
    • 在儿童感到沮丧或孤独时提供安慰。

  5. 可扩展性：

    • 能够随着儿童的成长和学习需求变化而扩展功能。
    • 能够集成新的教育资源和内容。

开发AI陪伴聊天机器人时，这些要求和需求需要被综合考虑，以确保产品能够满足市场的需求并为儿童提供一个安全、有益的互动环境。

  • 数据来源：

    • 大模型：扣子平台
    • 本地文档：自己整理的各类育儿知识手册

产品形态：

  1. 文字交互： 用户通过Web界面直接与bot进行互动。通过直观的聊天界面，用户通过文字输入提出问题，而bot以文字进行回复。

  2. 语音交互： 通过与folotoy硬件的集成，用户通过语音与bot交流，便能获得流畅的语音回复。沟通更加直观和人性化，更适合儿童用户。

技术实现

  • 数据准备：

    • 利用网上搜集的一些免费 PDF 书籍（此处仅作个人研究使用，禁止用于商业化），比如儿童疫苗建议、十万个为什么等

  • 实现步骤： 整个操作都是低代码的，我认为程序员出身的基本没难度，非程序员看看文档也就会了扣子平台官方文档

  • 工作流： 当需要多个API配合，或者需要一些逻辑处理

    预览与调试： 可以进行测试

    发布： 分团队空间，个人空间，个人空间会有一些限制。所以一开始选择“团队空间”。 如果是做的folotoy这种模式，发布时选择“以API形式发布”，还需要在folotoy上进行授权。 需要设置coze的个人密钥。

  • 注意事项：

bot 效果展示

  • folotoy演示

转bilibli吧

商业化场景分析

以下是我个人的一些商业化场景的想法，也欢迎感兴趣的朋友一起讨论。

  • 面向的用户群体：适龄的孕妈、宝妈

  • 解决的问题：快速、专业的回答用户在备孕、怀孕、育儿整个过程中的即时性问题

  • 盈利点：

    • 卖 token 次数：类似 ChatGPT 的 API 调用次数收费。

      • 待办：

        • 需要利用自身的社群，利用微信的服务号、客服等方式将 bot 封装起来，面向用户。
        • 整个引流链路是比较长的，如果要走这条路，需要准备很多前置条件（比如让用户从哪里得到这个入口？借助微信平台？还是借助抖音的豆包平台？目前看成本都比较高）
        • 用户体系和 API 调用如何限制的问题需要解决
        • 付费端是基于扣子平台还是自有平台也需要考虑

    • 电商：免费给用户提供服务。在推荐的问题里或者在用户询问是否有对应的母婴品牌建议时插入供应商的链接，完成付费闭环

      • 待办：

        • 引流问题
        • 如何将电商的入口放入 bot 中，需要看扣子平台是否支持自定义的电商流程入口，以及扣子平台本身是否允许电商逻辑的存在
        • 如果能够解决上述两个问题，反而付费功能不成问题，因为现有的电商流程，很多都默认支持三方付费功能

    • 广告：免费给用户提供服务，然后通过自定义推荐的方式，将广告方的投放加在每次回答完后的建议中，实现精准投放

      • 待办：

        • 扣子平台是否支持这类设计，目前还没有看到可以接入自定义接口的地方，因为作为广告投放，那必然是需要开发者根据实际的用户数据进行分析和投放动作的。

    • 定制化部署：

      • 面向个人的定制化部署：创建出比较完善的 bot ，供用户使用，并辅导用户创建 bot

        • 待办：

          • 需要看扣子平台后续是否可以限制自己的 bot 被其他人拷贝，否则这种收费方式是没有意义的，因为免费拷贝，就直接使付费失去了意义

      • 面向企业的定制化部署：为企业提供定制化部署，主要是提供更深入的工作流相关的输出

        • 待办：

          • 其实这种收费模式，优点类似现有基于微信生态为企业通过服务的产品，将扣子的能力按行业特性，针对性的产出多种工作流，从而服务于有需要的微小企业。
          • 这类模式比较依赖于扣子平台能够支撑模型本地化部署，否则会让用户产生安全焦虑

    • 插件收费：

      • 只是一种想法，后续其他人用插件是否可以按次数或按时间复购？比较依赖扣子平台自身是否有想做一个插件平台的想法。

  • 总结：

    • 上述的盈利想法，个人觉得所有的商业化场景，都比较依赖扣子平台自身的定位。核心就是怎么解决：

      • 流量问题
      • 付费问题
      • 允许开发者做到什么程度

    • 最稳的盈利模式，还是换汤不换药的两类，卖流量（广告）、卖产品（带货）。也就是说各类 bot 仅仅是一种载体，更像计算机技术一路发展起来的网页、手机应用这类基础设施。

    • 面对 AI 领域，还有一个很重要的点就是如何保证安全。这里的安全包括用户数据安全、法律合法合规风险。

杂谈

  • 感谢字节公司可以提供这样一个平台，方便 AI 新手能够很快的做一些 Demo 产品，将 AI 领域的理论和实战结合起来，更好的理解 AI 技术。

  • 我认为扣子平台做的比较好的地方：

    • 文档很全，上手难度很低，很适合对 AI 有兴趣但却不知道如何下手的新人，像我一样
    • 知识库搭建很方便，可以通过最简单的本地文件上传、网站地址的方式就快速搭建一个基础的知识库
    • 总结下来就是，对新人友好，适合 GPTs 入门

  • 我认为扣子平台可以做的更好的地方：

    • 官网的商店好像都是官方设置的，个人暂时没有看到可以上传的入口，也许这一块官方还没有想明白怎么玩转这个生态
    • 大模型（LLM）目前来看，仅能选择云雀语言模型，暂时没有看到可以引入其他 LLM 的入口，因此比较依赖云雀语言模型的准确性和稳定性。（因为自己在这一块研究还不够深入，因此暂不对云雀语言模型的性能做深入分析）
    • 大模型的微调工作能做的比较少，如果想要 bot 变得更”智能“，则比较考验在创建 bot 时的编排（prompt）、数据源（知识库、数据库）、工作流的配置。当然这里算是一个双刃剑，简单有易操作的优点，必然会丧失部分精度调优的功能。但对普通 bot 设置基本够用
    • 用户反馈机制，目前看只有豆包上的 AI 智能体，在每次回复之后会有点赞或点灭的交互反馈，但不知道这种反馈对大模型的学习是否有用。因此在这个方向或许可以有更多的设置

  • 作为入门级的 AI 助手搭建平台，无疑扣子的表现是符合预期的，但如何能够让扣子满足商业化的需求，还需要官网给出更多的支持。以下是我个人的一些想法：

    • 作为独立开发者，如何能够方便快捷的将自己的 bot 推送到用户面前。目前看有两种：

      • to B：这个 B 是借助了如飞书、微信服务号、微信客服等大型应用，来推送 bot 至终端用户。这个链路对企业级用户相对友好，对独立开发者是比较尴尬的，因为这意味着独立开发者必须得以组织的形式在这些 B 端应用上二次推送 bot，成本较大。
      • to C：成本最低的方式无疑是借助抖音旗下的豆包 AI 应用来推广，好处是，可以直接把在扣子平台生成的 bot 链接，发给用户，然后用户下载豆包后打开这个 bot。也可以直接在豆包中搜索 bot 名，可以利用豆包的流量来运营这个 bot 。

    • 当拥有一定用户后，如何为用户提供更优质的服务，即如何更准确、稳定的回答用户问题，此处是扣子和独立开发者两者都要继续探索的领域，即如何对大模型调优、工作流优化等。

    • 最重要的一件事就是，如何变现：

      • 扣子平台如何变现
      • 独立开发者或是企业如何变现

其它

  • 以上是本人针对国内扣子平台的一次体验，如果有玩的更深入的朋友，可以考虑去尝试海外版本的扣子平台，里面会有一些扩展性更强的功能，比如替换大模型为 ChatGPT，比如调用海外的其他相关 API 等等。
  • 本文使用的 bot 知识库，均来源于网络，未经原著作者允许，禁止用于商业。如涉及侵权，可以联系本人删除。

参考资料

扣子平台官方文档

avatar
文章
阅读
粉丝