字节有一款产品——扣子 www.coze.cn ,C端用户可以通过编排的方式自己创建AI应用或对话式智能体。其他公司也有类似的产品,开源里边用的比较多的是dify。我先用扣子来体验下AI应用创建。
一、模式选择
我是前端开发,对应用比较熟悉,所以选择了应用
二、AI应用功能设计
想要AI帮我做什么?
我想要一个手风琴陪练助手,两个功能:
- 上传乐谱的图片,AI识别乐谱,告诉我用到的技巧,练习时需要注意的知识
- 上传音频,AI识别是哪首手风琴曲子,并绘制出手风琴乐谱
三、AI应用搭建
需要两个模块的配置,工作流 + 用户界面。
乐谱分析
- 工作流
主要是选择模型,输入系统提示词,这里也能做提示词优化
试运行,deepseek还是比豆包好一些,豆包运行了两次,没有结果
- 界面
上传图片后,点击【分析】,触发工作流,将结果展示到页面上
- 分析
分析和学习建议的结构输出的不错,但内容不完全对,没有标记强弱和装饰音
听音识曲
- 工作流
先用AI识别曲目,输出乐谱绘制需要的文字,再用AI绘制图片,最后输出文字和图片
- 界面
需要一个图片渲染的元素,绑定工作流中输出的图片
- 识别
这个结果不准,实际上传的是粉刷匠的音频。图片生成的更不对了,不过自动生成乐谱应该需要更结构化、细节、准确描述。
这个界面实在是丑了点,用左右结构多少好一些,但就先这样吧。