发现一个宝藏工具 Dify.AI

939 阅读2分钟

介绍

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和 LLMOps的理念,使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员,也能参与到 AI 应用的定义和数据运营过程中。

由于 Dify 内置了构建 LLM 应用所需的关键技术栈,包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎以及灵活的 Agent 框架,并同时提供了一套易用的界面和 API。这为开发者节省了许多重复造轮子的时间,使其可以专注在创新和业务需求上。

以上是来自官网的介绍,简单介绍就是一个开源版本Coze,可以私有化部署使用,同时支持多种模型,包括本地部署的模型。已支持的系统推理模型供应商:OpenAIAzure OpenAI ServiceAnthropic、Hugging Face Hub、Replicate、Xinference、OpenLLM、讯飞星火文心一言通义千问Minimax、ZHIPU(ChatGLM)。

接下来带大家体验这个宝藏工具,使用环境为Mac电脑。

部署

安装Docker

访问Docker官网,下载安装Docker Desktop。

iShot_2024-04-27_15.46.29.png

部署Dify

git clone https://github.com/langgenius/dify.git

cd dify/docker
docker compose up -d

部署过程中

iShot_2024-04-27_14.15.28.png 部署成功后 iShot_2024-04-27_16.02.50.png

初始化

访问http://localhost/ ,设置账号密码后即可以登录使用。

image.png iShot_2024-04-27_15.14.18.png

使用

模型配置

点击头像,选择设置,弹出设置对话框,点击模型供应商,即可以配置访问模型的API Key,这里配置的月之暗面的模型,同时将系统推理模型设置为moonshot-v1-8k。

iShot_2024-04-27_16.11.34.png iShot_2024-04-27_16.14.57.png

创建应用

Dify支持聊天助手、文本生成应用、Agent、工作流4种类型应用,这里创建一个大话西游的聊天应用带大家体验一下。

iShot_2024-04-27_16.18.39.png iShot_2024-04-27_16.27.18.png

发布使用

iShot_2024-04-27_16.30.12.png iShot_2024-04-27_16.31.23.png

总结

这里带大家简单体验一下Dify,更多功能,比如Agent、工作流这种更强大功能,有待大家发掘体验啦。

市面同类产品有字节的Coze、百度的AppBuilder,都是不错的大模型原生应用的平台,但都是非开源产品,无法私有化部署。Dify是一个开源平台,可以作为企业内部大模型原生应用平台进行私有化部署使用,同时调用企业私有部署模型,保障企业内部数据安全。

作为爱DIY个人开发者,部署这样一个平台,也是非常不错的选择。