介绍
Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和 LLMOps的理念,使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员,也能参与到 AI 应用的定义和数据运营过程中。
由于 Dify 内置了构建 LLM 应用所需的关键技术栈,包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎以及灵活的 Agent 框架,并同时提供了一套易用的界面和 API。这为开发者节省了许多重复造轮子的时间,使其可以专注在创新和业务需求上。
以上是来自官网的介绍,简单介绍就是一个开源版本Coze,可以私有化部署使用,同时支持多种模型,包括本地部署的模型。已支持的系统推理模型供应商:OpenAI、Azure OpenAI Service、Anthropic、Hugging Face Hub、Replicate、Xinference、OpenLLM、讯飞星火、文心一言、通义千问、Minimax、ZHIPU(ChatGLM)。
接下来带大家体验这个宝藏工具,使用环境为Mac电脑。
部署
安装Docker
访问Docker官网,下载安装Docker Desktop。
部署Dify
git clone https://github.com/langgenius/dify.git
cd dify/docker
docker compose up -d
部署过程中
初始化
访问http://localhost/ ,设置账号密码后即可以登录使用。
使用
模型配置
点击头像,选择设置,弹出设置对话框,点击模型供应商,即可以配置访问模型的API Key,这里配置的月之暗面的模型,同时将系统推理模型设置为moonshot-v1-8k。
创建应用
Dify支持聊天助手、文本生成应用、Agent、工作流4种类型应用,这里创建一个大话西游的聊天应用带大家体验一下。
发布使用
总结
这里带大家简单体验一下Dify,更多功能,比如Agent、工作流这种更强大功能,有待大家发掘体验啦。
市面同类产品有字节的Coze、百度的AppBuilder,都是不错的大模型原生应用的平台,但都是非开源产品,无法私有化部署。Dify是一个开源平台,可以作为企业内部大模型原生应用平台进行私有化部署使用,同时调用企业私有部署模型,保障企业内部数据安全。
作为爱DIY个人开发者,部署这样一个平台,也是非常不错的选择。