手把手带你部署Dify大模型平台

帽儿山的枪手
715 阅读3分钟

介绍

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。

由于 Dify 内置了构建 LLM 应用所需的关键技术栈，包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排，并同时提供了一套易用的界面和 API。这为开发者节省了许多重复造轮子的时间，使其可以专注在创新和业务需求上。

你或许可以把 LangChain 这类的开发库（Library）想象为有着锤子、钉子的工具箱。与之相比，Dify 提供了更接近生产需要的完整方案，Dify 好比是一套脚手架，并且经过了精良的工程设计和软件测试。

重要的是，Dify 是开源的，它由一个专业的全职团队和社区共同打造。你可以基于任何模型自部署类似 Assistants API 和 GPTs 的能力，在灵活和安全的基础上，同时保持对数据的完全控制。

第一步，安装ollama

访问网址 ollama.com/download/li…

选择你要安装的平台，我这里是Linux平台，选择后会提示安装命令。
这里直接输入安装命令，进行安装

curl -fsSL https://ollama.com/install.sh | sh

配置ollama的监听地址
修改 /etc/systemd/system/ollama.service 文件，增加如下内容

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
Environment="OLLAMA_DEBUG=1"
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_NUM_PARALLEL=2"
Environment="OLLAMA_API_BASE_URL=http://192.168.67.238:11434"

注意：其中 OLLAMA_API_BASE_URL 变量是宿主机的IP和端口。
最后，重启ollama服务

systemctl status ollama.service

第二步，安装qwen3:8b模型

访问网址 ollama.com/library/qwe…

根据提示，执行安装命令

ollama run qwen3:8b

第三步，安装dify

本次采用的是dify 1.4.0 版本，下载链接 github.com/langgenius/…

首先修改docker配置 /etc/docker/daemon.json 文件，增添如下信息，让dify拉取镜像时采用国内源下载。

{
    "registry-mirrors": [
        "http://docker.mirrors.ustc.edu.cn",
        "http://hub-mirror.c.163.com",
        "http://registry.docker-cn.com",
        "https://3laho3y3.mirror.aliyuncs.com",
        "https://doublezonline.cloud",
        "https://dockerpull.org",
        "https://docker.unsee.tech",
        "https://docker.1panel.live",
        "https://docker.5z5f.com",
        "https://a.ussh.net",
        "https://docker.udayun.com",
        "https://hub.geekery.cn"
    ],
    "insecure-registries": [
        "docker.mirrors.ustc.edu.cn",
        "registry.docker-cn.com"
    ]
}

然后重启docker服务

systemctl restart docker

解压缩dify 源码包后，进入docker 目录中，配置环境变量

$ tar xf 1.4.0.tar.gz
$ cd 1.4.0/docker
$ cp .env.example .env

修改监听端口，如果没有特殊要求，这一步可以忽略
将 docker-compose.yaml 配置文件中 NGINX_PORT、EXPOSE_NGINX_PORT 这两个变量修改为 8881 端口

最后输入命令, 启动dify完成

docker compose -f docker-compose.yaml up -d

访问http://192.168.67.238:8881，访问dify页面成功！

第四步，dify平台添加大模型

安装ollama插件

配置ollama

填写ollama监听地址

最后打开，进行与大模型提问。 完成部署！

技术文章持续更新，请大家多多关注呀~~
搜索微信公众号，关注我【 帽儿山的枪手 】

avatar
文章
阅读
粉丝