小白浅尝DeepSeek本地私有化部署:从0到1(附个人感受)

3,371 阅读4分钟

随着今年春节Deepseek的爆火,机器人在春晚的表演,注定了2025年又是AI、人工智能爆火的一年。

作为一名平时仅仅只是用AI在线产品的人,也跟风玩了一下DeepSeek的本地私有化部署,至于部署后的一些个人体会和心得,我写在了文末~

什么是DeepSeek我就不作过多介绍了,还是先简单介绍一些本地私有化部署的一些客观优势吧。

  • 性能方面

    稳定性高、响应速度快,因为它不受到网络和远程服务器的影响,仅仅取决于你自己的部署环境。

  • 成本方面

    如果你已经有了满足部署的资源,进行本地私有化部署可以节约调用API的成本。

  • 安全方面

    本地部署的数据都在你自己的服务器上,如果不接入互联网,你的数据就不存在被截取和泄露的风险。

  • 灵活性方面

    本地部署的可以根据自己的需求做各种定制,同时在合规性上也是能够更大程度上满足需求,极大的实现定制。

一、部署准备

硬件环境

  • CPU ≥ 2Core
  • 显存/RAM ≥ 16G

软件环境

  • Docker
  • Ollama
  • Dify

二、开始部署

我是用的window系统,所以后续的部署都是基于window系统进行的。

2.1 安装docker

docker官网链接:www.docker.com/

docker的安装说简单也简单,说复杂呢也存在一些注意事项,特别是注意开启系统的Hyper-V支持。

2.2 安装ollama

ollama的安装和docker其实差不多,下载傻瓜式安装就可以了!

ollama官网链接:ollama.com/

Snipaste_2025-02-04_11-40-31.png

2.3 部署Deepseek

ollama安装好之后我们就可以根据自己的实际环境,选择合适的Deepseek尺寸模型进行部署了。

image.png

我电脑比较差,最开始部署的就是7b尺寸的。使用以下命令进行部署:

ollama run deepseek-r1:7b

image2.png

2.4 安装dify

dify的安装需要用到git工具,没有的话可以先安装git,或者自己在线打包下载。具体执行以下命令进行下载安装:

// 下载dify
 git clone https://github.com/langgenius/dify.git
 
 // 进入dify的docker目录
 cd dify/docker
 
 // 复制一份环境
 cp .env.example .env
 
 // 最后使用docker进行dify安装
 docker compose up -d

image3.png

image4.png

执行完成后,就可以通过电脑的ip直接运行dify的网页安装流程了。

第一步,设置管理员账户

image5.png

第二步,设置成功后就可以登录了

image6.png

第三步,将Deepseek连接到Dify

1、点击Dify页面右侧头像

2、点击设置

3、选择模型供应商

4、选择ollama

5、添加模型

6、配置模型信息,名称可以自定义,基础URL得填写你电脑的ip地址+11434端口

image7.png

image8.png

如果顺利的话,点击保存就可以了。

image9.png

如果不顺利的话,就会和我一样,报错下面这个。

image10.png

问题原因:

是因为ollama默认运行的服务是在127.0.0.1上,而127.0.0.1是不能通过电脑ip直接访问的。

解决方案:

将ollama的监听地址改为0.0.0.0。

我是在window系统环境变量中增加了一个变量为OLLAMA_HOST的变量,值就是0.0.0.0,然后保存退出ollama重启就可以了。

2.5 创建AI应用

第一步,点击页面左侧创建空白应用

image11.png

第二步,选择聊天助手

image12.png

到这里聊天助手就基本上就搭建好了,由于是7b尺寸的模型,所以对话有一点脑残的感觉,同时也因为Deepseek是推理型的ai,所以他会回复很多推理逻辑出来。

image13.png

写在最后

现在这个大环境,你会不会搭建AI,真心一点都不重要,重要的是你要去学会用AI,利用AI提高自己的个人能力、工作效率等等。

搭建感受

通过搭建更换几个不同尺寸的模型以及使用体验来看,个人不是特别建议自己搭建来作为长期使用,以下是自己不建议的几个原因:

1、硬件方面: 要想好用,你肯定得搭建大尺寸的模型,而大尺寸的模型对性能、和存储等资源的要求就比较高,如有你没有现成的资源,个人认为是不划算的。

2、技术门槛: 虽然基础搭建是比较简单的过程,但是后续的持续维护、监控等等也是非常繁琐和耗时的,也需要有一定的技术能力。

3、网络限制: 如果你只是本地搭建,虽然提高了响应速度,但是由于无法实时获取最新数据,知识库也是无法得到及时更新的。

总之,如果你没有特殊的需求,学习Deepseek的搭建过程是完全可以的,但是要作为个人长期使用,个人是不太建议的。大家有什么其他看法,也欢迎一起交流、学习~

本文首发于我的微信公众号 一念杂记 ,欢迎关注获取更多个人分享~