前几天领导交代了一个任务，想要基于DeepSeek构建一个私人文档助手，能够基于他原来所写的一些文档，自动写出符合他风格和要求的新文档，但是他有几个限定条件：
- 领导文档中包含了大量公司商业机密信息，不能上传到云端DeepSeek或其他厂商提供的云端服务，也不能被公司内部同事随便看到。
- 领导的电脑就是很普通的办公笔记本，没有独立显卡，i5CPU+16G内存。
- 生成内容不能太弱智，是真的要能帮领导生成比较靠谱的内容。
打工人立即开始想办法，首先想到要写文档，deepseek自己的APP就能上传文档，并让它基于这些文档进行总结和创作，还有豆包、通义、元宝或者WPS灵犀都可以做到，但是领导说文档上传不安全，那咱就只能往私有化方向去选择。
网上基于AnythingLLM+Ollama+DeepSeek的私有化教程很多，但最起码得有个3090消费级显卡，或者好点的Mac吧，看看领导的电脑配置，最多能搞个1.5B的模型，真要给领导装上，那使用效果，估计第二天我就要下岗。
怎么办？办法总比困难多，再看看原始诉求，领导文档很机密，这意味着不能与其他人共享知识库，但只共享下大模型和算力，应该还是能接受的，刚好公司机房里有4090算力，所以牛马立即开始验证，在领导电脑上用AnythingLLM作为问答创作入口和文档知识库，去对接公司机房里4090上部署的deepseek。
先对接大模型问答
首先在机房4090机器上，利用Ollama安装好DeepSeek-R1-Distill-Qwen-32B的模型，基本上也是它能运行的最大尺寸了，具体过程搜一搜，教材很多，照着干就行。
然后在领导笔记本上，下载AnythingLLM Desktop桌面版并安装，注意这里网上教材通常默认都是针对桌面版，下载安装客户端，其实AnythingLLM官网上还有Docker版可以下载，Docker版部署后其实就是一个web服务器，使用者通过浏览器就能访问，方便多人使用，由于领导要考虑文档安全，所以我们也采用客户端模式，安装后启动AnythingLLM，点击齿轮⚙进入设置页面后，按如下设置：
这里和本机安装Ollama+DeepSeek不同之处，就在于图中第3步，这里要输入机房4090显卡所在机器的Ollama服务地址和端口，如果开启了访问认证，下面AuthToken也要输入，然后在第4步Ollama Model中才可以选择到DeepSeek-R1-Distill-Qwen-32B模型。
另外在Customization中可以选择界面语言到中文，大部分菜单和按钮会用中文显示，使用稍微友好一点。
这个设置好以后，创建一个新的工作区，就可以进行基本的聊天了：
再对接文档上传处理
但领导不是为了聊天，是需要上传文档的，所以赶紧点击主界面左侧当前工作空间的文档上传按钮：
在出来的文档界面中，选择你要上传的各类文档，包括doc、excel和ppt都支持，上传后要点击“Move to Workspace”，文档就从左边到了右边工作空间了，接着点击右下角的“Save and Embed”按钮，然后就报错了，报错了...
好吧，这一步其实就是要对这些文档进行“降维处理”，将文档内容进行切片并转变为向量化知识，这个过程也是需要模型的支持，专业人员称之为“Embedding model”嵌入模型，为啥报错呢，为啥网上本机部署教程也是这么操作不报错呢，因为能本机部署的机器都有显卡，AnythingLLM默认自带了一个小模型Embedder，但领导机器上连这个都run不了，所以需要回到主界面点击齿轮⚙进入设置页面，选择“Embedder首选项”这个设置：
如图这种情况下，就不要用默认的“AnythingLLM Embedder”了，而是要和前面LLM首选项一样，选择“Ollama”，选择好机房4090显卡对应的远程服务器url，以及DeepSeek-R1-Distill-Qwen-32B模型做切片和向量化处理。
这个配置好以后，再重新进入工作空间文档上传界面，再次选择之前这些文档，重新“Move to Workspace”再点击“Save and Embed”按钮就正常处理，最终右边框内就能看到向量化处理完毕的文档，这些文档构成的知识库，后续就可以用于辅助用户问答和创作了。
最后使用效果
基于这些已有文档，就可以让DeepSeek帮你进行总结提炼，甚至规划25年的重点工作方向等：
可以看到deepseek的思考过程，以及最终输出内容，还有内容下面点击“Show Ciations”链接，就会展开它这次回答内容，是参考了哪些知识文档。
至此领导的要求基本完成，领导在AnythingLLM中上传的文档，都存储在他笔记本电脑上，不用担心泄密风险，同时通过对接公司内部算力上的大模型，解决笔记本算力不足的问题。
其实受限于4090算力的限制，部署的DeepSeek-R1-Distill-Qwen-32B还是智能程度不高，感觉在文档内容创作上最多只有普通大学生水平，输出内容还是有点差强人意，远远没有云端在线的671B满血版老练，不过好消息是千问最新开源出来的深度思考模型QwQ-32B，据说已经比肩DeepSeek-R1-671B满血版的能力，完全可以在4090上部署，如果用这个，应该能更圆满的完成领导目标，牛马ing。
—End—
源载：微信公众号“木昆子记录”，欢迎关注
