大模型技术

说明 deepseek r1 是开源的大模型 llama.cpp 使用的是 C 语言写的机器学习张量库 ggml。可以使用GPU或者CPU计算资源 llama.cpp 提供了模型量化的工具。可以对模型

前言 这两天使用Deepseek App的时候，总是提示“服务器繁忙”。那我就想自己本地化部署一下这个模型，看看效果怎么样。 概念介绍 deepseek 是一家量化公司开发的大模型，特点主要是他们的训

搭建条件 目标 快速部署一个本地大模型问答系统，要求大模型也要本地化部署，保障数据安全。 前置条件 docker docker-compose 用到的软件和平台 dify xinference 部署步

需求说明 希望使用docker-compose启动容器，并在容器中使用GPU。 1. 安装NVIDIA Container Toolkit 在之前老版本的docker,是不支持gpu的，需要额外安装n