Postkarte不想说话

介绍 LMDeploy 是一个用于大型语言模型（LLMs）和视觉-语言模型（VLMs）压缩、部署和服务的 Python 库。 其核心推理引擎包括 TurboMind 引擎和...

为什么 vLLM 要支持自定义对话模板？ 把大语言模型接入线上服务时，我们习惯以 system、user、assistant 这样的结构发送消息： 但对模型而言，这些结构化...

拉取Docker镜像 启动 参数说明 参数 说明 docker run Docker 创建并启动新容器的基础命令 -d Detached mode，以后台守护进程方式运行容...

说明 Ollama 主要使用 GGUF（GPT生成统一格式）文件格式来存储和加载模型。GGUF 取代了早期的 GGML 格式，为量化模型提供了更好的兼容性、元数据处理和性能...

使用的系统 安装node 启动head需要使用node运行 启动head 下载安装 修改监听所有的IP 添加一个hostname: "*"选项 启动 设置Elasticse...

使用的系统 创建虚拟环境 LoRA微调基本原理 LLaMA Factory 是一个专为大型语言模型（LLMs）微调设计的低代码/无代码框架，其核心微调原理主要基于参数高效微...

注册账号 首先登陆Hugging Face官网，https://huggingface.co/ 访问时候需要使用代理，base使用美国。 安装Hugging Face库 使...

使用的系统 使用的系统为macos 15 报错 使用Terminus连接本地Vmware启动的虚拟机连接不上 解决 需要把系统的本地网络权限打开即可 参考文章 https:...

创建虚拟环境 激活环境 安装JupyterLab 启动JupyterLab 使用jupyter lab启动 浏览器打开 我们复制一下终端的地址，浏览器打开...

使用的系统 创建虚拟环境 配置VS Code 设置VS Code使用的Python虚拟环境，编辑.vscode/settings.json,添加如下内容 初始化项目 uv配...

安装 linux系统安装如下 PDM常用命令 安装依赖 安装开发依赖 使用-d/--dev选项可以将依赖标记为开发依赖 更新所有依赖 pdm list命令可以查看当前环境中...

创建虚拟环境 配置VScode 设置VScode使用的Python虚拟环境，编辑.vscode/settings.json,添加如下内容 初始化项目 uv配置国内源 编辑p...

介绍 Redis Stack 是 Redis 官方一站式增强发行套件，= 开源 Redis 内核 + 官方全量高级模块 + RedisInsight 可视化运维工具，开箱即...

使用的系统 安装 注意： 下载如果比较慢的话请自行设置下代理 下载模型 官方模型列表参考https://ollama.com/search 查看本地模型 运行模型 olla...

安装LangChain 本地启动一个大模型 参考文章https://juejin.cn/post/7629654731761827883 连接模型 输出如下...

使用的系统 硬件环境 需要安装好GPU启动，安装CUDA和cuDNN 推荐安装方式： 手动安装GPU驱动，然后使用pip命令安装CUDA和cuDNN 安装GPU驱动 我们需...

PHP版本 当前系统安装的PHP版本 安装并启用PHP扩展 Laravel依赖如下PHP扩展 OpenSSL PHP扩展 PDO PHP扩展 Mbstring PHP扩展 ...

安装composer composer下载地址https://getcomposer.org/Composer-Setup.exe 安装Laravel安装工具 创建Lara...