大模型部署学习
【了解】为什么需要私有化大模型
-
工作中我们大模型部署都是部署到公司本地吗
- 开发/测试:使用私有部署大模型(免费)
- 生产环境:一般使用商用大模型(取决于公司业务保密程度)
• 黑马智聊机器人项目简介
-
知道什么是聊天机器人
-
了解聊天机器人的特点
- 自然语言理解(NLP):能够理解用户输入自然语言,并从中提取意图和关键信息。
- 对话管理:通过对话引擎维持对话的连贯性,根据上下文生成合适的回答。
- 个性化交互:可以根据用户的历史记录和偏好提供定制化的回答。
- 多功能性:除了聊天,还可以执行任务,如查询信息、预订服务、提供帮助等。
-
了解聊天机器人的应用场景
-
熟悉黑马智聊机器人项目效果
• 黑马智聊机器人项目需求
• 黑马智聊机器人项目架构
• 大模型分类
• 热门大模型初体验
ChatBot应用场景:
1.客户服务:在电商、金融等领域,聊天机器人可以自动解答用户问题,提供24*7的客户支持 2.娱乐:一些聊天机器人可以与用户进行趣味对话,提供娱乐体验。 3.教育:用于语言学习、知识问答等教育场景。 4.智能家居:控制家电设备,如灯光、空调等。 5.医疗健康:提供健康咨询、预约挂号等服务。
ChatBot分类:
1.DeepSeek: 由杭州深度求索人工智能基础技术研究有限公司研发, 其核心优势在于性能卓越、低成本开发和开源策略 2.KiMi智能助手 : 由月之暗面科技有限公司开发,支持超长上下文(最高200万汉字),适合长文本处理和复杂对话。 3.通译千问: 阿里云推出的人工智能助手,适合办公场景,提供高效的信息处理能力。 4.讯飞星火: 科大讯飞出品,支持语音输入和语音朗读回复,适合语音交互场景。 5.豆包: 字节跳动推出,支持抖音和今日头条的内容信息获取,适合内容创作和信息检索。
ChatBot项目需求分析
构建一个基于大模型 的智能聊天机器人 功能需求分析: 1.自然语言处理 聊天机器人能够理解和生成自然语言文本,支持中文和英文对话。 能够处理用户的输入并生成准确、流畅的回复。 2.实时对话交互 用户可以通过 Streamlit 界面输入文本,聊天机器人实时响应并展示回复。 对话过程流畅,延迟时间不超过 3 秒。 3.界面功能 简洁布局:提供输入框、发送按钮和对话展示区域。界面设计简洁美观,易于操作。 交互体验:用户输入问题后,点击发送按钮即可触发对话。聊天机器人的回复实时展示在对话区域。
如何搭建ChatBot
1.使用无代码平台搭建 扣子(Coze )【www.coze.cn/overview/20…】 搭建步骤: 1.1 注册并登录平台:访问 扣子官网,使用抖音或飞书扫码登录。 1.2 创建应用:填写智能体名称、功能介绍和图标。 1.3 配置机器人:选择模型(如 DeepSeek 或其他大模型)、添加插件(如联网、绘画等)、编写开场白并测试对话效果 1.4 接入平台:将机器人接入微信公众号或其他平台,配置必要的参数(如 AppID) 2.使用开源框架开发 3.基于大语言模型 的集成 三者区别: 如果需求简单且希望快速上线,优先选择无代码平台。如果需求复杂,需要高度定制化功能,建议选择开源框架。 如果需要高质量的对话体验且预算充足,可以选择基于大语言模型的集成。
项目架构
1.后端模型 利用 Ollama 平台的 Qwen, DeepSeek 模型,为聊天机器人提供核心的对话处理功能。 2.前端界面 采用 Streamlit 框架搭建用户界面, 能够快速创建美观、交互式的 Web 应用。 3.对话交互 用户可以通过 Streamlit 界面输入文本,聊天机器人基于 Qwen 模型对输入内容进行理解和处理 4.模型调用 后端服务负责将用户输入传递给 Qwen 模型,并获取模型生成的回复,使用ollama部署的大模型 5.界面展示 Streamlit 界面提供简洁明了的布局,包括输入框、发送按钮和对话展示区域
6.架构
用户可以访问的页面 streamlit(前端框架)
对于用户来说是一个黑盒 ollama部署的大模型(部署模型的工具) qianwen、deepseek…… 大模型的使用方式: 1:免费版(厂家都会有免费版供个人使用),功能有限 1.1:使用官方提供的网址或者app端,访问(服务器官方部署) 1.2:本地部署(ollama,目前使用最多),隐私性更强 2:商业版(厂家提供企业使用,收费的),功能强大
建聊天机器人?
常见搭建聊天机器人方式有3种,分别是:
- 使用无代码平台搭建:chatbox(功能简单)
- 使用开源框架开发:coze和dify(无代码平台),功能丰富
- 基于大语言模型的集成:通过编码(python)实现,功能丰富,定制化成都更多
②使用开源框架开发
如果你有一定的编程基础,可以使用开源框架(如 ChatterBot)和 Web 框架(如 Flask)来开发聊天机器人
其中,ChatterBot 是一个开源的 Python 库,用于创建聊天机器人。它通过机器学习技术来生成对话内容,能够根据用户输入自动学习和生成回答。
ChatterBot库对话生成能力有限,生成文本可能不够自然,大模型出来之前使用较多
搭建步骤:
- 安装必要的库:安装 Flask 和 ChatterBot。
- 编写代码:创建一个 Flask 应用,集成 ChatterBot 并训练模型。
- 创建前端界面:使用 HTML 和 JavaScript 创建一个简单的聊天界面
- 部署应用:将应用部署到服务器,如 Heroku 或本地服务器。
③基于大语言模型的集成
如果你希望使用更强大语言模型(如 DeepSeek或Qwen),可以通过本地部署或云服务快速搭建聊天机器人。
适合有一定技术能力的企业,需要高度定制化功能的聊天机器人。 适合大模型出来后有更好对话效果场景,目前企业纷纷采用方式。
搭建步骤:
- 部署模型:使用 Ollama 部署 Qwen或DeepSeek。
- 配置机器人:通过 Ollama 的 API 配置聊天机器人,设置模型、对话历史等参数。
- 接入微信或其他平台:使用 Wechatat 框架将机器人接入微信。
4.三种方式区别联系 如果需求简单且希望快速上线,优先选择无代码平台。
如果需求复杂,需要高度定制化功能,建议选择开源框架。
如果需要高质量的对话体验且预算充足,可以选择基于大语言模型的集成。
当前项目选择基于开源框架和基于大语言模型集成的综合方式来开发聊天机器人,不仅能保障适合数据隐私和安全性要求,还可以实现高质量对话体验。接下来一起看项目方案
四.项目方案 这里采用综合的基于开源框架和编程开发方法来开发聊天机器人。具体来说,这种方法结合了后端模型(Ollama 平台的 Qwen, DeepSeek模型)和前端界面(Streamlit 框架)来实现聊天机器人的功能。这种方法需要一定的编程基础,但可以提供更高的灵活性和定制化能力。
1.后端模型:Ollama 平台的 Qwen 模型 特点:基于 Ollama 平台部署 Qwen, DeepSeek模型作为后端核心,提供自然语言处理和对话生成能力。
技术细节:
Ollama 是一个开源的 AI 模型部署平台,支持多种大语言模型(LLM)。
Qwen 是一个高性能的语言模型,能够处理和生成自然语言文本。
通过后端服务调用 Qwen 模型,将用户输入传递给模型,并获取模型的回复。
2.前端界面:Streamlit 框架 特点:使用 Streamlit 框架搭建用户界面,提供简洁、交互式的 Web 应用。
技术细节:
Streamlit 是一个基于 Python 的开源框架,适合快速开发数据科学和机器学习相关的 Web 应用。
通过 Streamlit 创建了一个用户界面,包括输入框、发送按钮和对话展示区域。
用户可以通过网页与聊天机器人进行实时对话。
3.对话交互与模型调用 特点:后端服务负责将用户输入传递给 Qwen 模型,并将模型生成的回复返回给前端界面。
技术细节:
使用Python 编程语言来实现后端逻辑,将用户输入发送到 Qwen 模型,并处理模型的输出。
这种方式需要编写代码来实现前后端的通信,确保对话的实时性和准确性。
五.项目架构设计 整体项目架构如下:
项目完整架构:
后端模型:利用 Ollama 平台的 Qwen 模型,该模型具备出色的自然语言处理能力,能够理解和生成自然语言文本,为聊天机器人提供核心的对话处理功能。
前端界面:采用 Streamlit 框架搭建用户界面,Streamlit 是一个简单易用的 Python 库,能够快速创建美观、交互式的 Web 应用,使用户能够通过网页与聊天机器人进行实时对话。
对话交互:用户可以通过 Streamlit 界面输入文本,聊天机器人基于 Qwen 模型对输入内容进行理解和处理,生成相应的回复并展示在界面上,实现流畅的对话交互。
模型调用:后端服务负责将用户输入传递给 Qwen 模型,并获取模型生成的回复,然后将回复内容返回给前端界面进行展示,确保对话的实时性和准确性。
界面展示:Streamlit 界面提供简洁明了的布局,包括输入框、发送按钮和对话展示区域,用户可以方便地输入问题并查看机器人的回答,提升用户体验
模型部署工具: deepseek/qianwen/… 1:安装ollama软件 2:软件中下载某个大模型(模型拉取) deepseek。。 qwen… 3:进入到某个大模型(发现模型不存在,自动拉取)
1.大模型分类 自然语言处理 模型 专注于文本生成、理解、翻译等任务,GPT系列(OpenAI)、BERT(Google)、T5(Google)
计算机视觉 (CV)模型 视觉大模型(Large Visual Models)核心是通过大规模数据和复杂模型架构,实现对图像和视频的深度理解和生成。与传统计算机视觉模型相比,视觉大模型具有更强的泛化能力和多任务适应性,能够处理复杂的视觉任务,如图像分类、目标检测、语义分割、图像生成等。
Stable Diffusion 、Vision Transformers (ViT)、DALL·E(OpenAI)、CLIP(OpenAI)
语音模型 语音大模型是基于深度学习技术构建的人工智能模型,主要用于处理语音相关的任务,如语音识别(ASR)、语音合成(TTS)、语音翻译等。近年来,随着深度学习和大规模数据训练的发展,语音大模型在性能和功能上取得了显著进展,能够支持多语言、多场景的复杂任务。
举例:Whisper(OpenAI)、WaveNet(DeepMind)、讯飞星火
Whisper 由 OpenAI 开发的开源多语言语音识别模型,支持多种语言的语音转录和翻译
讯飞星火由科大讯飞推出的语音大模型,尤其在中文语音识别方面表现突出,支持多种方言和少数民族语言。
语音模型是一种将声音信号转换为数字信号的模型
语音模型的应用场景
语音识别:将人类语音转换为文本或其他可理解的形式,广泛应用于智能助手、语音输入和自动化客服系统。
语音合成:生成自然、具备韵律且富有情感的语音,适用于多语言、情感丰富的TTS应用。
语音增强:提高语音信号的清晰度和质量,常用于噪声环境下的语音处理。
声音事件监测:识别环境中的特定声音事件,如警报声、机器故障声等。
说话人识别:识别说话人的身份,常用于安全验证和个性化服务。
多模态 模型 多模态模型是一种能够同时处理多种数据模态(如文本、图像、音频、视频等)的人工智能模型。与传统的单模态模型(如仅处理文本或图像)相比,多模态模型通过整合不同模态的数据,能够提供更全面、更准确的理解和生成能力。这些模型在多个领域展现出强大的应用潜力,例如医疗诊断、自动驾驶、智能助手等。
多模态模型的核心在于跨模态融合,即将不同模态的数据表示映射到同一空间,以便模型能够理解和生成跨模态的内容。例如,在视觉问答(VQA)任务中,模型需要同时理解图像内容和自然语言问题,以生成准确的答案。
举例:GPT-4(支持多模态)、Flamingo(DeepMind)、BLIP、KOSMOS(微软)
2.大模型应用 场景 智能客服与对话系统:用于构建聊天机器人、虚拟助手,提供24*7的客户支持。目前大模型最广泛应用。
文本生成:生成文章、故事、代码、营销文案等。
机器翻译:实现多语言之间的高质量翻译。
问答系统:提供精准的问答服务,如知识库查询、技术支持。
图像分类与识别:识别图像中的物体、场景或人脸。
目标检测与跟踪:用于自动驾驶、安防监控等场景
3.热门大模型举例 讯飞星火 认知大模型 科大讯飞推出的新一代认知智能大模型,拥有跨领域的知识和语言理解能力,能够基于自然对话方式理解与执行任务。例如:语言理解、知识问答、逻辑推理、数学题解答、代码理解与编写。
场景一:编写报告&计划
场景二:朋友圈&简历书写
阿里通义大模型 通义千问是阿里巴巴 出的一款大型预训练语言模型,它能够回答问题、创作文字,还能表达观点、撰写代码。基于海量数据训练,通义千问具备广泛知识和较强理解能力,致力于为用户提供精准、多样、有创意的回答,成为用户在学习、工作、生活中的智能助手。
场景一:文本对话
场景二:指令中心 什么是指令中心
指令中心就是通义千问的一个插件库,输入/或者点击右侧按钮,就可以进入通义千问的指令中心了。
场景三:解题高手 什么是解题高手
你擅长回答学习问题并给出解题步骤,鉴于以下学习问题,请提供详细的回答并给出解题步骤:
七人并排站成一行,如果甲乙两个必须不相邻,那么有几种排列方法
场景四:编程助手 什么是编程助手
你是一个Python代码的工程师,
请解答我的问题:请基于 Python 写一个生成器代码,用于生成斐波那契数列
DeepSeek 背景: DeepSeek是一家专注于人工智能和大数据技术的创新企业,致力于为各行业提供智能化解决方案。其核心产品包括智能客服系统、数据分析平台和个性化推荐引擎,帮助企业提升运营效率、优化用户体验。
优势
低成本:DeepSeek在训练和使用成本方面具有显著优势。DeepSeek-V3的训练成本仅为557万美元,远低于行业平均水平,成为开源模型中的“性价比之王”。
开源性:DeepSeek采取了开源策略,允许全球开发者社区检查、改进并利用这些模型进行进一步的研究和开发。这不仅促进了知识的共享和技术的进步,还为开发者提供了广阔的商用空间。
4.大模型核心运行机制 大模型的核心运行机制基于深度学习,尤其是Transformer架构。其核心是自注意力机制,能够捕捉输入序列中不同部分的关系。模型通过预训练在大规模数据上学习语言规律,再通过微调适应特定任务。训练过程中,使用反向传播和优化算法(如Adam)调整数百万甚至数十亿的参数。依赖GPU/TPU等高性能硬件和分布式训练加速计算。输入文本经过分词与嵌入转换为向量表示,模型通过推理生成输出,并采用生成策略(如束搜索)确保输出质量。整个过程依赖大规模数据和计算资源,实现复杂的语言理解和生成能力。核心架构图如下:
核心模型树如下:
大模型是怎么演进的?
Encoder Only: 对应粉色分支,即BERT派,典型模型: BERT
自编码模型(Autoencoder Model):通过重建句子来进行预训练,通常用于理解任务,如文本分类和阅读理解。
模型像一个善于分析故事的专家,输入一段文本,能拆解的头头是道,本质上是把高维数据压缩到低维空间。
Decoder Only: 对应蓝色分支,GPT派, 典型模型: GPT4,LLaMA,DeepSeek,QWen
自回归模型(Autoregressive Model):通过预测序列中的下一个词来进行预训练,通常用于文本生成任务。
模型像一个会讲故事的专家,给点提示,就能流畅的接着自说自话。
Encoder-Decoder: 对应绿色分支,T5派, 典型模型: T5, ChatGLM
序列到序列模型(Sequence to Sequence Model):结合了编码器和解码器,通常用于机器翻译和文本摘要等任务。
模型像一个“完型填空专家”,是因为它特别擅长处理这种类型的任务。通过将各种NLP任务统一转换为填空问题,T5派能够利用其强大的语言理解和生成能力来预测缺失的文本。这种方法简化了不同任务之间的差异,使得同一个模型可以灵活地应用于多种不同的NLP任务,并且通常能够在多个任务上取得很好的性能。
上面讲解了 大模型分类,应用场景及核心运行机制,接着来看 大模型部署必备的VMWare+CentOS,完成虚拟机安装与配置以及连接到虚拟机软件的安装与配置 etails/157761502
参考: blog.csdn.net/zhoupenghui…
黑马智聊机器人私有大模型方案
• ollama介绍和各版本下载
• 基于window中ollama部署私有大模型
• 基于mac中ollama部署私有大模型
• 基于linux中ollama部署私有大模型
私有大模型解决方案
随着AI的发展,越来越多的开发者投入到大模型开发中,他们期望能自身笔记本上运行大模型,以便开发。 越来越多的企业积极改造自身产品,融入AI技术,他们期望能私有化大模型以保证数据安全。这些诉求直接推动社区出现了两个这方面的产品:Ollama和LMstudio。
| Ollama | LM Studio | |
|---|---|---|
| 产品定位 | 开源的大型语言模型本地运行框架 | 闭源的本地大型语言模型工作站,集模型训练、部署、调试于一体 |
| 技术特点 | 高度智能化,自主学习和适应能力强-便捷性高,操作简单易懂-安全性强,数据传输和存储严格保护 | 高性能,采用先进计算架构和算法优化-可定制化,支持用户定制模型结构和训练策略易用性,友好的用户界面和丰富的文档支持 |
| 功能 | 提供预训练模型访问和微调功能-支持多种模型架构和定制模型-用户友好界面,简化模型实验和部署过程 | 丰富的训练数据和算法库-可视化训练监控界面-强大的调试工具,支持模型性能优化 |
| 资源要求 | 需要一定的内存或显存资源来运行大型模型-支持跨平台(macOS、Linux,Windows) | 构建和训练复杂模型可能需要大量计算资源和专业技能 |
| 社区生态 | 社区生态活跃,开发者主流本地运行时-快速适配新发布的模型 | 未知(未提及具体社区生态活跃度) |
三、 Ollama
1. Ollama介绍
ollama:是一款旨在简化大型语言模型本地部署和运行过程的开源软件。 ollama提供了一个轻量级、易于扩展的框架,让开发者能够在本地机器上轻松构建和管理LLMs(大型语言模型) 通过ollama,开发者可以导入和定制自己的模型,无需关注复杂的底层实现细节。 网址:ollama官网
2. Ollama特点
- 简单易用:提供命令行工具和API,支持快速本地部署主流大语言模型(如Llama 2、Mistral等),适合开发者和研究人员快速上手。
- 高效轻量:占用资源少,支持GPU加速和量化技术,能够在本地高效运行,降低对计算资源的依赖。
- 灵活管理:支持通过Modelfile自定义模型参数,允许热加载和切换模型,并可从Hugging Face等平台导入自定义模型。
- 隐私安全:本地化部署确保数据不上传云端,适合对隐私和安全性要求高的场景,如医疗、金融等领域。
3. Ollama安装(Windows)
① 官网下载,打开ollama官网:ollama官网,直接点击Download下载 ② 下载后直接双击安装 ③ win + R 打开终端,输入cmd ④ 命令窗口输入:ollama -v,查看是否安装成功,成功则会显示ollama版本