大模型实战

1 硬件选型 CUDA 核心和 Tensor 核心 CUDA 核心：是NVIDIA开发的并行计算平台和编程模型，用于GPU上的能用计算，可做很多的工作。应用在游戏、图形渲染、天气预测和电影特效 Ten

1 判别式模型和生成式模型 1. 判别式模型 学习策略函数$Y=f(X)$或者条件概率$P(Y|X)$ 不能反映训练数据本身的特性 学习成本低，需要的训练样本少 无法转为生成式 2. 生成式模型 学习

1 LLaVA多模态大语言模型的训练过程 两个阶段 特征对齐的预训练。只更新特征映射矩阵 端到端微调。特征投影矩阵和LLM都进行更新 2 LLaVA1.5多模态大语言模型的训练 LLaVA官网 3 L

1 多模态大语言模型（Multimodal Large Language Models） 模态的定义 模态（modal）是事情经历和发生的方式，我们生活在一个由多种模态(Multimodal)信息构成

1. 训练/预训练/微调/轻量化微调 训练: 在给定的数据集上进行全量的训练 预训练：第三方已经在较大的、通用的数据集上进行了预训练 微调：在预训练的基础上，使用自己的特定数据集上进行训练，对训练参数

1 什么时候需要Fine-Tuning 有私有部署的需求 开源模型原生的能力不满足业务需求 2 训练模型利器Hugging Face 官网（https://huggingface.co/） 相当于面向

1 对LLM进行维护 各种指示监控与统计：访问记录、响应时长、Token用量、计费等 调试prompt 测试/验证系统的相关评估指标 数据管理，便于回归测试 Prompt版本管理，进行升级和回归 2

1 LangChain 1.1 概念 LangChain 也是一套面向大模型的开发框架（SDK）,是 AGI 时代软件工程的一个探索和原型 1.2 理解 为简化用户使用大模型进行业务开发和做到最大可能

在8线小城的革委会办公室里，黑8和革委会主任的对话再次展开。 黑8：主任，您知道吗？除了OpenAI API，现在还有一项新的技术叫做Assistants API，它可以帮助我们更好地进行对话和沟通。

梁主任在办公室中翻看着黑8提供的文章，眉头微皱。虽然文章内容生动精彩，但他对其中提到的 OpenAI API 的功能还不够了解。于是，他决定和黑8进一步交流。 梁主任：黑8，这篇文章写得不错，但我对

黑8决心将对 OpenAI API 的学习应用到更多实际场景中，以展示新时代技术的巨大潜力。在接下来的日子里，他不断探索和尝试，将 API 中的各种功能融入到不同的生活场景中，取得了一系列令人瞩目的成

黑8说 岁月如流水匆匆过，哭一哭笑一笑不用说。 黑8自那次和主任谈话后，对这个“妖怪”继续研究，开始学习OpenAI API！关注到了提示工程(Prompt Engineering)的重要性，它包括明

黑8对主任说： 世界上有男人、女人、人妖，米国有1/3男，2/3女…，以后会增加一个非常重要的人种，他就像孙悟空拔毫毛，变化出拥有各种本事的自己。如果咱们不懂驾驭他，做他的师傅，咱们可就被统治了。 革