机器学习 ML
**ML (Machine Learning) **
通过给计算机一堆数据(文字 图片 数字) 告诉它怎么做,比如识别猫的图片,计算机通过学习这些数据,找到规律,以后再遇到新的数据,会做出自己的判断。
特点:
需要人工设计特征(比如猫的耳朵、 狗的尾巴),然后让计算机学习这些特征
机器学习是一个大领域,包括很多方法(比如传统机器学习、深度学习、强化学习等),而大模型是其中一种技术。
无论是传统机器学习还是大模型,都需要通过数据来训练,数据是它们的“食物”,模型通过数据学习规律。
深度学习 DL
DL(Deep Learning)
DL是ML的一种高级形式,就像给计算机一个聪明的大脑,不需要告诉计算机关注哪些特征,而是通过多层神经网络,自动从数据中学习特征。
例子
还是猫和狗的图片,深度学习不需要你告诉计算机猫有耳朵,狗有尾巴,它会自己从图片中发现这些特征。
特点
需要大量数据和计算资源,但效果通常比机器学习更好。
大模型 LM
Large Model
大模型是指规模非常大的深度学习模型,通过有数十亿甚至数万亿个参数,你可以把它想象成一个超级大脑,能够处理非常复杂的任务。
例子
像ChatGPT这样的大模型,可以理解自然语言,写文章、回答问题,甚至写代码。
特点
需要巨大的计算资源和数据,但能力强大,可以处理多种任务。
参数规模巨大,比如GPT-3有1750万亿个参数
需要海量数据和巨大计算资源
具有强大的通用性,可以处理多种任务(如自然语言处理、图像生成等)
大模型是深度学习的升级版,规模更大,能力更强。大模型通常用于处理更复杂的任务,比如自然语言处理。
通俗解释:
大模型是深度学习的一种高级形式,通常指规模非常大的神经网络模型。你可以把它想象成一个超级大脑,拥有数十亿甚至万亿个参数,能够处理更复杂的任务。
大语言模型 LLM
Large Language Model
大语言模型是大模型的一种,专门用于处理自然语言(NPL)数据。通过学习海量文本数据,能够处理和生成人类语言。
特点
-
专注于文本数据处理
-
能够完成多种语言任务,如翻译 问答 写作 逻辑处理等。
-
通常基于Transformer架构(一种深度学习模型)
区别于大模型
大模型是更广泛的概念,包括处理各种数据类型(文本 图像 音频)等模型。
大语言模型是 大模型一个子集,专门处理文本数据。
任务类型不同:
大模型: 可以是多模态的,能够处理多种类型的数据(如CLIP处理文本和图像)
大语言模型:通常单模态的,只处理文本数据。
智能体 Agent
是一个能够自主行动的“智能体”,你可以把它想象成一个虚拟的机器人,它能够感知环境、做出策略并执行任务。
例子
比如自动驾驶汽车就是一个Agent,通过传感器感知周围环境,决定加速还是刹车,拐弯等。
特点
Agent通常结合机器学习、深度学习等技术,能够与环境互动并完成任务。
Agent是一个能够行动的智能体,而机器学习和深度学习是它的“大脑”。
Agent通常结合多种技术,包括 机器学习 深度学习 强化学习等。
强化学习
就像训练宠物,做对了给奖励,做错了给惩罚。Agent通过不断试错来学习最佳策略。
例如AlphGo下围棋,通过不断学习如何赢棋
生成模型 Generative Model
能够生成新的数据模型,比如生成图片、音乐或者文字。
例如 AI绘画可以根据文字生成图片。
迁移模型 Transfer Learning
把一个任务中学到的知识应用到另一个任务中。
例如学会了识别猫的模型,可以快速学会识别老虎。
多模态 Multimodal
多模态指的是能够同时处理和理解多种类型数据(模态)。好像人可以通过眼睛看 耳朵听 手触摸多种方式来感知世界一样。多模态的AI系统能够处理多种类型的信息。
通过数据训练得到什么
如通过机器学习或深度学习可以得到什么?
训练模型文件
训练数据时,最终会产生一个“模型文件”,包含模型结构和训练过程中学到的权重。常见的形式:
-
PyTorch: .pt、.pth
-
TensorFlow/Keras: .h5、.pb、.tflie(适合移动端)
模型大小
平常遇到的 7B、32B数字代表什么
B = Billion 十亿
7B = 70亿个参数
32B = 320亿个参数
模型大小(字节)=参数数量×每个参数的字节数
-
FP32 (单精度浮点数) 每个参数4个字节
-
FP16 (半精度浮点数) 每个参数2个字节
-
INT8 ( 量化) 每个参数1个字节
7B模型 (FP32) 大约为
大约为28GB
如果用FP16格式,模型可以减半,
参数
在神经网络里,参数指的是模型的****权重(Weights)和偏置(Biases)** **,它们在训练过程中通过反向传播不断调整,最终学到数据的模式和规律。参数越多,模型的容量越大,理论上能学习更复杂的特征。
结尾
如果对你有帮助,请给点个赞鼓励,如发现写错的,请不吝指正。