首页
AI Coding
数据标注
NEW
沸点
课程
直播
活动
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
登录
注册
Tw_xxxx
掘友等级
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
6
文章 6
沸点 0
赞
6
返回
|
搜索文章
最新
热门
主流大模型微调开源框架概述
Transformers (Hugging Face) Transformers是由Hugging Face开发的最广泛使用的NLP库之一,提供了预训练模型的访问和微调功能。 提供了数百种预训练模型的
SQL
相关知识 left join、right join和inner join的区别 left join(左连接):左连接返回左表中的所有记录,以及右表中与左表匹配的记录。如果右表中没有与左表匹配的记录,则
Pandas
定义 Pandas 的主要数据结构是 Series (一维数据)与 DataFrame(二维数据) Series 是一种类似于一维数组的对象,它由一组数据(各种 Numpy 数据类型)以及一组与之相关
Prompt Engineering
概述 提示工程(Prompt Engineering),是指如何针对当前任务生成prompt模板,在不更新模型权重的情况下与 LLM 交互引导其行为以获得所需结果。在提示工程中,任务的描述会被嵌入到输
PaLM
重要结论 模型规模带来的模型能力的提升还远没有达到上限; 通过思维链(chain of thought prompting)方式让模型生成自然语言来解释其预测的方式对模型是有益的,以便更好地理解模型为
LLaMA系列
LLaMA 论文链接 核心思想 大部分用户没有训练LLM的资源,更多的是拿着训好的LLM来推理。首选的模型应该不是训练最快的,而应该是推理最快的小LLM。 摘要 LLaMA(Large Languag
GPT系列
参数量对比 模型对比 GPT-1 论文链接 核心思路: 在大量无标记数据集上训练 Transformer 的 Decoders 来做 NLG (语言生成),得到优秀的生成模型。然后根据下游任务微调(f
GLM系列
背景 GLM的核心是:自回归空白填充(Autoregressive Blank Infilling) Prefix LM 架构 技术原理 GLM 在只使用 Transformer 编码器的情况下,自定
CodeGeeX
概述 CodeGeeX,是一个具有130亿个参数的多语言模型,用于代码生成,在23种编程语言的8500亿个token上进行了预训练,具有8K的上下文窗口 CodeGeeX的特点:除了代码生成和代码补全
BLOOM
重要结论 在训练语料中包含代码可以提高模型处理自然语言任务的准确率。 侧重训练一个规模和 GPT-3 一样的多语言语言模型 使用了ALiBi Positional Embeddings 位置嵌入 在嵌
下一页
个人成就
文章被点赞
2
文章被阅读
12,601
掘力值
103
关注了
1
关注者
4
收藏集
0
关注标签
0
加入于
2024-02-13