大模型网络架构演进

大模型网络架构演进

大模型网络架构演进

专栏深入解析从RNN到BERT、ChatGPT，再到最新O1架构的演进历程，揭示大模型网络结构的设计思想与技术突破。本专栏将带您回顾经典模型的诞生背景，剖析其核心创新，并展望未来架构趋势。无论您是AI研究者、开发者还是技术爱好者，这里都将为您提供清晰的演进脉络与前沿洞见，助您掌握大模型设计的精髓

暂无订阅共17篇文章创建于2024-09-18

AI 大模型窗口上下文进化史: 4K还不够？2K 饭量的 LLM如何一步步成为 10M大胃王的！

上下文长度的增加是 LLM 的一个显著发展趋势。过去几年，几种长上下文语言模型陆续问世，包括 GPT-4 （32k 上下文）、 MosaicML 的 MPT （65k 上下文）、 Anthro

4月前
170
点赞
评论

监督学习 vs 强化学习RLHF：AI 大模型为什么需要"挨骂教育"？

既然监督学习能让AI模仿人类答案，为啥还要折腾强化学习（RLHF）？ ——因为AI也需要"挫折教育"啊！监督学习 vs 强化学习强化学习（答辩课）：让AI自由发挥答案，人类老师打分（👍/👎）。

4月前
32
点赞
评论

AI 大语言模型之领域专家诞生揭秘,让我们了解如何教霸王龙跳芭蕾舞

当人们讨论"ChatGPT为何如此迷人"时，常归功于两点：数据洪水的规模效应和聊天界面的丝滑体验。但鲜少人注意到背后真正的魔法——RLHF（人类反馈强化学习），这项让AI学会"察言观色"的黑科技。完

4月前
29
点赞
评论

AI LLM大语言模型之大脑切片,看看智能体的脑袋瓜子里在想什么

智能体的大脑 LLM 历史悠久,就像美国科学家通过动物实验研究猴子一样,今天我们解构语言大模型,看看其字里行间的魔法是如何练成的, DeepSeek 的横空出世 ,整个科技圈（甚至全世界）都炸锅

4月前
47
点赞
评论

AI 大语言模型的达尔文进化论：从"狗屁不通"到帮你写情书的AI秘史

各位看官，今天我们要聊的可是当代最魔幻的黑科技——大语言模型。这货现在不仅能帮你写作业，还能替你给女神发微信，但它的进化史可比你家猫主子打翻水杯的借口还要精彩。

4月前
138
点赞
评论

25 年最新大佬 Paper DyT,Transformers再也不需要层归一化,这届AI学会“自我管理”了！

在深度学习的世界里，归一化层（如BatchNorm、LayerNorm）就像一位兢兢业业的“管家”。它们每天忙着给数据做按摩（减均值、除方差），再涂点护肤品（γ、β scale 和 s

6月前
108
点赞
评论

DeepSeek开源周-Day01之DeepSeek FlashMLA 深度解析

DeepSeek 开源周 Day01 FlashMLA 深度解析 DeepSeek的开源周可谓是给AI界点燃了一根“加速火箭”，一开场便引爆了全球开发者的热情！在北京时间周一上午九点，DeepSeek

7月前
35
点赞
评论

DeepSeek R1 —— 用 RL 点燃推理引擎的新纪元

DeepSeek 推理大模型 R1 一出，瞬间在 AI 领域掀起了“核爆”级别的轰动。谁能想到，要实现尖端 AI 表现竟然可以跳过传统的监督微调（SFT）？DeepSeek 却甩手一挥，直接依靠强化学

7月前
179
点赞
评论

DeepSeek-V3 — 史诗级 MoE 模型，参数多到爆表

简介论文《DeepSeek-V3 Technical Report》于 2024 年 12 月发布**。DeepSeek-V3 总参数达到 671B**，每个 token 激活 37B 参数，大约是

8月前
828
1
评论

DeepSeek V2 —— 强大、经济又高效的 MoE 进阶版

DeepSeek V2 —— 强大、经济又高效的 MoE 进阶版简介论文《DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-E

8月前
174
1
评论

DeepSeekMoE:专家学霸们的“脑力盛宴”

论文《DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models》于 20

8月前
333
点赞
评论

DeepSeek王炸来袭！原生稀疏注意力 Native Sparse Attention助力64K长上下文前向飙升9倍、反向极速6倍加速！

Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention 本论文的核心创新点在于提出了一种名为

8月前
377
点赞
评论

DeepSeek LLM：以长远主义视角扩展开源语言模型

核心内容总结论文《DeepSeek LLM: Scaling Open-Source Language Models with Longtermism》于 2024 年 1 月问世。基于 Trans

8月前
295
点赞
评论

[史诗级转型]:DeepSeek 进化之路：低成本强化学习如何引爆 AI 革命？

DeepSeek 原生注意力NSA架构炸场！长文本处理迎来"三体式"降维打击,总之，DeepSeek 系列从 LLM 到 MoE，从 V2、V3 再到最新的 R1，以及最新的原生注意力NSA,每一步

8月前
186
点赞
评论

大模型加速-核心网络算子-Flash Attention V3

FlashAttention-3 基于 H100 利用硬件新特性的优化方案，在 H100 GPU 上通过 FP16 实现 1.5-2.0 倍的加速，达到 740 TFLOPs/s（利用率 75%），

1年前
1.2k
点赞
评论

大模型加速-核心网络算子-Flash Attention V2

Flash Attention V2过外循环修改为 Q,可以很好的,避免 warp 之间的通信,利用高速缓存,进一步降低 HBM 的访问次数,同时有效的调整归一化补偿算法,节省 1D 算力,提升整体性

1年前
614
点赞
评论

大模型加速-核心网络算子-Flash Attention V1

FlashAttention V1目的不是节约FLOPs，而是减少对HBM的访问。重点是FlashAttention在训练和预测过程中的结果和标准Attention一样，对用户是无感的，而其他加速方法

1年前
435
点赞
评论