2017
Transformer架构点燃NLP革命引擎
2017年，Google的研究团队发表了划时代的论文《Attention Is All You Need》，首次提出了Transformer架构，彻底改变了自然语言处理（NLP）的技术范式。这一架构以自注意力机制（Self-Attention）为核心，取代了此前依赖循环神经网络（RNN）和长短期记忆网络（LSTM）的序列处理方式，通过并行计算和长距离依赖捕捉能力，显著提升了模型的训练效率和性能表现。
这一突破标志着大语言模型（LLM）从传统统计方法转向深度学习驱动的现代阶段。尽管当时模型规模较小（如Google的Transformer仅几千万参数），但其模块化设计为后续参数规模的指数级增长奠定了基础。这一节点被视为LLM实质性起源，开启了AI领域的“第二个黎明”，为GPT系列和BERT等模型的后续发展提供了理论支柱。
2018
BERT的双向理解与预训练范式的确立
2018年，Google发布了BERT（Bidirectional Encoder Representations from Transformers），将Transformer的潜力推向新高度。BERT通过引入双向上下文建模，允许模型同时考虑句子左右两侧的信息，显著提升了在问答、情感分析等下游任务上的表现。它的预训练+微调范式成为行业标准：先在海量无标注文本上进行无监督学习（如掩码语言模型任务），再通过监督数据优化特定任务。这一技术的突破让LLM从单一生成任务扩展到了理解任务，奠定了现代NLP的基石。
同时，OpenAI的GPT-1（1.17亿参数）首次探索单向Transformer解码器架构，专注于生成任务，为后续生成式AI铺路。在这一阶段，LLM开始从学术研究走向实用化，但规模和通用性仍有限。
2019
GPT-2的生成能力与伦理争议
2019年，OpenAI发布了GPT-2（15亿参数），标志着LLM生成能力的飞跃。该模型在无监督预训练后，能生成连贯且上下文相关的长文本，展现出接近人类水平的语言创造力。然而，其生成内容的逼真性引发了虚假信息和滥用风险的担忧，OpenAI因此选择分阶段发布模型代码，触发了关于AI伦理的广泛讨论。
同时，Google的T5（Text-To-Text Transfer Transformer）提出“文本到文本”统一框架，进一步拓展了LLM的多任务能力。这一时期，LLM的规模和性能显著提升，但计算资源需求激增，限制了其普及，预示了未来对高效训练技术的依赖。
2020
GPT-3的零样本学习与Copilot的实用化
2020年，OpenAI推出GPT-3（1750亿参数），将LLM推向新的高峰。该模型凭借庞大的参数规模和高质量预训练数据，实现了零样本（zero-shot）和少样本（few-shot）学习能力，无需微调即可处理对话、翻译、代码生成等多样化任务。
其影响力迅速扩展到产业领域，GitHub Copilot的发布将GPT-3的代码生成能力转化为生产力工具，重新定义了编程辅助体验。这一阶段，Transformer架构的扩展定律（Scaling Law）被验证：模型性能随参数和数据量增加而近似线性提升。然而，高昂的训练成本和能耗问题也浮出水面，促使业界探索更高效的模型优化技术。
2021
InstructGPT与CoT的推理能力提升
2021年，OpenAI发布InstructGPT，通过强化学习与人类反馈（RLHF）技术大幅提升了模型的可控性和对齐性，使其更好地遵循用户指令。这一创新解决了早期LLM输出不准确或偏离意图的问题。同时，思维链（Chain of Thought，CoT）方法的提出，鼓励模型在生成答案前进行多步推理，显著增强了复杂问题的解决能力，如数学推理和逻辑推理。
这些进展为后续Agent的开发奠定了基础，使LLM从被动生成转向主动推理。此外，Google的Switch Transformer引入混合专家模型（MiE），尝试通过模块化设计提高效率，预示了LLM架构多样化的趋势。
2022
ReAct与Agent理念的萌芽
2022年，ReAct（Reasoning + Acting）框架提出，Agent理念迎来开端。该框架结合推理和行动能力，让LLM不仅能理解和生成文本，还能通过调用外部工具（如API）完成任务，如搜索、计算或数据处理。同期，LangChain和Auto-GPT等开发框架的出现，降低了构建Agent的门槛，推动了应用探索。
此外，Anthropic的Claude模型以安全性和可解释性为重点，挑战了OpenAI的主导地位。这一阶段，LLM开始从单一模型演变为智能Agent的组件，标志着AI从语言工具向自主系统演变的转折点，但技术仍处于实验阶段。
2023
ChatGPT的普及与Agent白银时代
2023年，OpenAI基于GPT-3.5推出ChatGPT，凭借直观的对话界面和强大的生成能力，成为增长最快的应用，超越TikTok。这一突破将LLM带入普罗大众视野，同时GPT-4（参数超万亿）的发布进一步提升了多模态能力和工具使用能力（如Function Calling），支持模型调用外部功能。
与此同时，ReAct和CoT的结合催生了Agent的快速发展，LangChain等框架推动了行业应用井喷，OpenAI的插件系统和GPTs进一步扩展了生态。
2024
O1的转向与Agent的潜伏发展
2024年，OpenAI发布O1，探索新的训练路径，传统预训练Scaling Law的边际效应减弱，业界开始转向强化学习和推理优化。GPT-4性能停滞，GPT-5研发受阻，模型规模扩张的路径受到质疑。
同时，Agent技术在水下快速发展，MCP（多Agent协作平台）和GenSpark（生成式Agent框架）等工具悄然成熟，Google的AgentLab推动了理论研究。这一阶段，LLM的演进从单纯扩大参数转向提升智能和效率，Agent的潜伏积累为下一轮爆发奠定基础，但大规模商业化应用尚未实现。
2025
后训练Scaling Law与Agent的全面爆发
2025年，后训练Scaling Law（通过强化学习等后训练技术提升性能）逐步生效，弥补了预训练局限。Agent技术浮出水面，ManuS（多Agent系统）和Claude Sonnet 3.7等模型展现出复杂任务处理能力，如多Agent协作和动态决策。DeepResearch和OpenAI O1等进一步优化推理和工具使用，LLM从语言生成器演变为智能助手。
同时，国内的DeepSeek在垂直领域取得突破，爆火出圈。在这一阶段，AI进入后预训练时代，Agent成为主流，标志着LLM从技术驱动转向应用驱动的全面转型。
