清华大佬终于把AI大模型（LLM）课程内容介绍

爱理财的程序媛
63 阅读6分钟

以下是提取的 class="title-txt" 中 div 的内容：

  1. 1-1 课程内容介绍
  2. 1-2 课程大纲
  3. 1-3 课程计划
  4. 1-4 自然语言处理基础--基础与应用
  5. 1-5 自然语言处理基础--词表示与语言模型
  6. 1-6 大模型基础--大模型之旅
  7. 1-7 大模型基础--大模型背后的范式
  8. 1-8 大模型基础--实例
  9. 1-9 编程环境和GPU服务器介绍
  10. 2-1 课程内容介绍
  11. 2-2 神经网络基础--大纲介绍
  12. 2-3 神经网络的基本组成元素
  13. 2-4 如何训练神经网络
  14. 2-5 词向量：Word2vec
  15. 2-6 循环神经网络（RNN）
  16. 2-7 门控循环单元（GRU）
  17. 2-8 长短期记忆网络（LSTM）
  18. 2-9 双向RNN
  19. 2-10 卷积神经网络（CNN）
  20. 2-11 演示：使用PyTorch训练模型
  21. 3-1 课程内容介绍
  22. 3-2 注意力机制--原理介绍
  23. 3-3 注意力机制--注意力机制的各种变式
  24. 3-4 注意力机制--注意力机制的特点
  25. 3-5 Transformer结构--概述
  26. 3-6 Transformer结构--输入编码（BPE,PE）
  27. 3-7 Transformer结构--Encoder Block
  28. 3-8 Transformer结构--Decoder Block
  29. 3-9 Transformer结构--优化Tricks
  30. 3-10 Transformer结构--试验结果以及可视化
  31. 3-11 Transformer结构--Transformer优缺点
  32. 3-12 预训练语言模型--语言建模概述
  33. 3-13 预训练语言模型--PLM介绍
  34. 3-14 预训练语言模型--MLM任务的应用
  35. 3-15 预训练语言模型--前沿大模型介绍
  36. 3-16 Transformers教程--Introduction
  37. 3-17 Transformers教程--使用Transformers的Pipeline
  38. 3-18 Transformers教程--Tokenization
  39. 3-19 Transformers教程--常用API介绍
  40. 3-20 Transformers教程--Demo讲解
  41. 4-1 课程内容介绍
  42. 4-2 Prompt-Learning和Delta-Tuning--背景和概览
  43. 4-3 Prompt-Learning--基本组成与流程介绍
  44. 4-4 Prompt-Learning--PTM选取
  45. 4-5 Prompt-Learning--Template构造
  46. 4-6 Prompt-Learning--Verbalizer构造
  47. 4-7 Prompt-Learning--训练新范式
  48. 4-8 Prompt-Learning--应用
  49. 4-9 Prompt-Learning--总结
  50. 4-10 Delta-Tuning--背景与介绍
  51. 4-11 Delta-Tuning--增量式tuning
  52. 4-12 Delta-Tuning--指定式tuning
  53. 4-13 Delta-Tuning--重参数化tuning
  54. 4-14 Delta-Tuning--统一tuning框架及理论联系
  55. 4-15 Delta-Tuning--总结
  56. 4-16 OpenPrompt--介绍与用法
  57. 4-17 OpenDelta--介绍与用法
  58. 5-1 课程内容介绍
  59. 5-2 BMTrain--背景介绍
  60. 5-3 BMTrain--Data Parallel (数据并行)
  61. 5-4 BMTrain--Model Parallel（模型并行）
  62. 5-5 BMTrain--ZeRO
  63. 5-6 BMTrain--Pipeline Parallel (流水线并行)
  64. 5-7 BMTrain--混合精度训练
  65. 5-8 BMTrain--Offloading
  66. 5-9 BMTrain--Overlapping
  67. 5-10 BMTrain--Checkpointing
  68. 5-11 BMTrain--使用介绍
  69. 5-12 BMCook--背景介绍
  70. 5-13 BMCook--知识蒸馏
  71. 5-14 BMCook--模型剪枝
  72. 5-15 BMCook--模型量化
  73. 5-16 其它模型压缩方法--Weight Sharing
  74. 5-17 其它模型压缩方法--Low-rank Approximation
  75. 5-18 其它模型压缩方法--Architecture Search (结构搜索)
  76. 5-19 BMCook--使用介绍
  77. 5-20 BMInf--背景介绍
  78. 5-21 BMInf--深入理解Transformer
  79. 5-22 BMInf--Quantization (量化)
  80. 5-23 BMInf--Memory Scheduling
  81. 5-24 BMInf--BMInf使用介绍
  82. 6-1 基于大模型文本理解和生成介绍
  83. 6-2 信息检索--背景
  84. 6-3 信息检索--定义和评测
  85. 6-4 信息检索--传统方法
  86. 6-5 信息检索--神经网络方法（大模型）
  87. 6-6 信息检索--前沿热点
  88. 6-7 机器问答--QA介绍
  89. 6-8 机器问答--阅读理解
  90. 6-9 机器问答--开放域QA
  91. 6-10 文本生成--介绍
  92. 6-11 文本生成--文本生成任务
  93. 6-12 文本生成--神经网络文本生成
  94. 6-13 文本生成--受控文本生成
  95. 6-14 文本生成--文本生成测评
  96. 6-15 文本生成--挑战
  97. 7-1 课程内容介绍安排
  98. 7-2 生物医学自然语言处理介绍
  99. 7-3 生物医学文本挖掘的任务
  100. 7-4 生物医学文本挖掘的PLMs
  101. 7-5 生物医学文本挖掘的知识构建
  102. 7-6 生物医学文本挖掘的应用
  103. 7-7 生物医学辅助诊疗--介绍
  104. 7-8 生物医学辅助诊疗--文本分类
  105. 7-9 生物医学辅助诊疗--对话
  106. 7-10 生物医学辅助诊疗总结
  107. 7-11 生物医学特定物质表征过程
  108. 7-12 生物医学特定物质表征--DNA
  109. 7-13 生物医学特定物质表征--Protein
  110. 7-14 生物医学特定物质表征--Chemicals
  111. 7-15 Project
  112. 7-16 生物医学NLP--未来方向
  113. 8-1 大模型与法律应用Outline
  114. 8-2 背景介绍
  115. 8-3 法律智能应用
  116. 8-4 两条研究路线
  117. 8-5 数据驱动方法
  118. 8-6 法律预训练语言模型
  119. 8-7 知识指导方法
  120. 8-8 法理量化分析
  121. 8-9 法律智能未来方向
  122. 8-10 法律智能未来挑战
  123. 9-1 脑科学及大模型--主题介绍
  124. 9-2 人脑与大模型--背景介绍
  125. 9-3 人脑与大模型--人脑如何构建知识
  126. 9-4 人脑与大模型--语言处理原则
  127. 9-5 人脑与大模型--揭示语言的魔力
  128. 9-6 大模型中的神经元--背景介绍
  129. 9-7 大模型中的神经元--激活情况分析
  130. 9-8 大模型中的神经元--转换模型架构MOE
  131. 9-9 大模型神经元的应用--学到的特定功能
  132. 9-10 大模型神经元的应用--作为迁移指标
  133. 9-11 大模型神经元的应用--表示情感
  134. 9-12 大模型认知能力--介绍
  135. 9-13 大模型认知能力--下游任务实例
  136. 9-14 大模型认知能力--挑战与限制
  137. 9-15 课程总结
avatar
文章
阅读
粉丝