AI大模型微调

233 阅读5分钟

全面解析微调技术理论,掌握大模型微调核心技能

你将学到

  • 理论与实践相结合,深入掌握大模型微调(Fine-tuning)技术

  • 大模型微调技术揭秘:Adapter Tuning, Prompt Tuning, Prefx Tuning, P_Tuning, LoRA, AdaLORA, QLORA

  • 熟练掌握 Hugging Face Transformers & PEFT,Microsoft Deepspeed 等微调工具库

  • 基于国产硬件(华为昇腾 910)和大模型(ChatGLM-6B)进行微调技术实践

课程介绍

提升 LLM 应用性能的关键 — 微调

1.png

主流大模型微调技术方法全覆盖

2.png

掌握大模型微调利器

3.png

课程详情

├── 1-开营直播:大语言模型微调的前沿技术与应用/  
│ ├── [400M] 01-大模型微调的前沿技术与应用  
│ ├── [10.0M] 开营直播:大语言模型微调的前沿技术与应用.pdf  
│ └── [ 16K] 评论区记录.xlsx  
├── 2-大模型四阶技术总览/  
│ ├── [ 17K] 20231203评论区记录.xlsx  
│ ├── [750M] AI大模型四阶技术总览  
│ ├── [ 19M] 1-AI大模型四阶技术总览-新.pdf  
│ └── [ 21M] 1-AI大模型四阶技术总览.pdf  
├── 3-大语言模型技术发展与演进/  
│ ├── [ 18M] 大语言模型技术发展与演进.pdf  
│ ├── [1015M] 大模型演进  
│ ├── [10.0M] 论文.zip  
│ └── [ 17K] 评论区记录.xlsx  
├── 4-大语言模型微调技术揭秘-PEFT/  
│ ├── [ 14K] 20231206评论区记录.xlsx  
│ ├── [ 17M] Fine-tuning论文.zip  
│ ├── [ 10M] 大模型微调技术揭秘-PEFT.pdf  
│ ├── [ 18M] 大语言模型技术发展与演进.pdf  
│ ├── [616M] 大模型微调技术揭秘-PEFT-1  
│ └── [523M] 大模型微调技术揭秘-PEFT-2  
├── 5-大语言模型微调技术揭秘-LoRA/  
│ ├── [ 16K] 20231210评论区记录.xlsx  
│ ├── [479K] UniPELT A Unified Framework for Parameter-Efficient Language Model Tuning.pdf  
│ ├── [7.6M] 大模型微调技术揭秘-LoRA.pdf  
│ ├── [ 16M] 大模型微调技术揭秘.pdf  
│ ├── [624M] 大模型低秩适配(LoRA)技术-1  
│ ├── [725M] 大模型低秩适配(LoRA)技术-2  
│ └── [809M] 大模型低秩适配(LoRA)技术-3  
├── 6-大模型开发工具库/  
│ ├── [4.5M] 大模型开发工具库 HF Transformers.pdf  
│ ├── [587M] 大模型开发工具-1  
│ ├── [922M] 大模型开发工具-2  
│ └── [300M] 大模型开发工具-3  
├── 7-实战 Transformers 模型微调/  
│ ├── [ 16K] 20231220评论区记录.xlsx  
│ ├── [4.4M] 6-实战Transformers模型微调.pdf  
│ └── [846M] 实战 Transformers 模型微调  
├── 8-实战Transformers模型量化/  
│ ├── [ 12K] 20231224评论区记录.xlsx  
│ ├── [5.6M] Quantization论文.zip  
│ ├── [6.4M] 实战Transformers模型量化.pdf  
│ ├── [708M] 实战Transformers模型量化-1  
│ ├── [785M] 实战Transformers模型量化-2  
│ └── [755M] 实战Transformers模型量化-3  
├── 9-大模型高效微调工具HF PEFT/  
│ ├── [ 13K] 20231227评论区记录.xlsx  
│ ├── [2.8M] 大模型高效微调工具HF PEFT.pdf  
│ ├── [724M] 大模型高效微调工具HF PEFT-1  
│ ├── [817M] 大模型高效微调工具HF PEFT-2  
│ └── [580M] 大模型高效微调工具HF PEFT-3  
├── 10-实战QLoRA微调ChatGLM3-6B/  
│ ├── [ 10K] 20240103评论区记录.xlsx  
│ ├── [1.8G] AI 大模型微调训练营第 0 期直播课-6.flv  
│ ├── [8.4M] GLM论文.zip  
│ ├── [ 14M] 实战QLoRA 微调 ChatGLM3-6B.pdf  
│ ├── [595M] 实战QLoRA微调ChatGLM3-6B-1  
│ └── [757M] 实战QLoRA微调ChatGLM3-6B-2  
├── 11-快速入门 LangChain/  
│ ├── [9.8M] 快速入门 LangChain 大模型应用开发框架.pdf  
│ ├── [373M] 快速入门 LangChain-1  
│ └── [841M] 快速入门 LangChain-2  
├── 12-实战基于LangChainChatGLM私有化部署聊天机器人/  
│ ├── [ 13K] 20240110评论区记录.xlsx  
│ ├── [ 11M] 实战基于LangChainChatGLM私有化部署聊天机器人.pdf  
│ └── [669M] 实战基于LangChainChatGLM私有化部署聊天机器人  
├── 13-实战私有数据微调ChatGLM3/  
│ ├── [ 14K] 20240118评论区记录.xlsx  
│ ├── [ 10M] 实战私有数据微调ChatGLM3.pdf  
│ └── [708M] 实战私有数据微调ChatGLM3  
├── 14-ChatGPT大模型训川练技术RLHF/  
│ ├── [ 13K] 20240121评论区记录.xlsx  
│ ├── [748M] ChatGPT大模型训川练技术RLHF-1  
│ ├── [744M] ChatGPT大模型训川练技术RLHF-2  
│ └── [6.5M] ChatGPT大模型训练技术RLHF.pdf  
├── 15-混合专家模型(MoEs)技术揭秘/  
│ ├── [ 11K] 20240124评论区记录.xlsx  
│ ├── [7.7M] MoEs论文@优库it资源ukoou.com.zip  
│ ├── [5.4M] 混合专家模型(MoEs)技术揭秘.pdf  
│ ├── [693M] 混合专家模型(MoEs)技术揭秘-1  
│ └── [744M] 混合专家模型(MoEs)技术揭秘-2  
├── 16-大模型分布式训练框架 Microsoft DeepSpeed/  
│ ├── [ 13K] 20240128评论区记录.xlsx  
│ ├── [2.8M] ZeRO论文.zip  
│ ├── [7.9M] 大模型分布式训练框架Microsoft DeepSpeed(1).pdf  
│ ├── [681M] 大模型分布式训练框架 Microsoft DeepSpeed-1  
│ ├── [793M] 大模型分布式训练框架 Microsoft DeepSpeed-2  
│ ├── [814M] 大模型分布式训练框架 Microsoft DeepSpeed-3  
│ └── [739M] 大模型分布式训练框架 Microsoft DeepSpeed-4  
├── 17-Meta AI 大模型家族 LLaMA/  
│ ├── [ 12K] 20240131评论区记录.xlsx  
│ ├── [ 15M] LLaMAl论文.zip  
│ ├── [641M] Meta AI 大模型家族 LLaMA  
│ └── [8.7M] Meta AI 大模型家族 LLaMA.pdf  
└── 资料代码/