菜菜hhh
获得徽章 0
- 安利下自己的项目 求star呀
这次介绍大模型训练中最常用的两个技术：混合精度训练和梯度检查点，给出示例代码并以EVA ViT-G（0.99B参数）作为例子进行性能测试
该仓库里还有：
- 基于Lavis实现一个干净、灵活的Trainer，在任务、模型、数据集、scheduler上都具备可拓展性，同时相比huggingface Trainer，更加干净、去冗余！
- 多模态大模型实战MiniGPT4Qwen：3090+2小时+通义千问=个人版双语多模态大模型
本项目使用Qwen-Chat作为LLM，用MiniGPT4的对齐方式，更加高效地训练了一个MLLM，名为 Minigpt4Qwen。仅需1张3090、18.8k数据，3M可训练参数和可训练数个小时即可（现在已经开放了数据集、模型checkpoint、命令行demo、gradio的WebUI demo，并支持了LoRA微调功能。）
github仓库：
github.com
文章：展开15
![[吐舌]](http://lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_95.6b0752f.png)
github.com