juejin.cn
- 分享一个用于增强 axios 的工具
juejin.cn13 赞 · 2 评论 - 3 赞 · 3 评论
- 安利下自己的项目 求star呀
这次介绍大模型训练中最常用的两个技术：混合精度训练和梯度检查点，给出示例代码并以EVA ViT-G（0.99B参数）作为例子进行性能测试
该仓库里还有：
- 基于Lavis实现一个干净、灵活的Trainer，在任务、模型、数据集、scheduler上都具备可拓展性，同时相比huggingface Trainer，更加干净、去冗余！
- 多模态大模型实战MiniGPT4Qwen：3090+2小时+通义千问=个人版双语多模态大模型
本项目使用Qwen-Chat作为LLM，用MiniGPT4的对齐方式，更加高效地训练了一个MLLM，名为 Minigpt4Qwen。仅需1张3090、18.8k数据，3M可训练参数和可训练数个小时即可（现在已经开放了数据集、模型checkpoint、命令行demo、gradio的WebUI demo，并支持了LoRA微调功能。）
github仓库：github.com
文章：4 赞 · 1 评论
- 分享一个用于增强 axios 的工具juejin.cn13 赞 · 2 评论
- 3 赞 · 3 评论
- 安利下自己的项目 求star呀
这次介绍大模型训练中最常用的两个技术：混合精度训练和梯度检查点，给出示例代码并以EVA ViT-G（0.99B参数）作为例子进行性能测试
该仓库里还有：
- 基于Lavis实现一个干净、灵活的Trainer，在任务、模型、数据集、scheduler上都具备可拓展性，同时相比huggingface Trainer，更加干净、去冗余！
- 多模态大模型实战MiniGPT4Qwen：3090+2小时+通义千问=个人版双语多模态大模型
本项目使用Qwen-Chat作为LLM，用MiniGPT4的对齐方式，更加高效地训练了一个MLLM，名为 Minigpt4Qwen。仅需1张3090、18.8k数据，3M可训练参数和可训练数个小时即可（现在已经开放了数据集、模型checkpoint、命令行demo、gradio的WebUI demo，并支持了LoRA微调功能。）
github仓库：github.com
文章：4 赞 · 1 评论