开源项目
1. 多模态大模型整理
2. 基于chatGLM微调
ChatGLM-Efficient-Tuning/README_zh.md at main · hiyouga/ChatGLM-Efficient-Tuning · GitHub
3. 使用QLoRA对bloom-7b1模型进行中文指令微调，在单张显卡训练，训练长度为1024，效果挺nice，值得尝试。
QLoRA主要通过使用NF4（一种理论最优的4-bit数据类型）和Double Quantization，压缩模型大小，并且插入更多adapter弥补精度损失，以逼近全量参数微调。 文章链接：mp.weixin.qq.com/s/DED7yeiE0… 训练代码： github.com/yangjianxin…
