Datawhale AI 冬令营|一次微调的小小尝试

本次Datawhale AI 冬令营活动的学习内容是针对大模型的微调任务。其实一直以来我都想好好系统学习一下模型微调的相关操作和流程，刚好这次冬令营给了我这么一个契机。我就顺带记录一下本次模型微调的尝试过程。 因为我个人从小对中国古典文学比较感兴趣，前段时间浏览huggingface的时候看到了这样一个数据集,是关于《史记》72列传的文本数据，采用的是Alpaca的基本格式。

于是结合本次的学习任务，我就萌生出了微调一个针对古文"翻译"的微调模型。当然不同以往我们高中阶段的古文学习，这一次，我们将换个角度来看古文，将现代文翻译成古文。 目前阶段任务，我计划是先基于这个模型试一下逐句翻译的微调，我选用的是星火大模型平台，采用llama-3的基础模型，结合这个数据集先微调一次，不过可以看到这个用时还是挺长的。等微调好了，看一下效果。

其实，我们也可以注意到这个数据集每一条数据都只有一句话的翻译，缺乏对于上下文的理解。如果后续微调效果不行，我可能会考虑重新调整一下数据集结构，拆分成段落，再尝试微调，更多详细过程，我也会在后续慢慢补充。