✨ 新功能与改进
- 通过 catalogue 注册模型，以在 Auto{Decoder,Encoder,CausalLM} 中支持外部模型。
- 增加了对原地加载参数的支持。
- 增加了对 ELECTRA 模型的支持。
- 增加了对 HFHubRepository 进行写入/上传操作的支持。
- 增加了将 Curated Transformer 配置转换为与某机构模型中心兼容的配置的支持。
🔴 错误修复
- 支持 PyTorch 2.2。
⚠️ 向后不兼容变更
- 移除了对 TorchScript 追踪的支持。
- AttentionHeads、AttentionHeads.uniform、AttentionHeads.multi_query 和 AttentionHeads.key_value_broadcast 中的 qkv_split 参数现在变为必选参数。
- 所有 FromHFHub 混入类已重命名为 FromHF。
- 移除了 FromHF.convert_hf_state_dict 方法，取而代之的是 FromHF.state_dict_from_hf 方法。
👥 贡献者
由 danieldk、honnibal、ines、KennethEnevoldsen、shadeMe 提供。
