Thinc v9.0.0 发布:全新学习率调度与AppleOps集成

5 阅读1分钟

Release v9.0.0: better learning rate schedules, integration of thinc-apple-ops

Thinc v9 的主要新特性是支持考虑训练动态的学习率调度。例如,新的 plateau.v1 调度器在经过指定次数的评估步骤后未发现进展时会缩放学习率。另一项明显变化是 AppleOps 现已集成到 Thinc 中,因此无需再安装 thinc-apple-ops 来使用 Apple Silicon 上的 AMX 单元。

✨ 新特性和改进

  • 学习率调度器现在可以接收训练步骤以及一组任意的关键字参数。这使得传递诸如参数名称和上次评估分数等信息以确定学习率成为可能 (#804)。
  • 增加了 plateau.v1 调度器 (#842)。该调度器在训练停滞一定时间后会缩放学习率。
  • thinc-apple-ops 的功能已集成到 Thinc 中 (#927)。从此版本开始,不再需要安装 thinc-apple-ops

🔴 错误修复

  • 修复了线程本地存储的使用问题 (#917)。

⚠️ 向后不兼容性

  • Thinc v9.0.0 仅支持 Python 3.9 及更高版本。
  • 调度器不再是生成器,而是 Schedule 类的实现 (#804)。
  • thinc.backends.linalg 已被移除 (#742)。其功能由经过更好测试且性能更优的 BLAS 实现提供。
  • thinc.extra.search 已被移除 (#743)。该模块中的束搜索功能与 spaCy 的转移解析器紧密耦合,因此已移至 spaCy v4。

👥 贡献者

@adrianeboyd, @danieldk, @honnibal, @ines, @kadarakos, @shadeMe, @svlandegFINISHED