长话短说
作为 VSSL 为机器学习构建现代基础设施、工具和工作流程的使命的一部分,今天我们发布了tvault. tvault是一个本地模型注册表,旨在帮助 ML 领域的学术研究人员更快地迭代他们的模型,而无需记录开销。您可以将其视为轻量级的“ML 的 git diff”,您可以在其中跟踪您的实验并对其进行哈希版本化,并鸟瞰两个实验之间的变化。
问题
在过去的一年里,我们通过VSSL for Academics和校园范围内对 VSSL 的采用,结识了数百名 AI/ML 研究生。
虽然他们中的一小部分是成熟的实验跟踪工具(如VSSL Experiments和 Weights & Biases)的狂热用户,但我们遇到的许多学术研究人员只是想以最少的设置开始工作,并专注于最重要的事情——楷模。考虑到学术研究人员如何更独立地工作并更多地关注算法而不是通过多次迭代进行微调,这是有道理的。
怎么运行的
使用tvault,您可以开始使用最简单的实验跟踪形式pip install- 无需注册或额外配置 - 并在您的终端内管理和比较实验。
添加tvault.log()代码的训练循环会在文件夹下创建一个本地日志文件,其中model_log包含模型的唯一哈希值和每次运行的 ID。
此日志文件本质上是模型的读数,其中存储模型概述和关键指标,如准确性、学习率和优化器,您可以使用标签添加这些指标。
由于tvault日志位于您的项目文件夹下,因此您还可以在 git push 本地代码库时分享您的实验进度,并在您准备好发布研究后将它们公开在 GitHub 上。
1 分钟跳转
在将tvault.log()要跟踪的指标作为标签插入训练循环后,您可以使用简单的 CLI 命令查找和比较实验。
使用 find_flag 进行查找实验
--find_flag您可以使用并指定 ,按散列、结果或标签查找您的实验--condition。下面的示例显示了精度介于50和 之间的所有实验100。
使用 diff_flag 比较实验
tvault 的diff_flag选项允许您通过指定模型哈希和索引来查找两个模型之间的差异。tvault自动检测并显示功能的变化,同时删除与模型无关的 git diff。当您有一个基线模型,您想要使用不同的超参数和更高级别的架构进行迭代而不逐行挖掘代码时,这很有用。
下一步是什么
虽然 MLOps 对于大规模和速度的生产机器学习至关重要,但当前的工程和工具环境可能会让人不知所措,尤其是对于研究生 ML 研究人员而言。我们相信,像这样的最小可行工具可以tvault为用户提供零开销的即时价值,这将激励他们进行更多探索,而不是简单地忽视。
我们期待发布更多开源框架,帮助 AI/ML 领域的工程师和研究人员开始使用 MLOps——例如,用于设置多云 Kubernetes 集群的 Terraform 模式。
对于那些希望在几天而不是几个月内采用成熟的、生产就绪的 AI 基础设施和 MLOps 的人,请注册一个免费帐户并在vessl.ai 上开始培训。