携手创作,共同成长!这是我参与「掘金日新计划 · 8 月更文挑战」的第3天,点击查看活动详情
前言
最近正在使用幻方萤火AI算力平台,该平台拥有超多的计算资源,可以大大加速模型的训练的测试,本系列博客将记录该平台的使用过程。
本篇是该系列博客的第一篇文章,主要介绍如何配置幻方萤火算力平台的网络环境。
简介
关于幻方萤火算力平台,其文档中的简介如下:
幻方萤火深度学习套件,hfai toolkit,简称 hfai,是幻方 AI 多年深度学习经验的集成,提供了 训练加速 、 环境管理 与 萤火调度 三类核心接口与命令行工具,以此加速用户本地的训练, 打通用户个人主机与萤火二号超算平台。通过 hfai,研究者不仅可以在本地使用 hfai 算子、框架、模型,也可以无缝地从本机提交训练任务到萤火二号上,获得 10000 张 A100 的算力加速。
从介绍中可以看到,该平台拥有着强大的算力资源,能够帮助研究者大大加速模型的训练时间。
MacOS下的安装记录
我使用的是MacBook Pro M1版本的Mac笔记本,这里记录在该设备上进行安装配置的过程。
解压安装和vpn配置
首先,需要对下载的资源进行解压和安装,iNodeClient客户端支持多平台应用,在MacOS下使用iNodeClient_MacOS.tar.gz文件进行安装。
安装完成后,需要根据提示重启Mac。
重启完成后,我们需要打开iNode客户端,配置地址,用户名和密码信息,如下图所示
完成信息填写之后,点击连接即可。
vpn连接成功后,客户端将显示如下信息:
管理平台登录
完成vpn连接后,我们就可以使用算力平台了。
首先,我们可以直接在网页端登录平台的管理系统,其网址为:studio.yinghuo.high-flyer.cn/
上图展示了管理系统的界面。其中,界面的右上角显示了集群的状态:包括运行的任务,排队的任务和整体的使用率。同时,主页上显示了自己所提交任务的情况
在工作区有自己的项目代码和实验统计。实验统计部分很详细的展示了每个提交的实验的运行时间,排队时间等信息。
开发容器界面主要记录开发的不同项目的环境。
数据集部分则包含了许多AI领域的经典数据集,如CIFAR10,CIFAR100等CV领域的常用数据集。用户也可以添加私有数据集或者上传其他遗漏的经典数据集。
在实验标签页部分显示了所提交的每个任务的运行情况:
在入门指导标签页面提供了一个简单的hfai命令行工具便于实验。研究者可以在这个页面上练习使用hfai的命令,从而熟悉平台。
事实上,我们也可以在本地安装hfai的工具环境,具体配置过程将记录在后续的博客中。
总结
本文记录了在MacOS平台下安装和使用幻方萤火AI的步骤记录,目前可以成功登录管理平台的网页端。后续的博客将记录平台的使用教程,敬请期待。
参考
- HFAI 使用教程与文档,doc.hfai.high-flyer.cn/index.html