当GPT遇到Music

91 阅读1分钟

在网上冲浪的时候,发现一个很好玩的项目,MusicGPT,这个项目有趣的点,除了是把Music和GPT结合,还有一点,是使用Rust开发的大模型应用项目,跟通常用python开发的应用截然不同。前端使用的是TS开发。

image.png

部署完的界面是这样子:

image.png

部署方式上,使用docker部署也是最容易的。但是因为网络问题,需要修改代码才能完成部署。

在源代码里面,我们可以看到main.rs文件中,hardcode了模型的huggingface链接,在这里我们把链接改成hf-mirror的链接即可。

使用dockerfile来编译镜像。但是dockerfile也会遇到网络问题,因为在dockerfile里,安装rust了。这时候把dockerfile进行一些修改,使用清华的源来加速安装

# Install deps
RUN apt update && apt install librust-alsa-sys-dev curl build-essential -y
RUN RUSTUP_UPDATE_ROOT=http://mirrors.ustc.edu.cn/rust-static/rustup  RUSTUP_DIST_SERVER=https://mirrors.tuna.tsinghua.edu.cn/rustup  curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | bash -s -- -y
ENV PATH="/root/.cargo/bin:${PATH}"

运行

docker run -it --gpus all -p 8642:8642 -v /local/path:/root/.local/share/musicgpt musicgpt:latest --gpu --ui-expose --model large

注意最后的参数,有多种模型可以选,small、medium、large,根据自己的需要调整即可,单卡就可以运行