Bash脚本在PipePool一行代码上云并行的方法

在配置好PipePool存储后，将main.sh存入pool目录。所有PipePool的配置都是通过注释实现的。 比如#pp -nodes 100 可以开启100台服务器并行计算。 pipe目录内的每一个文件都会启动一个任务。脚本运行时$1为任务对应文件名。 main.sh呢内部整体看起来这个样子

#!/bin/bash #pp –instanceType [aws.c8a.2xlarge.spot, gcp.c2d.highcpu.8.spot, aliyun.ecs.c9i.2xlarge.spot] #pp –nodes 100 ./exec “input/$1” “../$1.out”

其中–instanceType 定义需要启动的服务器类型，这里同时启动了亚马逊云、谷歌云和阿里云的机器运算任务。