Minio文件服务器安装及数据同步配置处理

Minio下载

mkdir -p /devwww/devops/minio
wget https://dl.min.io/aistor/minio/release/linux-amd64/minio -O /devwww/devops/minio/minio

Minio Server的启动脚本

#!/bin/bash

export MINIO_ACCESS_KEY=jifadmin
export MINIO_SECRET_KEY=5zQ6va1U
 
# minio进程号
psid=0
 
checkpid() {
    javaps=`ps -ef |grep minio |grep -v "grep"`
   if [ -n "$javaps" ]; then
      psid=`echo $javaps | awk '{print $2}'`
   else
      psid=0
   fi
}
 
###################################
#(函数)启动程序
#
#说明：
#1. 首先调用checkpid函数，刷新$psid全局变量
#2. 如果程序已经启动（$psid不等于0），则提示程序已启动
#3. 如果程序没有被启动，则执行启动命令行
#4. 启动命令执行后，再次调用checkpid函数
#5. 如果步骤4的结果能够确认程序的pid,则打印[OK]，否则打印[Failed]
#注意：echo -n 表示打印字符后，不换行
#注意: "nohup 某命令 >/dev/null 2>&1 &" 的用法
###################################
start() {
   checkpid
 
   if [ $psid -ne 0 ]; then
      echo "================================"
      echo "warn: minio already started! (pid=$psid)"
      echo "================================"
   else
      echo -n "Starting Minio ..."
      nohup /devwww/devops/minio/minio server  --address :39000 --console-address :39001 /devwww/devops/minio/data > /devwww/devops/minio/logs/minio.log 2>&1 &
      checkpid
      if [ $psid -ne 0 ]; then
         echo "(pid=$psid) [OK]"
      else
         echo "[Failed]"
      fi
   fi
}
 
###################################
#(函数)停止程序
#
#说明：
#1. 首先调用checkpid函数，刷新$psid全局变量
#2. 如果程序已经启动（$psid不等于0），则开始执行停止，否则，提示程序未运行
#3. 使用kill -9 pid命令进行强制杀死进程
#4. 执行kill命令行紧接其后，马上查看上一句命令的返回值: $?
#5. 如果步骤4的结果$?等于0,则打印[OK]，否则打印[Failed]
#6. 为了防止java程序被启动多次，这里增加反复检查进程，反复杀死的处理（递归调用stop）。
#注意：echo -n 表示打印字符后，不换行
#注意: 在shell编程中，"$?" 表示上一句命令或者一个函数的返回值
###################################
stop() {
   checkpid
 
   if [ $psid -ne 0 ]; then
      echo -n "Stopping Minio ...(pid=$psid) "
      kill -9 $psid
      if [ $? -eq 0 ]; then
         echo "[OK]"
      else
         echo "[Failed]"
      fi
 
      checkpid
      if [ $psid -ne 0 ]; then
         stop
      fi
   else
      echo "================================"
      echo "warn: Minio is not running"
      echo "================================"
   fi
}
 
###################################
#(函数)检查程序运行状态
#
#说明：
#1. 首先调用checkpid函数，刷新$psid全局变量
#2. 如果程序已经启动（$psid不等于0），则提示正在运行并表示出pid
#3. 否则，提示程序未运行
###################################
status() {
   checkpid
 
   if [ $psid -ne 0 ];  then
      echo "Minio is running! (pid=$psid)"
   else
      echo "Minio is not running"
   fi
}
 
###################################
#读取脚本的第一个参数($1)，进行判断
#参数取值范围：{start|stop|restart|status|info}
#如参数不在指定范围之内，则打印帮助信息
###################################
case "$1" in
   'start')
      start
      ;;
   'stop')
     stop
     ;;
   'restart')
     stop
     start
     ;;
   'status')
     status
     ;;
  *)
     echo "Usage: $0 {start|stop|restart|status}"
    ;;
esac

使用工具mc(Minio Client) 下载方法如下:

wget https://dl.min.io/client/mc/release/linux-amd64/mc -O /usr/local/bin/mc

赋予执行权限

chmod +x /usr/local/bin/mc

数据同步别名配置

#注意39000为api接口,不是web ui端口
mc alias set source http://10.11.11.66:39000 admin 123456
mc alias set destination http://10.11.11.67:39000 admin 123456

单个存储桶数据同步

mc mirror source/bucket_name destination/bucket_name

多个数据桶数据同步

#mc命令启动之后后台一直执行
#参考地址:[linux shell字符串截取的详细总结(实用!) - LiuYanYGZ - 博客园](https://www.cnblogs.com/LiuYanYGZ/p/16880850.html)
#!/bin/bash
for bucket in $(mc ls source | awk '{print $5}'); do
  nohup mc mirror --watch source/$bucket destination/$bucket > /devwww/devops/minio/logs/sync/sync-${bucket%/*}.log 2>&1 &
done

不要使用crontab去处理数据同步，原因是会有多个mc的进程在执行导致内存占用率过高,如果使用了crontab方式,可以采用以下命令进行处理

#参考文章:https://blog.csdn.net/zengNLP/article/details/102634910
ps -ef| grep mc |grep -v grep |awk '{print $2}' | xargs kill -9