轻量运维工具fastdp

perfect12312645
334 阅读3分钟

轻量运维工具 fastdp，基于 Go 语言实现，核心优势只有一个：快！ 在相同环境下，批量命令执行速度比 Ansible 快 18 倍，且用法更简单。今天就来分享这个工具的设计思路和使用方法。

而 fastdp 的设计目标是：抛弃冗余功能，专注 “批量执行命令 / 文件操作” 的核心场景，用 Go 的协程优势实现极致性能。

性能对比：18 倍提速是怎么来的？

直接上测试数据：在 4 台同网段 Linux 主机（网络延迟 <1ms）上执行 date 命令，对比结果如下：

工具实际耗时（real）差异点
fastdp0m0.135s基于 Go 协程并发，无进程开销
Ansible0m2.523sPython 多进程模型，启动成本高

image.png

为什么 fastdp 这么快？

协程级并发：

用 Go 原生 Goroutine 管理 SSH 连接，避免 Ansible 的 “多进程 fork 开销”，100 台主机并发连接只需 1 个进程，内存占用不到 10MB。

无冗余设计：

摒弃 Ansible 的 “兼容全场景” 逻辑（比如复杂的模块参数校验、多版本 Python 适配），无需复杂依赖，专注 “批量执行命令 / 文件操作”，代码量仅 2000 行。

轻量配置：

命令行直接传参，主机组配置用简单的 [组名] 格式，与ansible风格类似，上手成本极低。二进制文件大小只有10MB左右

fastdp 快速开始

  1. 下载发行包

使用 wget 或 curl 下载 对应架构的发行包（当前已更新至v5版本）：

# 使用 wget
# amd64版本(x86-64版本)
wget https://gitee.com/zhao-pengfei2/fastdp/releases/download/v5/fastdp-v5-linux-amd64.tar.gz

# arm64版本
wget https://gitee.com/zhao-pengfei2/fastdp/releases/download/v5/fastdp-v5-linux-arm64.tar.gz

2. 解压文件

解压下载的压缩包，获取二进制文件和配置模板：

# 解压到当前目录,以amd64版本为例
tar -zxvf fastdp-v1-linux-amd64.tar.gz
# 解压后会生成 fastdp 目录，包含二进制文件和配置示例
cd fastdp

3. 安装方式

 # 复制二进制文件到 /usr/local/bin（无需额外配置 PATH）
cp fastdp /usr/local/bin/

# 复制配置文件模板到系统配置目录
mkdir -p /etc/fastdp
cp config.toml host /etc/fastdp/

# 编辑/etc/fastdp/host文件，添加主机信息
vim /etc/fastdp/host

fastdp 能做什么？3 个核心场景

  1. 批量执行命令：一行命令搞定

最常用的场景：给 web 组主机执行 uptime 命令

# 格式：fastdp [命令参数] 主机组/IP
fastdp shell -a "uptime" web

# 灵活使用，支持多个主机组或ip
fastdp shell -a "uptime" master node 192.168.10.100
  1. 批量跨机文件复制

复制本地 config.ini 到 db 组主机的 /etc/app/ 目录，只需指定源路径和目标路径：

fastdp copy -s ./config.ini -d /etc/app/config.ini db

fastdp 会自动做两件事：

  • 对比本地与远程文件的 MD5，避免重复传输；
  • 同步源文件的权限（如 rw-r--r--）到远程，无需额外配置。

image.png

  1. 主机连通性检测：批量 SSH 存活检查

快速检测 all 组主机的 SSH 端口是否可达（比 ping 更实用）：

fastdp ping all
  1. 进阶用法

获取各主机的环境变量后汇总输出，配置集群hosts文件时更为快捷

# 注意：使用变量时外层要为单引号，否则会使用当前机器变量
# 内层如果要使用单引号可以使用'\''这种方式避免冲突
fastdp shell -a 'echo $(hostname -I|awk '\''{print $1}'\'') $(hostname) '  all|grep -v 'output:'|grep linux
192.168.1.101 linux101
192.168.1.111 linux111
192.168.1.121 linux121
192.168.1.131 linux131
192.168.1.141 linux141

主机组配置示例：

支持免密访问和密码访问两种方式，可以指定用户端口信息

# FastDP 主机清单配置文件示例
# 格式说明：[主机组名] 定义主机组，下方为主机列表
 
# [all] 是默认主机组，包含所有主机
# 主机配置格式：IP/域名 [参数=值 参数=值 ...]
# 支持参数：
#   user      - 登录用户名（默认：root）
#   port      - SSH端口（默认：22）
#   password  - 登录密码（如不指定，需提前设置SSH免密登录）
 
# 可以定义多个主机组，按业务或环境分组
# 注意：如果主机在不同组中重复出现，只会执行一次
 
# [cpu]
# 192.168.1.106 user=root port=22 password=123456
# 192.168.1.107 user=root port=22
# 192.168.1.108
# 192.168.1.109 user=root
 
# [gpu]
# 192.168.1.110

注意事项

主机组配置：

  • 主机地址支持 IP 或域名
    • 若未指定 password，默认使用 SSH 密钥认证（优先读取 ~/.ssh/id_rsa）
  • 文件复制：
    • 远程目标路径（-d）必须为绝对路径
    • 支持保留源文件权限（自动同步源文件权限到远程文件）
  • 错误排查：
    • 开启调试模式（-v）可查看详细的 SSH 连接日志和命令执行过程
    • 若主机连接失败，检查 SSH 端口、认证方式及网络连通性

实践案例

给master主机组n台机器磁盘快速分区、格式化、挂载

# 假设master组机器/dev/sdb均为未分区磁盘
fastdp shell -a 'vgcreate vg01 /dev/sdb' master
 
master_command=(
"lvcreate -L 100G -n etcd /dev/vg01"
"lvcreate -L 3T -n data /dev/vg01"
"lvcreate -L 500G -n docker-data /dev/vg01"
"lvcreate -L 200G -n kubelet /dev/vg01"
"lvcreate -L 300G -n mnt /dev/vg01"
"lvcreate -L 500G -n mysql-data /dev/vg01"
)
for i in "${master_command[@]}";do echo "$i" ;fastdp shell -a "$i" master;done
 
fastdp shell -a 'for i in etcd data docker-data kubelet mnt mysql-data;do mkdir -p /$i &&mkfs.ext4 /dev/vg01/$i &&echo "/dev/vg01/$i /$i ext4 defaults 0 0 " >>/etc/fstab;done' master
 
fastdp shell -a 'mount -a' master

目前 fastdp 已支持 shell/copy/ping 三个核心模块，如果你有其他需求或建议，欢迎在 Gitee 仓库提 issue 交流～

仓库地址：gitee.com/zhao-pengfe…

最后求个 Star 🌟，你的支持是我继续优化的动力！

avatar
文章
阅读
粉丝