Rocky Linux 9 部署Ceph集群完整指南
1. 系统准备（所有节点执行）
1.1 安全设置
# 关闭SELINUX
sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
1.2 设置主机名
# 在对应节点执行
hostnamectl set-hostname ceph-202 # 172.16.40.160
hostnamectl set-hostname ceph-203 # 172.16.40.161
hostnamectl set-hostname ceph-204 # 172.16.40.162
bash
1.3 时间同步配置
# NTP服务器节点 (ceph-202) 配置
vi /etc/chrony.conf
# 添加：
allow 172.16.40.0/24
# 客户端节点配置
vi /etc/chrony.conf
# 添加：
pool 172.16.40.160 iburst
# 所有节点重启服务
systemctl restart chronyd.service
chronyc sources # 验证同步状态
date
1.4 SSH配置
vim /etc/ssh/sshd_config
# 修改：
PermitRootLogin yes
systemctl restart sshd
1.5 主机名解析
vim /etc/hosts
# 添加：
172.16.40.160 ceph-202
172.16.40.161 ceph-203
172.16.40.162 ceph-204
2. Ceph安装（管理节点 ceph-202）
2.1 安装Ceph仓库和工具
dnf search release-ceph
dnf install --assumeyes centos-release-ceph-squid
dnf install --assumeyes cephadm
# 或者使用curl下载指定版本
CEPH_RELEASE=18.2.0
curl --silent --remote-name --location https://download.ceph.com/rpm-${CEPH_RELEASE}/el9/noarch/cephadm
chmod +x cephadm
# 添加EPEL GPG密钥
curl -o /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-9 https://dl.fedoraproject.org/pub/epel/RPM-GPG-KEY-EPEL-9
# 添加Ceph仓库
./cephadm add-repo --release 18.2.0
./cephadm install
2.2 安装依赖
yum install -y python3-jinja2
yum install ceph-common-18.2.0 -y # 补全命令
3. 集群初始化（管理节点）
3.1 引导集群
cephadm bootstrap --mon-ip 172.16.40.160
记录输出的凭据：
- URL: https://ceph-202:8443/
- User: admin
- Password: li9na79ztg
3.2 配置SSH免密访问
ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph-203
ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph-204
4. 集群扩展
4.1 添加主机标签
ceph orch host label add ceph-202 _admin
ceph orch host label add ceph-203 _admin
ceph orch host label add ceph-204 _admin
4.2 添加集群节点
ceph orch host add ceph-203 172.16.40.161
ceph orch host add ceph-204 172.16.40.162
4.3 添加存储设备
自动添加所有可用磁盘：
ceph orch apply osd --all-available-devices
手动指定磁盘：
ceph orch daemon add osd ceph-202:/dev/sdb
ceph orch daemon add osd ceph-203:/dev/sdb
ceph orch daemon add osd ceph-204:/dev/sdb
4.4 添加Monitor服务
ceph orch daemon add mon ceph-203
ceph orch daemon add mon ceph-204
4.5 创建文件系统
ceph fs volume create cephfs --placement=3
5. 客户端挂载
5.1 客户端安装软件
yum -y install ceph-fuse
5.2 复制配置文件
在管理节点执行：
cd /etc/ceph
scp /etc/ceph/* root@172.16.40.161:/etc/ceph/
5.3 挂载文件系统
mkdir -p /abc
ceph-fuse -m 172.16.40.160:6789 /abc -n client.admin --keyring=/etc/ceph/ceph.client.admin.keyring
6. 故障排查命令
6.1 集群状态检查
ceph status # 集群整体状态
ceph health # 健康状态
ceph orch host ls # 主机列表
ceph orch ls # 服务列表
ceph osd tree # OSD树状图
ceph df # 存储空间使用情况
6.2 服务管理
ceph orch ps # 查看所有守护进程
ceph mgr module ls # 管理模块列表
ceph versions # 各组件版本信息
6.3 日志查看
ceph logs # 查看集群日志
cephadm logs # 查看cephadm日志
注意事项
- 网络要求：确保所有节点间网络通畅，防火墙已关闭
- 时间同步：集群节点间时间差不能超过0.05秒
- 磁盘准备：确保用于OSD的磁盘没有文件系统或分区
- 资源要求：Monitor节点需要足够内存，建议至少4GB
- Web界面：通过https://ceph-202:8443 访问管理界面，首次登录建议修改默认密码
