docs.ceph.org.cn/install/man… #简要部署过程
部署方式介绍
安装方式
- ceph-ansible：github.com/ceph/ceph-a… #python
- ceph-salt：github.com/ceph/ceph-s… #python
- ceph-container：github.com/ceph/ceph-c… #shell
- ceph-chef：github.com/ceph/ceph-c… #Ruby
- cephadm: docs.ceph.com/en/latest/c… #ceph 官方在 ceph 15 版本加入的
- 容器 或者 k8s
- ceph-deploy：github.com/ceph/ceph-d… #python2开发的 官方维护的 已经不维护了
ceph-deploy
是一个 ceph 官方维护的基于 ceph-deploy 命令行部署 ceph 集群的工具。
基于 ssh 执行可以 sudo 权限的 shell 命令以及一些 python 脚本 实现 ceph 集群的部署和管理维护。
Ceph-deploy 只用于部署和管理 ceph 集群，客户端需要访问 ceph，需要部署客户端工具
软件版本选择
服务器准备
机器规划 & 操作系统
Ceph 分布式存储集群规划原则/目标
- 较低的 TCO (Total Cost of Ownership,总拥有成本)
- 使用廉价的 X86 服务器。
- 较高的 IOPS (Input/Output Operations Per Second,每秒可完成的读写次数)
- 使用 SSD/PCI-E SSD/NVMe 硬盘提高存储集群数据以提高读写性能。
- 较大的存储空间
- 使用单块 2T/4T 或更大容量的磁盘，提高单台服务器的总空间，节省服务器总数，降低机柜使用量。
- 较快的网络吞吐
- 使用 10G、40G、100G 或更快的光纤网络
- 更好的数据冗余
- 数据可以以三副本机制分别保存到不同的主机，宕机 2 台也不会丢失数据。
服务器硬件选型
docs.ceph.org.cn/start/hardw… #官方硬件推荐
monitor、mgr、radosgw
- 4C 8G~16G(小型，专用虚拟机)
- 8C 16G~32G(中型，专用虚拟机)
- 16C-32C 32G~64G(大型/超大型，专用物理机)
MDS(相对配置更高一个等级)
- 8C 8G～16G(小型，专用虚拟机)
- 16C 16G～32G(中型，专用虚拟机)
- 32C-64C 64G~96G(大型、超大型，物理机)
OSD 节点
CPU
每个 OSD 进程至少有一个 CPU 核心或以上，
比如服务器一共 2 颗 CPU 每个 12 核心 24线程，那么服务器总计有 48 核心 CPU，这样最多最多最多可以放 48 块磁盘
要求:
(物理 CPU 数量*每颗 CPU 核心)/OSD 磁盘数量 >= 1
也就是 每 个OSD占用的CPU 核心 >= 1 核心 CPU
OSD 节点内存
OSD 硬盘空间在 2T 或以内的时候每个硬盘 2G 内存，4T 的空间每个 OSD 磁盘 4G 内存， 即大约每 1T 的磁盘空间(最少)分配 1G 的内存空间做数据读写缓存。
要求: (总内存/OSD 磁盘总空间)= X > 1G 内存
比如： (总内存 128G/36T 磁盘总空间 )= 3G/每 T > 1G 内存
ceph 集群规划图
部署环境
172.31.6.106/192.168.6.106
172.31.6.107/192.168.6.107
172.31.6.108/192.168.6.108
172.31.6.109/192.168.6.109
