3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

487 阅读17分钟

我们通常讲的“超融合(HCI)”是一种云平台基础架构方案,它无需专用的存储设备, 每台服务器既承担计算又存储数据, 只需增加服务器,即可等效提升计算+存储性能。是性能最强、性价比最高的一种方案。

本文将介绍搭建超融合云平台,并且平滑替代Vmware虚拟化的详细方案,以StarVCenter超融合软件为例演示具体搭建过程,本方案采用3台服务器初始搭建,后续按需添加服务器即可。

目录

1 准备工作... 1-2

1.1          获取安装镜像... 1-2

1.2          准备硬件... 1-2

1.3          网络布线与IP规划... 1-3

2 安装操作系统... 2-5

2.1          开启虚拟化支持... 2-5

2.2          选择安装类型... 2-5

2.3          选择系统磁盘... 2-6

2.4          配置主机名、IP. 2-6

3 部署集群... 3-8

3.1          配置分布式存储... 3-10

3.2          指定网卡用途... 3-11

3.3          配置镜像存储... 3-11

3.4          配置数据库集群... 3-12

3.5          配置管控集群... 3-13

3.6          一键部署... 3-13

3.7          验证安装结果... 3-14

4 资源初始化... 4-15

4.1          初始化IP地址池... 4-15

4.2          初始化模板库... 4-16

5 创建虚拟机... 5-17

5.1          创建虚拟机(克隆) 5-17

5.2          跨主机迁移... 5-19

5.3          迁入虚拟机... 5-21

6 附录... 6-25

6.1          刻录安装U盘方法... 6-25

6.2          扩充节点方法... 6-26

 

1      准备工作

1.1     获取安装镜像

从StarVCenter官网(www.starvcs.com),点击官网下载,进入下载目录:starvcs.com/download/St…

选择最新版本下载:starve4-x86_64-StarVCenter-enterprise-xx.iso

验证其md5码以确保文件没损坏,然后刻录成光盘或U盘,如果只是体验安装过程,你可以选择用在虚拟机中安装StarVCetner,也就不需要刻录了。

刻录U盘方法,见附录:刻录安装U盘方法

1.2     准备硬件

“超融合”部署最小硬件要求如下:

服务器>=3台,每台服务器最小配置为:4核、13GB内存、>=1块网卡(>=1Gb/s)、>=2块硬盘(单盘>=100GB)。

提示: 按最小硬件配置只能保证安装部署成功,大家体验验证过程可选择规格高一些的硬件,以获得更好的体验。

本示例采用的3台服务器配置如下表:

服务器规格说明
CPU24核支持虚拟化VT
内存64GB 
网卡1块千兆网卡(1Gb/s);1块万兆网卡(10Gb/s); 
磁盘4块sas HDD硬盘(960GB);2块sas HDD硬盘(580GB);1块sata SSD硬盘(480GB);(1)第1块960GB硬盘用作系统盘;(2)本示例采用超融合部署,3块960GB硬盘和2块580GB硬盘用作分布式存储数据盘,1块SSD硬盘用作缓存盘。提示: 若部署期间不选择使用的磁盘,在部署完成后,可在存储池页面添加为本地localfile存储。

解释说明:

***** 为何须万兆网: 超融合平台所有虚拟机的磁盘I/O数据都须通过网络传送到指定节点上保存,万兆以下扛不住。****

*缓存盘是什么: N倍速于数据盘的固态硬盘,配有缓存盘时,虚拟机磁盘I/O将直接落盘于缓存盘即完成I/O,并在后台转移到数据盘,可提升存储性能。

*硬盘是否配raid: 其中缓存盘和数据盘须作为独立盘被操作系统识别,因此可配置为raid直通或单盘raid0。

提示: 上表中网卡和磁盘的用途在后续部署界面上可灵活地选择。

实际生产部署中,根据不同情形,可参考官网硬件配置建议:

生产环境硬件配置建议:

www.starvcs.com/doc/vcenter…

企业级超融合部署方案(参考):

www.starvcs.com/doc/vcenter…

1.3     网络布线与IP规划

说明: 平台对网络的需求有三种, 管理网是访问管理界面管理各节点的网,业务网是访问虚拟机中业务应用的网,存储网是虚拟机磁盘I/O的传输网。系统默认将管理网、业务网、存储网放在同一物理网卡线路上。

本方案采用独立的万兆网作存储网,将千兆网卡接到千兆交换机上、万兆网卡接到万兆交换机上,网络拓扑如下图所示:

image.png

思考: 从安全和高可用的角度看,三种网络各用两台交换机做双冗余最佳;从成本和简单的角度看,只用一台交换机接1个网口也能跑。

 

IP地址规划:

为了避免物理机和虚拟机IP冲突,通常将管理网和业务网的IP地址段分开。

类型IP 地址用途
管理网27.196.220.31-33安装系统时配在3台服务器的管理网卡上
27.196.220.10管控集群浮动IP
27.196.220.11数据库集群浮动IP
27.196.220.101-120(可选)部署完成后,从管理界面录入IP地址池备用,这是使用VPC私网、对象存储、文件存储等功能的前提条件。
业务网192.168.10.1-100部署完成后,从管理界面录入IP地址池备用,创建虚拟机通常需要分配这些IP。
存储网默认后台自动分配,无须关心

 

 

2      安装操作系统

下面我们使用之前刻录的安装盘,分别在3台服务器上进行引导安装。

2.1     开启虚拟化支持

用于部署StarVCenter的服务器需要开启CPU虚拟化支持(在bios中设置,同时选择从U盘启动)。

若在Vmware workstation虚拟机中体验安装本系统( 实际使用时,请在物理服务器上安装 ),则创建虚拟机时须在 “处理器”中勾选“虚拟化”支持。

进入系统安装引导界面后,选择“Install StarVE”,按回车键。

注意: 若在ESXI的虚拟机中体验安装本系统,请允许“混杂模式”和“MAC地址修改”,否则IP将无法访问。

2.2     选择安装类型

点击【SOFTWARE SELECTION】进入软件选择界面:

(说明: 部署节点安装完成后,可通过浏览器打开“ http:// 部署节点ip:9000 ”,从部署界面添加多台‘Basic节点’,并将这些节点以“多管控节点集群”的模式批量部署)。

我们将第一台服务器作为部署节点,选择“Deployment node”类型,第二、三台节点,都选择“Basic node”类型。

第一台节点选择,如下图:

image.png

第二、三台节点选择,如下图:

image.png

点击【Done】铵钮确认选择。

2.3     选择系统磁盘

点击【INSTALLATION DESTINATION】选项,选择第一块磁盘作为系盘,点击【Done】按钮确认选择,如下图:

image.png

2.4     配置主机名、IP

1.配置主机名

我们将三台服务器的主机名配置为starve001、starve002、starve003。

点击【NETWORK & HOSTNAME】,打开配置界面,在“Host name”栏输入主机名。

2.配置IP地址

(提示:这里配置1个IP即可。集群部署期间,此IP将被默认识别为管理网IP,自动移植到管理网网桥‘br-mgmt’上。)

我们将三台服务器的IP配置为27.196.220.31、27.196.220.32、27.196.220.33。

注意: 这里的IP是管理网的IP,按上文网络布线规划,此处选择已接线的千兆网口)

(1)点击【Configure】按钮,选择【IPv4 Settings】,将“Method”设置为【Manual】。

(2)点击【add】,输入IP、掩码、网关,点击【Save】,如下图:

image.png (3)点击右侧滑块启用网卡,使其从“OFF”变为“ON”,然后点击【Done】按钮进行确认,如下图:

image.png 点击【Done】按钮回到主页面,点击“Begin Installation”按钮开始部署。

点击“ROOT PASSWORD”,设置root账户密码。

约需要10分钟完成安装,安装完成后,点击“reboot”重启系统。

按照上述方法完成所有服务器的操作系统安装,并确保所有服务器之间IP互通。

3      部署集群

通过浏览器(推荐Google Chrome)打开WEB部署界面,访问地址为:

http://部署节点IP地址:9000,实际为:http://27.196.220.31:9000,如下图:

image.png 点击【开始】进入“添加主机”页面,我们将3台服务器都加进来,输入起始IP为27.196.220.31,结束IP为27.196.220.33,如下图:

image.png 说明:确认所有服务器之间IP地址互通,再添加主机。

请将所有服务器添加至部署界面,并且确保“管理网IP”栏中所有节点状态均为在线(图标为绿色),如下图:

image.png

3.1     配置分布式存储

在顶部导航栏中点击【配置分布式存储】,进入配置界面,如下图:

image.png 说明:系统将自动检测硬件是否满足超融合部署条件,上图中看到绿色框中的‘满足’字样表示满足条件。系统默认自动选择磁盘用途,绿色的表示固态盘,可点击右侧“配置磁盘”按钮按预先规划选择磁盘用途,最后点击“确定”即选择超融合部署。

3.2     指定网卡用途

在顶部导航栏中点击【指定网卡用途】,进入配置界面,系统默认选择当前IP所在的网卡充当所有网络用途,若只使用单网口则直接点击“确定”即可,如下图:

image.png 本方案中,在上图中勾选服务器,点击“配置”按钮,打开网卡用途配置页面,选用万兆网卡作为存储网,千兆网卡作为管理网和业务网,如下图:

image.png

3.3     配置镜像存储

在顶部导航栏中点击【配置镜像存储】进入辅存配置界面。

系统将自动选中默认配置,直接点击“确定”按钮即可,如下图:

image.png

3.4     配置数据库集群

在顶部导航栏中点击【配置数据库集群】,进入配置界面。

系统将自动选中数据库集群的默认配置,此处需要输入数据库集群浮动IP地址(此IP必须与数据库主、备节点IP互通),此处为27.196.220.11,然后点击“确定”按钮即可,如下图:

image.png

3.5     配置管控集群

点击顶部导航栏中【配置管控集群】,进入配置界面:

系统将自动选择管控集群节点,此处需要输入管控集群浮动IP地址(此IP必须与所有管控集群节点IP互通),此处为27.196.220.10,之后点击“确定”按钮即可,如下图:

image.png

3.6     一键部署

点击顶部导航栏中“一键部署”,进入部署界面,点击“开始一键部署”按钮开始执行部署,如下图:

注意:此处建议配置标准钟源地址,若无可用时钟源,务必确保镜像存储节点的系统时钟与标准时间一致。

等待部署完成后,界面将显示系统的访问地址,如下图:

image.png

3.7     验证安装结果

在部署完成界面点击“访问链接地址”打开管理界面(推荐Google Chrome),如下图:

image.png 注意: 2023年6月之后发布的版本,所有账号默认密码统一改为Svc*2009

默认业务操作员账号为:user/user 

默认系统管理员账号为:admin/admin

这里通过账号user登录进入系统,在“资源管理”>“存储”菜单中能看到已构建完成的CEPH存储,如下图:

image.png

4      资源初始化

4.1     初始化IP地址池

按照上文IP规划,此处必须录入业务网IP段(用于虚拟机的IP分配),可选地录入管理网IP段(用于vpc私网、对象存储、文件存储等的后台地址分配)。操作方法:进入“资源管理”>“网络池”菜单,选择“IP地址池”选项,点击“新增IP”按钮,如下图:

image.png 注意:

录入业务网IP应选择‘默认子网’

录入管理网IP应选择‘默认管理网’

4.2     初始化模板库

StarVCenter的官网提供通用的虚拟机模板镜像供用户下载,如下图:

image.png 我们可以将需要用到的虚拟机模板下载到本地电脑,再上传到模板镜像库中。操作方法:进入“资源池管理”>“模板镜像库”菜单,点击“上传模板”按钮,选择下载的模板文件,选择对应操作系统,点击“确定”按钮开始上传,如下图:

image.png 说明:若StarVCenter官网模板库未提供你想要的模板,你也可以自己上传ISO光盘镜像,然后在“创建虚拟机”时选择“全新安装”的方式自定义安装制作虚拟机模板,详见www.starvcs.com/doc/vcenter…

5      创建虚拟机

到此为止,我们就可以通过StarVCenter随心所欲地创建虚拟机了。

5.1     创建虚拟机(克隆)

进入“云组件管理”>“虚拟机”菜单,点击“创建虚拟机”按钮,如下图:

image.png

在弹出框中输入虚拟机名称,其它选择默认第一个选项,如下图:

image.png 点击“下一步”按钮,选择CPU、内存、网卡规格等,如下图:

image.png  

继续点击“下一步”按钮,确认虚拟机配置,然后点击“开始创建”按钮,系统开始创建虚拟机,大约需要几秒到几十秒完成创建。

进入“放醋fc云组单中能看到刚创建的虚拟机,点击右侧操作栏的“启动”按钮,启动虚拟机。等虚拟机变成“运行”状态后 ,点击“连接”按钮可打开虚拟机的控制台,如下图:

image.png 虚拟机控制台打开后,输入模板默认账号密码root/Svc*2009登录操作系统(注意不同系统管理员账号有差异,详见官网虚拟机模板目录下的:模板镜像默认账号.png),然后执行“ip a”命令,查看到IP地址已自动配置好,如下图所示:

image.png

5.2     跨主机迁移

超融合部署的存会对所有节点都是共享的,因此虚拟机可以随意地在各个计算节点之间迁移,这种迁移不需要停止虚拟机,对虚拟机来说是无感知的。

我们来试一试迁移操作,在“虚拟机列表”右侧操作栏中点击“下拉”框,选择“跨主机迁移”,如下图:

image.png 在弹出框中就可以选择迁移到哪台计算节点上,此处我们选择迁移到starve002节点,点击“确定”按钮开始迁移,如下图: image.png

迁移完成后,可以看到虚拟机的宿主机变成“starve002”节点,如下图:

image.png

5.3     迁入虚拟机

将第三方平台(如VMware、阿里云等)的虚拟机或物理机及系统,整体迁移转换为本平台的虚拟机(期间源端业务不停机)。这里演示VMware中的windows虚拟机迁入本平台,首先进入“虚拟机管理>迁入虚拟机”菜单,如下图: image.png

首次使用需先安装迁移插件,在上图中点击“安装插件”按钮。若当前平台能通互联网则选择“自动下载并安装”选项。若不通互联网,则先找能上网的电脑按页面提示的地址下载,然后选择“人工下载后上传安装”选项。

安装完成后,上图中“安装插件”铵钮将变为“进入迁移管理”,点击该按钮后打开“迁移任务”页面,如下图所示:

image.png 在上图中点击“创建迁移任务”按钮,打开创建迁移任务窗口,按照导航执行以下几步:

(1)选择目标主机要放在StarVCenter的哪个子网中,如图所示:

image.png

(2)添加源主机, 完成后点击“下一步”,如下图所示:

说明:迁移windows虚拟机时,需要在被迁移的windows虚拟机中安装迁移代理,而linux虚拟机无须安装迁移代理。对于VMware中的虚拟机,迁移之前强列建议迁移前先卸载VMware Tools。

image.png (3)选择主标主机放在哪个存储中,点击“下一步”,如下图所示:

image.png (4) 配置迁移参数页面直接点下一步,确认信息后,创建任务,如下图所示:

image.png 等待任务进度开始后,就可以在StarVCenter中看到迁移迁移任务自动创建的虚拟机,如下图所示:

image.png 等待任务进度完成后,源主机中的数据就完整复制到目标虚拟机中了。

(5)业务切换

由于迁移期间源主机中的业务并未停止,业务数据仍在变化。因此业务切换到目标主机须执行以下几步:

1)先关停源主机中的业务,确保无数据增长后,在迁移任务的操作栏点击“结束”按钮完成迁移任务。

2)源主机关机或断网。

3)在StarVCenter中找到目标虚拟机并启动。

(6)安装驱动****

针对源主机为非KVM平台的windows虚拟机、windows物理机的情形,其网卡和磁盘驱动不兼容,需参考windows更新驱动完成更新。

安装QGA,为目标虚拟机提供个性化组件,便于系统主机名、IP的自动化配置和管理,windows参考windows QGA安装,linux参考linux QGA安装

到此为止,相信大家已经可以随意地管理操控虚拟机了。

当这套3节点环境资源不够时,我们可以扩充更多的计算节点,不断提升集群的计算和存储能力,操作方法见附录-“ 扩充计算节点方法 ”。

6      附录

6.1     刻录安装U盘方法

推荐使用Rufus刻录安装盘,工具获取地址:rufus.ie/。打开rufus,如下图:

image.png 在“设备”栏,软件会自动识别当前系统的U盘,选择需要刻录的U盘。再点击“选择”按钮,选择已经下载的ISO文件。其他设置保持系统默认,再点击【开始】:

image.png 选择“以ISO镜像模式写入(推荐)”,再点击【OK】,开始刻录。

6.2     扩充节点方法

当资源池中算力不够时,可以通过扩充计算节点的方式加入全新的服务器。首先需要在新的服务器上安装StarVE操作系统(参照上文件安装操作系统方法),在操作系统安装主界面选择安装类型为 “Basic node”,如下图:

image.png 另外,主机名不能重复,IP地址能与之前安装的服务器所设置的IP互通即可。进度走完,点击“reboot”完成系统重启。

进入之前安装的StarVCenter管理界面,在“资源管理”>“扩充计算节点”菜单下依次执行“添加节点”、选择“扩充超融合节点”、“配置网卡与磁盘用途”、“一键部署”即可,如下图:

image.png 部署成功后,在“资源管理”>“物理主机”列表中可找到刚部署的主机,此时扩充的物理主机就可以运行虚拟机了。