一、环境准备
1.1 硬件环境
图 1.1
其中硬盘2为共享磁盘。
根据硬件环境，下载安装DM数据库。完成安装后，不配置实例也不注册服务。
二、端口及共享存储规划
2.1 端口规划
| 业务 IP | 192.168.116.138 | 192.168.116.137 | ||
|---|---|---|---|---|
| 内部数据交换网络 IP | 192.168.116.138 | 192.168.116.137 | ||
| dmdcr_cfg | CSS | DCR_EP_NAME | CSS1 | CSS2 |
| DCR_EP_HOST | 192.168.116.138 | 192.168.116.137 | ||
| DCR_EP_PORT | 9341 | 9343 | ||
| ASM | DCR_EP_NAME | ASM1 | ASM2 | |
| DCR_EP_HOST | 192.168.116.138 | 192.168.116.137 | ||
| DCR_EP_PORT | 9351 | 9351 | ||
| DB | DCR_EP_NAME | DSC1 | DSC2 | |
| DCR_EP_PORT | 5236 | 5236 | ||
| dmasvrmal | MAL_INST_NAME | ASM0 | ASM1 | |
| MAL_HOST | 192.168.116.138 | 192.168.116.137 | ||
| MAL_PORT | 7236 | 7236 | ||
| dminit | 实例名 | DSC1 | DSC2 | |
| PORT_NUM | 5236 | 5236 | ||
| MAL_HOST | 192.168.116.138 | 192.168.116.137 | ||
| MAL_PORT | 9236 | 9236 | ||
| OGUID | 63635 |
2.2 共享存储规划
| 名称 | 拟定配置 | 分区大小 | 备注 |
|---|---|---|---|
| VOTE磁盘 | /dev/raw/raw1 | 100M | |
| DCR盘 | /dev/raw/raw2 | 100M | |
| REDO日志盘 | /dev/raw/raw3 | 2G | |
| 数据盘 | /dev/raw/raw4 | 余下空间 |
三、配置共享磁盘
3.1 新建共享磁盘
1、打开cmd进入虚拟机安装目录；
cd C:\Program Files (x86)\VMware\VMware Workstation
2、执行以下命令，创建30G的共享磁盘至指定目录；
.\vmware-vdiskmanager.exe -c -s 30G -a lsilogic -t 2 "D:\DMDSC\share\SHARE.vmdk"
3、在两个虚拟机节点设置中添加该共享磁盘，如下图示例；
图 3.1
图 3.2
图 3.3
4、两个虚拟机节点均需要修改共享磁盘的默认设置，点击“高级”进入设置，修改虚拟节点，保证两个虚拟机的设备节点不同，且需要勾选“独立”和“永久”，如下图所示；
图 3.4
图 3.5
5、在虚拟机节点一的.vmx文件，记事本打开，在尾部添加以下配置；
disk.locking = "false"
diskLib.dataCacheMaxSize = "0"
diskLib.dataCacheMaxReadAheadSize = "0"
diskLib.DataCacheMinReadAheadSize = "0"
diskLib.dataCachePageSize = "10240"
diskLib.maxUnsyncedWrites = "0"
scsi1:0.deviceType = "disk"
scsi1:1.deviceType = "disk"
scsi1:2.deviceType = "disk"
scsi1:3.deviceType = "disk"
scsi1.sharedBus = "VIRTUAL"
scsi1:2.redo = ""
scsi1.pciSlotNumber = "37"
3.2 绑定共享磁盘
本次部署准备了一块裸磁盘，需要对此磁盘分区后再进行绑定，若提供了四块裸磁盘，则无须分区。在其中一台虚拟机节点中进行操作。
1、输入fdisk /dev/sdb
2、依次输入 n –>p-> 1 ->回车-> +100M-> 回车，完成第一块磁盘划分
3、依次输入 n –>p-> 2 ->回车-> +100M-> 回车，完成第二块磁盘划分
4、依次输入 n –>p-> 3 ->回车-> + 2048M -> 回车，完成第三块磁盘划分
5、依次输入n –>p->4 ->回车->回车->回车，完成第四块磁盘划分
图 3.6
在两台虚拟机节点中绑定磁盘，执行以下命令，编辑/etc/udev/rules.d/60-raw.rules。
vim /etc/udev/rules.d/60-raw.rules
在文件中添加以下内容
ACTION=="add", KERNEL=="sdb1", RUN+="/bin/raw /dev/raw/raw1 %N"
ACTION=="add", KERNEL=="sdb2", RUN+="/bin/raw /dev/raw/raw2 %N"
ACTION=="add", KERNEL=="sdb3", RUN+="/bin/raw /dev/raw/raw3 %N"
ACTION=="add", KERNEL=="sdb4", RUN+="/bin/raw /dev/raw/raw4 %N"
ACTION=="add", KERNEL=="raw[1-4]", OWNER="dmdba", GROUP="dmdba", MODE="660"
udevadm trigger --type=devices --action=change
执行以下命令绑定设备。
/sbin/udevadm control --reload
执行以下命令识别分区。
Partprobe /dev/sdb
执行以下命令查看4个raw，需要保证两个虚拟机节点的raw后缀与次设备号一致。
raw -qa
图 3.7
注：若raw -qa无结果，重启两个虚拟机节点。
四、部署DSC
两节点使用dmdba用户执行以下命令，新建config目录存放配置文件。
mkdir -p /home/dmdba/config
4.1 配置dmdcr_cfg.ini文件
节点一配置即可，执行以下命令新建dmdcr_cfg.ini文件。
vim /home/dmdba/config/dmdcr_cfg.ini
在文件中添加以下内容。
DCR_N_GRP = 3
DCR_VTD_PATH = /dev/raw/raw1
DCR_OGUID = 63635
[GRP]
DCR_GRP_TYPE = CSS
DCR_GRP_NAME = CSS
DCR_GRP_N_EP = 2
DCR_GRP_DSKCHK_CNT = 60
[CSS]
DCR_EP_NAME = CSS1
DCR_EP_HOST = 192.168.116.138
DCR_EP_PORT = 9341
[CSS]
DCR_EP_NAME = CSS2
DCR_EP_HOST = 192.168.116.137
DCR_EP_PORT = 9341
[GRP]
DCR_GRP_TYPE = ASM
DCR_GRP_NAME = ASM
DCR_GRP_N_EP = 2
DCR_GRP_DSKCHK_CNT = 60
[ASM]
DCR_EP_NAME = ASM1
DCR_EP_SHM_KEY = 93360
DCR_EP_SHM_SIZE = 500
DCR_EP_HOST = 192.168.116.138
DCR_EP_PORT = 9351
DCR_EP_ASM_LOAD_PATH = /dev/raw
[ASM]
DCR_EP_NAME = ASM2
DCR_EP_SHM_KEY = 93361
DCR_EP_SHM_SIZE = 500
DCR_EP_HOST = 192.168.116.137
DCR_EP_PORT = 9351
DCR_EP_ASM_LOAD_PATH = /dev/raw
[GRP]
DCR_GRP_TYPE = DB
DCR_GRP_NAME = DSC
DCR_GRP_N_EP = 2
DCR_GRP_DSKCHK_CNT = 60
[DSC]
DCR_EP_NAME = DSC1
DCR_EP_SEQNO = 0
DCR_EP_PORT = 5236
DCR_CHECK_PORT = 9741
[DSC]
DCR_EP_NAME = DSC2
DCR_EP_SEQNO = 1
DCR_EP_PORT = 5236
DCR_CHECK_PORT = 9741
4.2 初始化磁盘组
在节点一中使用dmdba用户，运行以下命令进入dmasmcmd。
/home/dmdba/dmdbms/bin/dmasmcmd
运行以下命令。
create votedisk '/dev/raw/raw1' 'vote'
create dcrdisk '/dev/raw/raw2' 'dcr'
create asmdisk '/dev/raw/raw3' 'LOG'
create asmdisk '/dev/raw/raw4' 'DATA'
init dcrdisk '/dev/raw/raw2'from'/home/dmdba/config/dmdcr_cfg.ini'identified by'Jimao1017!'
init votedisk '/dev/raw/raw1'from'/home/dmdba/config/dmdcr_cfg.ini'
4.3 配置dmasvrmal.ini文件
两个节点都需要配置，执行以下命令，创建并进入dmasvrmal.ini文件。
vim /home/dmdba/config/dmasvrmal.ini
在文件中添加以下内容。
[MAL_INST1]
MAL_INST_NAME = ASM1
MAL_HOST = 192.168.116.138
MAL_PORT = 7236
[MAL_INST2]
MAL_INST_NAME = ASM2
MAL_HOST = 192.168.116.137
MAL_PORT = 7236
4.4 配置dmdcr.ini文件
两个节点都需要配置，执行以下命令，创建并进入dmdcr.ini文件。
vi /home/dmdba/config/dmdcr.ini
节点 1（DSC1） 添加以下内容：
DMDCR_PATH = /dev/raw/raw2
DMDCR_MAL_PATH =/home/dmdba/config/dmasvrmal.ini #dmasmsvr 使用的 MAL 配置文件路径
DMDCR_SEQNO = 0
#ASM 重启参数，命令行方式启动
DMDCR_ASM_RESTART_INTERVAL =10
DMDCR_ASM_STARTUP_CMD = /home/dmdba/dmdbms/bin/dmasmsvr DCR_INI=/home/dmdba/config/dmdcr.ini
#DB 重启参数，命令行方式启动
DMDCR_DB_RESTART_INTERVAL = 30
DMDCR_DB_STARTUP_CMD = /home/dmdba/dmdbms/bin/dmserver path=/home/dmdba/config/dsc1/dm.ini DCR_INI=/home/dmdba/config/dmdcr.ini
节点 2（DSC2） 添加以下内容：
DMDCR_PATH = /dev/raw/raw2
DMDCR_MAL_PATH =/home/dmdba/config/dmasvrmal.ini #dmasmsvr 使用的 MAL 配置文件路径
DMDCR_SEQNO = 1
#ASM 重启参数，命令行方式启动
DMDCR_ASM_RESTART_INTERVAL =10
DMDCR_ASM_STARTUP_CMD = /home/dmdba/dmdbms/bin/dmasmsvr DCR_INI=/home/dmdba/config/dmdcr.ini
#DB 重启参数，命令行方式启动
DMDCR_DB_RESTART_INTERVAL = 30
DMDCR_DB_STARTUP_CMD = /home/dmdba/dmdbms/bin/dmserver path=/home/dmdba/config/dsc2/dm.ini DCR_INI=/home/dmdba/config/dmdcr.ini
注意：两个节点的DMDCR_DB_STARTUP_CMD参数的路径不一样
4.5 启动DMCSS和DMASM服务
两个节点分别执行以下命令启动DMCSS服务。
/home/dmdbms/bin/dmcss DCR_INI=/home/config/dmdcr.ini
/home/dmdbms/bin/dmcss DCR_INI=/home/config/dmdcr.ini
两个节点分别执行以下命令启动DMASM服务。
/home/dmdbms/bin/dmasmsvr DCR_INI=/home/config/dmdcr.ini
/home/dmdbms/bin/dmasmsvr DCR_INI=/home/config/dmdcr.ini
若dmdcr.ini文件中配置了自动拉起DMASM服务，则无需手动拉起DMASM服务，等待自动拉起即可。当窗口提示ASM IS READY，即可进行下一步操作。
4.6 新建磁盘组
在节点一执行以下命令，启动dmasmtool工具。
/home/dmdba/dmdbms/bin/dmasmtool DCR_INI=/home/dmdba/config/dmdcr.ini
执行以下命令，创建共享日志盘和共享数据盘。
create diskgroup 'DMLOG' asmdisk '/dev/raw/raw3'
create diskgroup 'DMDATA' asmdisk '/dev/raw/raw4'
4.7 配置实例文件并初始化
在节点一执行以下命令，创建并进入dminit文件。
vim /home/dmdba/config/dminit.ini
在文件中添加以下内容。
db_name = DSC
SYSDBA_PWD ='Jimao1017'
SYSAUDITOR_PWD ='Jimao1017'
system_path = +DMDATA/data
System = +DMDATA/data/dsc/system.dbf
system_size = 128
roll = +DMDATA/data/dsc/roll.dbf
roll_size = 128
main = +DMDATA/data/dsc/main.dbf
main_size = 128
ctl_path = +DMDATA/data/dsc/dm.ctl
ctl_size = 8
log_size = 256
dcr_path = /dev/raw/raw2 #dcr磁盘路径，目前不支持asm，只能是裸设备
dcr_seqno = 0
auto_overwrite = 1
charset =1 #字符集为utf8
page_size =32
[DSC1] #inst_name跟dmdcr_cfg.ini中DB类型group中DCR_EP_NAME对应
config_path = /home/dmdba/config/dsc1
port_num = 5236
mal_host = 192.168.116.138
mal_port = 9236
log_path = +DMLOG/log/dsc1_log01.log
log_path = +DMLOG/log/dsc1_log02.log
[DSC2] #inst_name跟dmdcr_cfg.ini中DB类型group中DCR_EP_NAME对应
config_path = /home/dmdba/config/dsc2
port_num = 5236
mal_host = 192.168.116.137
mal_port = 9236
log_path = +DMLOG/log/dsc2_log01.log
log_path = +DMLOG/log/dsc2_log02.log
执行以下命令，初始化实例。
/home/dmdba/dmdbms/dminit control=/home/dmdba/config/dminit.ini
初始化完成，如图所示。
图4.1
执行以下命令，复制dsc2实例至节点二。
scp -r /home/dmdba/config/dsc2 dmdba@192.168.116.137:/home/dmdba/config
4.8 启动数据库服务
两个节点分别执行以下命令启动数据库服务。
/home/dmdba/dmdbms/bin/dmserver path=/home/dmdba/config/dsc1/dm.ini DCR_INI=/home/dmdba/config/dmdcr.ini
/home/dmdba/dmdbms/bin/dmserver path=/home/dmdba/config/dsc2/dm.ini DCR_INI=/home/dmdba/config/dmdcr.ini
若dmdcr.ini文件中配置了数据库服务自动拉起，则等待自动拉起即可。
五、配置监视器
5.1 配置监视器文件dmcssm.ini
执行以下命令，创建并进入dmcssm.ini文件。
vim /home/config/dmcssm.ini
文件中添加以下内容。
#和 dmdcr_cfg.ini 中的 DCR_OGUID 保持一致
CSSM_OGUID = 63635
#配置所有 CSS 的连接信息，
#和 dmdcr_cfg.ini 中 CSS 配置项的 DCR_EP_HOST 和 DCR_EP_PORT 保持一致
CSSM_CSS_IP = 192.168.116.138:9341
CSSM_CSS_IP = 192.168.116.137:9343
CSSM_LOG_PATH =/home/dmdba/dmdbms/log#监视器日志文件存放路径
CSSM_LOG_FILE_SIZE = 32 #每个日志文件最大 32M
CSSM_LOG_SPACE_LIMIT = 0 #不限定日志文件总占用空间
5.2 运行监视器
执行以下命令，运行监视器。
/home/dmdba/dmdbms/bin/dmcssm INI_PATH=/home/dmdba/config/dmcssm.ini
六、注册所有服务后台启动
使用root用户。
节点一执行以下命令，分别注册DMCSS服务、DMASM服务和数据库服务。
/home/dmdba/dmdbms/script/root/dm_service_installer.sh -t dmcss -p css1 -dcr_ini /home/dmdba/config/dmdcr.ini
/home/dmdba/dmdbms/script/root/dm_service_installer.sh -t dmasmsvr -p asm1 -dcr_ini /home/dmdba/config/dmdcr.ini -y DmCSSServicecss1
/home/dmdba/dmdbms/script/root/dm_service_installer.sh -t dmserver -p dsc1 -dm_ini /home/dmdba/config/dsc1/dm.ini -dcr_ini /home/dmdba/config/dmdcr.ini -y DmASMSvrServiceasm1
节点一执行以下命令，分别注册DMCSS服务、DMASM服务和数据库服务。
/home/dmdba/dmdbms/script/root/dm_service_installer.sh -t dmcss -p css2 -dcr_ini /home/dmdba/config/dmdcr.ini
/home/dmdba/dmdbms/script/root/dm_service_installer.sh -t dmasmsvr -p asm2 -dcr_ini /home/dmdba/config/dmdcr.ini -y DmCSSServicecss2
/home/dmdba/dmdbms/script/root/dm_service_installer.sh -t dmserver -p dsc2 -dm_ini /home/dmdba/config/dsc2/dm.ini -dcr_ini /home/dmdba/config/dmdcr.ini -y DmASMSvrServiceasm2
七、集群状态
在监视器中输入show，可以观察集群的状态，如图所示。
以下为DMCSS服务集群。
图 7.1
以下为DMASM服务集群。
图 7.2
以下为数据库服务集群。
图 7.3
可以观察到三个服务集群均正常运行中。
八、总结
DMDSC集群允许多个数据库实例同时访问、操作同一个数据库，具有高可用、高性能、负载均衡等特性。并支持故障自动切换和故障自动重加入，某一个数据库实例故障后，不会导致数据库服务无法提供。此处与主备数据守护集群是十分相似的，但两者实现的原理是不同的。
DMDSC集群是一个多实例，单数据库的系统。每一个实例在DMDSC中类似于每一个“使用者”，所有“使用者”访问、操作的数据都是同一份，存储在共享磁盘中。这会引发另一个问题——数据冲突，若两个实例操作同时操作同一份数据，会造成资源争夺，封锁冲突的情况。DM采用了独特的封锁机制去处理这种冲突——TID锁和对象锁。
TID锁以事务号为封锁对象，每个事务启动时，自动以独占（X）方式对当前事务号进行封锁，由于事务号时全局唯一的，因此这把TID锁不存在冲突，总是可用封锁成功。
对象锁则通过对象ID进行封锁，将对数据自动的封锁和表锁合并为对象锁。
同时，DMDSC集群将封锁管理拆分为全局封锁服务（GLS）和本地封锁服务（LLS）。整个系统中，只有控制节点拥有一个GLS。控制节点的GLS统一处理集群中所有节点的封锁请求、维护全局封锁信息、进行死锁检测，确保事务并发访问的正确性。每个节点都有一个LLS。各节点的LLS负责与GLS协调、通讯，完成事务的封锁请求。DMDSC集群中所有封锁请求都需要通过LLS向GLS发起，并获得GLS授权后，才能进行后续操作。
主备守护集群则是有多个数据库，每次只有一个“主库”提供数据库服务，其他的数据库被称为“备库”。当“主库”出现故障时，一个已经完成了日志重演，完整的“备库”会立即顶上，提供数据库服务，原“主库”故障恢复后，进行故障恢复处理，以“备库”方式重新加入集群。“主库”与“备库”之间通过REDO日志进行数据库的同步。
因此两个集群之间各有优劣，DMDSC集群占用的磁盘空间更少，当用户连接DMDSC时，连接请求会被自动、平均分配到各个节点中，做到负载均衡。同时集群中多个数据库实例访问独立的处理器、内容，数据库实例之间通过缓存交换技术提升共享数据的访问速度，有更高的数据吞吐量。但由于DMDSC集群增加了GLS和LLS，当某一实例需要访问或操作共享存储磁盘中的数据时，LLS都会向GLS发送请求，GLS也会响应LLS的请求，这一部分的花销是较大的，会影响DMDSC集群的性能，因此对硬件和网络的要求较高。
主备守护集群中若开启了“事务一致”模式，则每一个正常节点都拥有完整的数据，若开启“高性能”模式，则“主库”与“备库”会有部分的数据同步延迟，导致部分数据差异，但是差异量不会很大，因此占用的磁盘空间更大，但的也由于每个节点的数据都拥有完整或几乎完整的数据，在容灾方面表现得更出色。
注：DM的单机版也有TID锁和对象锁的机制。
