共计 10163 个字符,预计需要花费 26 分钟才能阅读完成。
DM7 数据复制中数据库级复制的原理及用法是什么,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。
DM 的数据复制可以在表级,模式级和库级进行配置,表级复制因为不能同步 DDL,所以必须要求主从段表的结构必须完全一致。本篇我们看下数据库级数据复制的配置过程。
下面举一个简单的例子来说明数据复制的配置。
1. 准备工作
参与复制的复制实例的信息如下表所示。
数据库 实例名 IP 地址 数据库端口号 MAL 端口号 文件目录
复制数据库 jydm 10.10.10.180 5236 5241 /dm_home/dmdba/dmdbms/data/
主数据库 hy 10.10.10.184 5236 5242 /dm_home/dmdba/dmdbms/data/
从数据库 wy 10.10.10.185 5236 5243 /dm_home/dmdba/dmdbms/data/
假设主数据库上存在 hy 用户,从数据库上存在 wy 用户,现需要创建一个主数据库上的 hy 用户到从数据库上 wy 用户的同步复制关系,其名称为 REPHY2WY。
2. 参数设置
修改 3 台 DM 数据库的 dm.ini 文件,添加如下内容:
数据库 dm.ini 设置
复制数据库 INSTANCE_NAME = jydm
PORT_NUM = 5236
MAL_INI = 1
主数据库 INSTANCE_NAME = hy
PORT_NUM = 5236
MAL_INI = 1
从数据库 INSTANCE_NAME = wy
PORT_NUM = 5236
MAL_INI = 1
配置 dmmal.ini 文件
修改 dmmal.ini 文件,添加如下内容。Dmmal 配置文件默认没有,可以从示例目录下复制过来修改。
[root@shard1 ini_script]# pwd
/dm_home/dmdba/dmdbms/samples/ini_script
[root@shard1 ini_script]# ls -lrt
总用量 48
-rwxr-xr-x 1 dmdba dinstall 890 2 月 14 2019 dmarch_example.ini
-rwxr-xr-x 1 dmdba dinstall 1966 2 月 14 2019 dmdcr_cfg_example.ini
-rwxr-xr-x 1 dmdba dinstall 631 2 月 14 2019 dmdcr_example.ini
-rwxr-xr-x 1 dmdba dinstall 1537 2 月 14 2019 dminit_example.ini
-rwxr-xr-x 1 dmdba dinstall 2070 2 月 14 2019 dmmal_example.ini
-rwxr-xr-x 1 dmdba dinstall 1277 2 月 14 2019 dmmonitor_example.ini
-rwxr-xr-x 1 dmdba dinstall 288 2 月 14 2019 dmmpp_example.ini
-rwxr-xr-x 1 dmdba dinstall 1679 2 月 14 2019 dmtimer_example.ini
-rwxr-xr-x 1 dmdba dinstall 1241 2 月 14 2019 dmwatch_example.ini
-rwxr-xr-x 1 dmdba dinstall 2146 2 月 14 2019 dmwatcher_example.ini
-rwxr-xr-x 1 dmdba dinstall 522 2 月 14 2019 dmwmon_example.ini
-rwxr-xr-x 1 dmdba dinstall 636 2 月 14 2019 sqllog_example.ini
在每个数据库服务器上创建一个 dmmal.ini 文件,每个 dmmal.ini 配置必须一致:
MAL_CHECK_INTERVAL = 5
MAL_CONN_FAIL_INTERVAL = 5
[MAL_jydm]
MAL_INST_NAME = jydm
MAL_HOST = 10.10.10.180
MAL_PORT = 5241
MAL_INST_PORT = 5236
MAL_INST_HOST = 10.10.10.180
[MAL_hy]
MAL_INST_NAME = hy
MAL_HOST = 10.10.10.184
MAL_PORT = 5242
MAL_INST_PORT = 5236
MAL_INST_HOST = 10.10.10.184
[MAL_wy]
MAL_INST_NAME =wy
MAL_HOST = 10.10.10.185
MAL_PORT = 5243
MAL_INST_PORT = 5236
MAL_INST_HOST =10.10.10.185
[dmdba@shard1 jydm]$ cat dmmal.ini
MAL_CHECK_INTERVAL = 5
MAL_CONN_FAIL_INTERVAL = 5
[MAL_jydm]
MAL_INST_NAME = jydm
MAL_HOST = 10.10.10.180
MAL_PORT = 5241
MAL_INST_PORT = 5236
MAL_INST_HOST = 10.10.10.180
[MAL_hy]
MAL_INST_NAME = hy
MAL_HOST = 10.10.10.184
MAL_PORT = 5242
MAL_INST_PORT = 5236
MAL_INST_HOST = 10.10.10.184
[MAL_wy]
MAL_INST_NAME =wy
MAL_HOST = 10.10.10.185
MAL_PORT = 5243
MAL_INST_PORT = 5236
MAL_INST_HOST =10.10.10.185
[dmdba@jydm2 hy]$ cat dmmal.ini
MAL_CHECK_INTERVAL = 5
MAL_CONN_FAIL_INTERVAL = 5
[MAL_jydm]
MAL_INST_NAME = jydm
MAL_HOST = 10.10.10.180
MAL_PORT = 5241
MAL_INST_PORT = 5236
MAL_INST_HOST = 10.10.10.180
[MAL_hy]
MAL_INST_NAME = hy
MAL_HOST = 10.10.10.184
MAL_PORT = 5242
MAL_INST_PORT = 5236
MAL_INST_HOST = 10.10.10.184
[MAL_wy]
MAL_INST_NAME =wy
MAL_HOST = 10.10.10.185
MAL_PORT = 5243
MAL_INST_PORT = 5236
MAL_INST_HOST =10.10.10.185
[dmdba@jydm3 wy]$ cat dmmal.ini
MAL_CHECK_INTERVAL = 5
MAL_CONN_FAIL_INTERVAL = 5
[MAL_jydm]
MAL_INST_NAME = jydm
MAL_HOST = 10.10.10.180
MAL_PORT = 5241
MAL_INST_PORT = 5236
MAL_INST_HOST = 10.10.10.180
[MAL_hy]
MAL_INST_NAME = hy
MAL_HOST = 10.10.10.184
MAL_PORT = 5242
MAL_INST_PORT = 5236
MAL_INST_HOST = 10.10.10.184
[MAL_wy]
MAL_INST_NAME =wy
MAL_HOST = 10.10.10.185
MAL_PORT = 5243
MAL_INST_PORT = 5236
MAL_INST_HOST =10.10.10.185
对 3 个数据库都要启用 mal_ini 参数
SQL sp_set_para_value(2, MAL_INI ,1);
DMSQL executed successfully
used time: 7.465(ms). Execute id is 23.
复制数据库初始化
如果是第一次使用复制数据库,需要对复制数据库执行初始化操作。通过执行系统函数 SP_INIT_REP_SYS(create_flag)来初始化复制数据库。其主要作用是创建复制用户(SYSREP/SYSREP)和创建复制数据库上需要的系统表。SP_INIT_REP_SYS 的参数 create_flag 为 1 时表示创建用户和系统表,为 0 时表示删除用户和系统表。
开始初始化:
SQL SP_INIT_REP_SYS(1);
DMSQL executed successfully
used time: 115.960(ms). Execute id is 30.
SQL conn SYSREP/SYSREP
Server[LOCALHOST:5236]:mode is normal, state is open
login used time: 9.684(ms)
SQL select table_name from user_tables;
LINEID TABLE_NAME
---------- -----------------
1 RPS_GROUPS
2 RPS_INSTANCES
3 RPS_REPLICATIONS
4 RPS_TABMAPS
5 RPS_FAULT_HISTORY
6 RPS_CONFLICTS
7 RPS_TIMERS
7 rows got
used time: 170.443(ms). Execute id is 31.
创建的 7 张复制系统表如下:
1) 复制组表
CREATE TABLE SYSREP.RPS_GROUPS (
NAME VARCHAR(128), // 复制组名
ID INT, // 复制组 ID
DESC$ VARCHAR(1000), // 描述
CLUSTER PRIMARY (NAME)
);
2) 复制节点实例表
CREATE TABLE SYSREP.RPS_INSTANCES(
INST_NAME VARCHAR(128), // 复制节点实例名
GRP_ID INT, // 复制组 ID
INST_ID INT, // 实例在复制组中编号
FAULT_TIMEOUT INT, // 故障超时处理值,以秒为单位,0 为立即超时
VALID_FLAG CHAR(1), // 节点系统状态
FAULT_TIME DATETIME, // 节点故障开始时间
NET_VALID_FLAG CHAR(1), // 网络状态
NET_FAULT_TIME DATETIME, // 网络故障开始时间
CLUSTER PRIMAY KEY(GRP_ID, INST_NAME)
);
3) 复制关系表
CREATE TABLE SYSREP.RPS_REPLICATIONS(
REP_NAME VARCHAR(128), // 复制名
GRP_ID INT, // 复制组 ID
REP_ID INT, // 复制 ID,全局唯一
MINST_ID INT, // 主节点实例编号
SINST_ID INT, // 从节点实例编号
ARCH_DIR VARCHAR(256), // 主节点归档日志路径
FAULT_TIMEOUT INT, // 故障超时处理值,以秒为单位,0 为立即超时
VALID_FLAG CHAR(1), // 复制关系状态
FAULT_TIME DATETIME, // 故障开始时间
SYNC_FLAG INTEGER // 指定同步或异步复制
TIMER_NAME VARCHAR(128) // 指定异步复制的定时器(同步复制没有此项)
DESC$ VARCHAR(1000), // 复制描述
CLUSTER PRIMARY KEY(GRP_ID, REP_NAME)
);
4) 复制映射表
CREATE TABLE SYSREP.RPS_TABMAPS(
REP_ID INT, // 复制 ID
MSCH_NAME VARCHAR(128), // 主表模式名
MTAB_NAME VARCHAR(128), // 主表名
MSCH_ID INT, // 主表模式 ID
MTAB_ID INT, // 主表 ID
SSCH_NAME VARCHAR(128), // 从表模式名
STAB_NAME VARCHAR(128), // 从表名
SSCH_ID INT, // 从表模式 ID
STAB_ID INT, // 从表 ID
READONLY_MODE INT, // 映射模式 1: 只读模式,0:非只读模式
CLUSTER PRIMARY KEY(REP_ID, MTAB_ID, STAB_ID)
);
5) 复制故障历史表
CREATE TABLE SYSREP.REP_FAULT_HISTORY(
GRP_NAME VARCHAR(128), // 复制组
OBJ_NAME VARCHAR(128), // 故障节点或关系
FAULT_TYPE VARCHAR(128), // 故障类型描述
START_TIME DATETIME, // 故障开始时间
END_TIME DATETIME // 故障结束时间
);
6) 复制冲突历史表
CREATE TABLE SYSREP.RPS_CONFLICTS
(
SEQ_NO BIGINT // 冲突序号
REP_ID INT, // 对应复制号
INST_ID INT, // 产生冲突的节点编号
TABLE_ID INT, // 冲突表 ID
TYPE TINYINT // 操作类型
OCC_TIME DATETIME, // 冲突产生时间
KEY_DATA VARCHAR(8000), // 冲突数据的 PK 值,如包含多个 KEY 值,则以逗号分隔。如键值超长则截断
);
7) 复制定时器表
CREATE TABLE SYSREP.RPS_TIMERS (
NAME VARCHAR(128), // 定时器名称
TYPE$ INT, // 定时类型,取值可参见 SP_RPS_CREATE_TIMER
FERQ_INTERVAL INT, // 间隔天数
FREQ_SUB_INTERVAL INT, // 间隔的月 / 周(调度类型决定)数
FREQ_MINUTE_INTERVAL INT, // 间隔的分钟数
START_TIME TIME, // 开始时间
END_TIME TIME, // 结束时间
DURING_START_DATE DATETIME // 开始时间点
DURING_END_DATE DATETIME, // 结束时间点
NO_END_DATA_FLAG INTEGER // 是否有结束日期(0:有结束日期;1:没有结束日期)
DESC$ VARCHAR(1000), // 定时器描述
CLUSTER PRIMARY KEY(REP_NAME)
);
配置模式级复制
启动 3 台服务器,启动的顺序不分先后。
[root@shard1 jydm]# systemctl stop DmServicejydm.service
[root@shard1 jydm]# systemctl start DmServicejydm.service
[root@jydm2 ~]# systemctl stop DmServicehy.service
[root@jydm2 ~]# systemctl start DmServicehy.service
[root@jydm3 ~]# systemctl stop DmServicewy.service
[root@jydm3 ~]# systemctl start DmServicewy.service
登录复制数据库(RPS jydm),保证服务器状态为 OPEN,开始复制配置。
[dmdba@shard1 bin]$ ./disql sysdba/abcd
Server[LOCALHOST:5236]:mode is normal, state is open
login used time: 9.851(ms)
disql V7.1.6.46-Build(2018.02.08-89107)ENT
Connected to: DM 7.1.6.46
创建复制组 REP_GRP_hy2wy
SQL SP_RPS_ADD_GROUP( REP_GRP_hy2wy , 主从同步复制
DMSQL executed successfully
used time: 32.545(ms). Execute id is 26.
SQL select * from SYSREP.RPS_GROUPS;
LINEID NAME ID DESC$
---------- ------------- ----------- ------------
1 REP_GRP_hy2wy 3 主从同步复制
used time: 1.073(ms). Execute id is 27.
开始设置
SQL SP_RPS_SET_BEGIN( REP_GRP_hy2wy
DMSQL executed successfully
used time: 0.530(ms). Execute id is 57.
添加复制关系
SQL SP_RPS_ADD_REPLICATION ( REP_GRP_hy2wy , REPhy2wy , hy 到 wy 的同步复制 , hy , wy , NULL, /dm_home/dmdba/dmdbms/dmreplog
DMSQL executed successfully
used time: 2.529(ms). Execute id is 29.
添加数据库级复制
SQL SP_RPS_ADD_DB_MAP(REPhy2wy , 0);
DMSQL executed successfully
used time: 0.597(ms). Execute id is 30.
提交设置
SQL SP_RPS_SET_APPLY();
DMSQL executed successfully
used time: 00:00:05.035. Execute id is 31.
SQL select * from SYSREP.RPS_REPLICATIONS;
LINEID REP_NAME GRP_ID REP_ID MINST_ID SINST_ID ARCH_DIR FAULT_TIMEOUT VALID_FLAG FAULT_TIME SYNC_FLAG TIMER_NAME DESC$
---------- -------- ----------- ----------- ----------- ----------- ------------------------------ ------------- ----------- --------------------------- ----------- ---------- ----------------
1 REPhy2wy 3 4 7 8 /dm_home/dmdba/dmdbms/dmreplog -1 0 NULL 1 NULL hy 到 wy 的同步复制
used time: 1.277(ms). Execute id is 32.
SQL select * from SYSREP.RPS_INSTANCES;
LINEID INST_NAME GRP_ID INST_ID FAULT_TIMEOUT VALID_FLAG FAULT_TIME NET_VALID_FLAG NET_FAULT_TIME
---------- --------- ----------- ----------- ------------- ----------- --------------------------- -------------- ---------------------------
1 hy 3 7 -1 0 NULL 0 NULL
2 wy 3 8 -1 0 NULL 0 NULL
used time: 1.014(ms). Execute id is 33.
SQL select * from SYSREP.RPS_TABMAPS;
LINEID REP_ID MSCH_NAME MTAB_NAME MSCH_ID MTAB_ID SSCH_NAME STAB_NAME SSCH_ID STAB_ID READONLY_MODE
---------- ----------- --------- --------- ----------- ----------- --------- --------- ----------- ----------- -------------
1 4 NULL NULL -1 -1 NULL NULL -1 -1 0
used time: 1.129(ms). Execute id is 34.
至此,数据库级复制配置完成。注意一点,DM 的复制配置必须在开始复制配置之前执行 SP_RPS_SET_BEGIN,配置完成之后执行 SP_RPS_SET_APPLY 提交。
验证同步
在主库上的 hy 用户下创建一个测试表 t4
SQL create table t4 as select * from sysobjects;
executed successfully
used time: 12.280(ms). Execute id is 12.
SQL select count(*) from t4;
LINEID COUNT(*)
---------- --------------------
1 1480
used time: 1.256(ms). Execute id is 13.
在从库上的 wy 用户查询这个表 t4
SQL select count(*) from t4;
select count(*) from t4;
[-2106]:Error in line: 1
Invalid table or view name [T4].
used time: 0.423(ms). Execute id is 0.
可以看到创建表的 DDL 语句没有同步到 wy 用户下。
在主库上创建用户 jy
SQL create user jy identified by abcd
executed successfully
used time: 4.940(ms). Execute id is 5.
SQL grant dba,resource to jy;
executed successfully
used time: 2.929(ms). Execute id is 6.
在从库上登录用户 jy
[dmdba@jydm3 bin]$ ./disql jy/abcd
[-70028]:Create SOCKET connection failure.
disql V7.1.6.46-Build(2018.02.08-89107)ENT
username:
从从库上的日志可以看到故障信息
2019-12-20 00:15:08 [WARNING] database P0000029732 main_thread rps sys init failed, code:-8748
从复制数据库上查看复制故障信息
SQL select * from SYSREP.RPS_FAULT_HISTORY;
LINEID GRP_NAME OBJ_NAME FAULT_TYPE START_TIME END_TIME
---------- ------------- -------- ------------------ --------------------------- ---------------------------
1 REP_GRP_hy2wy REPhy2wy REPLICATION FAULT 2019-12-20 00:14:23.366210 2019-12-20 00:15:24.042032
2 REP_GRP_hy2wy wy INSTANCE SYS FAULT 2019-12-20 00:14:23.366210 2019-12-20 00:15:24.042032
3 REP_GRP_hy2wy REPhy2wy REPLICATION FAULT 2019-12-20 00:16:23.386842 NULL
4 REP_GRP_hy2wy wy INSTANCE SYS FAULT 2019-12-20 00:16:23.386842 NULL
used time: 1.179(ms). Execute id is 4.
从测试结果可以看到数据库级的数据复制不支持 DDL, 数据库的数据复制对创建用户的操作处理异常,会导致从库奔溃。
看完上述内容,你们掌握 DM7 数据复制中数据库级复制的原理及用法是什么的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注丸趣 TV 行业资讯频道,感谢各位的阅读!