如何使用Oracle GoldenGate Marketplace实现数据快速同步ADW

72次阅读
没有评论

共计 6474 个字符,预计需要花费 17 分钟才能阅读完成。

这篇文章给大家分享的是有关如何使用 Oracle GoldenGate Marketplace 实现数据快速同步 ADW 的内容。丸趣 TV 小编觉得挺实用的,因此分享给大家做个参考,一起跟随丸趣 TV 小编过来看看吧。

Oracle GoldenGate 是一个实现异构 IT 环境间数据实时数据集成和复制的综合软件包。该产品集支持高可用性解决方案、实时数据集成、事务更改数据捕获、运营和分析企业系统之间的数据复制、转换和验证。

GOLDENGATE 19.1 ON MARKETPLACE 功能

Oracle GoldenGate for Oracle 19.1 微服务版包括对 Oracle 数据库版本 11g,12c,18c,19c,Cloud 以及本地数据库的捕获和交付支持。允许从任何 Oracle 数据库平台和操作系统进行远程捕获,且无需在源端和目标端数据库安装任何介质。

GoldenGate on OCI 微服务架构如下:

此文将逐步介绍如何使用 Oracle GoldenGate Marketplace 搭建客户已有的 Oracle 数据库到 Oracle ADW 业务数据平台的数据实时同步。

整体步骤大致如下:

1. 在 ORACLE CLOUD MARKETPLACE 上部署 GOLDENGATE 微服务

2. 配置源端 / 目标端数据库

3.Oracle GoldenGate 微服务配置

4. 数据同步测试:ORACLE12C 到 ADW

ORACLE CLOUD MARKETPLACE 上部署 GOLDENGATE 微服务

通过在 Oracle Cloud Marketplace 上使用 Oracle GoldenGate 微服务,可以轻松地建立和管理从本地到云,本地到本地以及云到云的数据实时复制。

1. 从 Oracle Cloud Marketplace 主页:

https://cloudmarketplace.oracle.com/marketplace

2. 使用“应用程序”下的搜索框并搜索关键字 GoldenGate。

3. 在 Oracle Cloud Marketplace 中找到 Oracle GoldenGate 微服务列表后,您可以使用提供的 TerraForm Stack 部署 Oracle GoldenGate。

选择版本 (19.1.0.0.1 默认) 选择需要部署到的 Compartment,单击“Launch Stack”。

4. 填写 Stack 所需信息,其中包括 Stack 的名称,单击“下一步”。

5. 填写以下详细信息。使用 Oracle GoldenGate Microservices 构建计算节点需要此信息。

显示名称 – 用于标识所有新 OCI 资源的显示名称。Oracle GoldenGate

主机 DNS 名称 – 新计算节点的域名服务的名称。

选择需要部署的 Compartment.

如果要创建新网络资源,请选中此复选框。

我们选择以有的网络资源

6. 选择计算资源 - 支持的资源是 VM.Standard2.4,VM.Standard2.8,VM.Standard2.16 和 VM.Standard2.24。这次选择 VM.Standard2.4

分配公共 IP – 选中此复选框以指示新 VM 是否应具有公共 IP 地址。

部署 1 – 名称(必填) – 第一个 Oracle GoldenGate 部署的名称。Source

部署 1 – 数据库(必填) – Oracle 12c

部署 2 – 名称(可选) – 第二个 Oracle GoldenGate 部署的名称。Target

部署 2 – 数据库(可选) – Oracle 18c

粘贴 SSH 公钥 – 允许 SSH 访问作为 opc 用户的公钥

7. 在“确认”页面上,查看您提供的信息,然后单击“创建”。

8. 名称为“OGG4ADW”Stack 创建成功

9. 现在可以在计算节点 Instances 选项卡下查看 Oracle GoldenGate Microservices 计算节点。

10. 获取 Oracle GoldenGate 管理员密码

获取公共 IP 地址后,您必须获取 Oracle GoldenGate 管理员帐户 (oggadmin) 的密码。

Oracle GoldenGate 管理员帐户 (oggadmin) 和密码保存在~/ogg-credentials.json 文件里。

记录密码。

配置源端数据库

1. 配置源或目标数据库以进行复制 – 源端数据库

源端数据库配置:在源端数据库打开附加日志以及 OGG 所需配置。

2. 源端数据库:

创建 OGG 管理员 c##ggadmin 和测试用户 SCOTT

3. 测试用户 SCOTT 下,创建测试表 EMP

SQL show user

USER is SCOTT

SQL CREATE TABLE EMP

(EMPNO NUMBER(4) NOT NULL,

ENAME VARCHAR2(10),

JOB VARCHAR2(9),

MGR NUMBER(4),

HIREDATE DATE,

SAL NUMBER(7, 2),

COMM NUMBER(7, 2),

DEPTNO NUMBER(2));

Table created.

SQL ALTER TABLE EMP ADD CONSTRAINT PK_EMPNO PRIMARY KEY(EMPNO);

Table altered.

SQL select count(1) from emp;

COUNT(1)

———-

0

配置目标端端数据库

1. 目标端数据库配置(ADW):

SQL alter user ggadmin identified by account unlock;

User altered.

SQL grant dwrole to ggadmin;

Grant succeeded.

SQL grant pdb_dba to ggadmin;

Grant succeeded.

SQL grant create session, resource, create view, create table to ggadmin;

Grant succeeded.

SQL select name,value from v$parameter where name= enable_goldengate_replication

NAME VALUE

—————————————- ———-

enable_goldengate_replication TRUE

SQL create user scott identified by ;

User created.

SQL grant connect,resource,create table to scott;

Grant succeeded.

SQL grant pdb_dba to scott;

Grant succeeded.

SQL alter user scott quota unlimited on data;

User altered.

2. 目标端数据库上创建测试用户 SCOTT 和 EMP 表:

SQL show user

USER is SCOTT

SQL CREATE TABLE EMP

2 (EMPNO NUMBER(4) NOT NULL,

3 ENAME VARCHAR2(10),

4 JOB VARCHAR2(9),

5 MGR NUMBER(4),

6 HIREDATE DATE,

7 SAL NUMBER(7, 2),

8 COMM NUMBER(7, 2),

9 DEPTNO NUMBER(2));

Table created.

SQL desc emp

Name Null? Type

—————————————– ——– —————————-

EMPNO NOT NULL NUMBER(4)

ENAME VARCHAR2(10)

JOB VARCHAR2(9)

MGR NUMBER(4)

HIREDATE DATE

SAL NUMBER(7,2)

COMM NUMBER(7,2)

DEPTNO NUMBER(2)

SQL ALTER TABLE EMP ADD CONSTRAINT PK_EMPNO PRIMARY KEY(EMPNO);

Table altered.

SQL select count(1) from emp;

COUNT(1)

———-

0

ORACLE GOLDENGATE MICROSERVICES 更改管理员密码

1. 更改 OGG 默认管理员 OGGADMIN 密码

更改 OGG 默认管理员密码 (例如 oggadmin) 是保护 Oracle GoldenGate Microservices 部署的首要任务。需要更改 oggadmin 的密码,您必须先在 Service Manager 和 Administration Server 中更改它。

浏览器中输入 https:// 进入 OGG 管理页面如下:

单击”转到此网页”

输入 OGG 管理用户名以及保存在~/ogg-credentials.json 文件里的密码

2. 登录 Service Manager 后使用左上角的菜单图标打开菜单,从菜单中选择 Administrator

在“oggadmin”编辑选项,更新 oggadmin 用户的密码,单击“提交”。

3. 从 Service Manager 页面中,点击“Overview”回到控制台,

在部署框中选择 Administration Server 的端口号。这将导航到该部署的登录页面。

使用 oggadmin 用户及密码登录。也需要在每个部署的页面上更新 oggadmin 用户的密码。

分别点击 Administration Server 的端口 9011 和 9021

4.9011 和 9021 的每个部署的页面上更新 oggadmin 用户的密码

5.Oracle GoldenGate Microservices 计算节点中配置环境变量:

点击下面的 Source

6. 源端数据库为 12cR2,所以 ORACLE_HOME 配置为 /u01/app/client/oracle12

7. 目标端数据库为 18c,所以 ORACLE_HOME 配置为 /u01/app/client/oracle18

使用 ORACLE GOL

使用 ORACLE GOLDENGATE MICROSERVICES 创建数据库连接

创建配置源端数据库连接

1. 通过点击 Administration Server 的端口号。9011 这将导航到该部署的登录页面

打开 Overview 页面左上角的上下文菜单,从上下文菜单中,选择“配置”。

在“数据库”选项卡中,单击加号 (+) 图标以添加新凭证。

源端因为是 12c 多租户数据库,所以我们分别创建连接 CDB 和 PDB 的数据库凭证如下:

2. 点击测试按钮,进行数据库连接测试如下:CDB

连接成功会显示 Checkpoint 等信息

3. 点击测试按钮,进行数据库连接测试如下:PDB

在源端添加 SCHEMATRANDATA

4. 添加用于连接到源数据库的凭证后,必须在源端上启用事务数据日志记录。

从 Oracle Database 12.1 和更高版本开始,您必须使用模式指定 PDB 数据库。

即. pdb1.scott

创建配置目标端数据库连接

1. 通过点击 Administration Server 的端口号。9021 这将导航到该部署的登录页面

打开 Overview 页面左上角的上下文菜单,从上下文菜单中,选择“配置”。

在“数据库”选项卡中,单击加号 (+) 图标以添加新凭证。

目标端是 ADW18c 数据库,所以我们创建到数据库凭证如下:

2. 点击测试按钮,进行数据库连接测试如下:

连接成功会显示 Checkpoint 等信息

在目标端添加检查点表

3. 检查点表对于监视已应用于目标系统的检查点至关重要。无论使用何种复制,最佳做法是为目标系统启用检查点表。

Checkpoint 选项中,点击添加

使用 ORACLE GOLDENGATE MICROSERVICES 配置进程

目前,Oracle 自治数据仓库云仅支持非集成模式的 Replicat。

不支持集成模式 Replicat,parallel Replicat 和 coordindated Replicat。

配置捕获进程

在开始复制之前,您必须设置捕获进程。

Oracle GoldenGate Microservices 支持三种模式的捕获进程。

Classic Extract — OGG18c 之后版本不建议使用,不支持同步到 ADW/ATP

Integrated Extract

Initial Load Extract

配置 EXTRACT 进程

1. 从源端管理控制台中选择添加 Extract 进程如下:

2. 选择 Integrated Extract 进程,点击“Next”

3. 输入 Extract 进程相关信息如下:

进程名:ext

数据库连接信息:源端选择 CDB 连接(source),创建连接参照上述创建连接部分。

Trail 文件名:eg

4. 选择需要注册的 PDB1,点击“Next”

5. 下一步填写进程相关配置信息如下:Table pdb1.scott.emp;

extract ext

useridalias oggadmin_pdb domain sourcepdb

exttrail eg

Table pdb1.scott.emp;

控制台上选择注册 Extract 进程到数据库,点击“创建和执行”

北海房价 http://bh.goufang.com/

6. 在控制台可以看到 Extract 进程。

配置 REPLICAT 进程

1. 点击目标端管理服务器端口进入控制台,配置 Replicat 进程

2. 点击添加 Replicat 进程

3. 选择 Nonintegrated Replicat

4. 输入 Replicat 配置信息如下:目标端连接 target,选择 checkpoint table

5. 下一步填写进程相关配置信息如下:

MAP pdb1.scott.emp, TARGET MSHUTOQY95TFZPE_ADW.SCOTT.emp;

点击“创建和执行”

replicat rep

useridalias target domain target

MAP pdb1.scott.emp, TARGET MSHUTOQY95TFZPE_ADW.SCOTT.emp;

6. 在控制台可以看到 Replicat 进程。

数据同步测试:ORA

数据同步测试:ORACLE12C 到 ADW

源端插入数据

SQL select count(1) from emp;

COUNT(1)

———-

0

SQL INSERT INTO EMP VALUES(7369, SMITH , CLERK , 7902,

sysdate, 800, NULL, 20);

1 row created.

SQL INSERT INTO EMP VALUES

(7499, ALLEN , SALESMAN , 7698,

sysdate, 1600, 300, 30);

1 row created.

SQL commit;

Commit complete.

SQL select count(1) from emp;

COUNT(1)

———-

2

从 Extract 进程选项中选择“详细”

在统计栏中查看同步信息 2 条数据成功的被捕获

在目标端确认数据同步成功

SQL select * from emp;

EMPNO ENAME JOB MGR HIREDATE SAL COMM DEPTNO

—– ———- ———- —– ——— ———- ———- ———-

7369 SMITH CLERK 7902 24-JUL-19 800 20

7499 ALLEN SALESMAN 7698 24-JUL-19 1600 300 30

通过点击目标端的进程详细,统计栏显示 2 条数据已经插入

测试删除数据从源端数据库

SQL select count(1) from emp;

COUNT(1)

———-

2

SQL delete emp;

2 rows deleted.

SQL commit;

Commit complete.

通过点击源端的进程详细,统计栏显示删除已经被捕获

目标端确认数据源已经被删除

SQL select * from emp ;

no rows selected

通过点击目标端的进程详细,统计栏显示删除已经被同步

感谢各位的阅读!关于“如何使用 Oracle GoldenGate Marketplace 实现数据快速同步 ADW”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-25发表,共计6474字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)