共计 4351 个字符,预计需要花费 11 分钟才能阅读完成。
这篇文章主要介绍“Oracle GoldenGate 配置参数生产端分析”,在日常操作中,相信很多人在 Oracle GoldenGate 配置参数生产端分析问题上存在疑惑,丸趣 TV 小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Oracle GoldenGate 配置参数生产端分析”的疑惑有所帮助!接下来,请跟着丸趣 TV 小编一起来学习吧!
OGG 的版本为:11.2.1.0.4
Oracle GoldenGate Command Interpreter for Oracle
Version 11.2.1.0.4 14636914 OGGCORE_11.2.1.0.4_PLATFORMS_121007.2020
HP/UX, IA64, 64bit (optimized), Oracle 10g on Oct 8 2012 02:26:37
Copyright (C) 1995, 2012, Oracle and/or its affiliates. All rights reserved.
启动的进程
GGSCI info all
Program Status Group Lag at Chkpt Time Since Chkpt
MANAGER RUNNING
EXTRACT RUNNING DPEYA 00:00:00 00:00:02
EXTRACT RUNNING EXTYA 00:00:02 00:00:05
EXTYA 为抽取进程,DPEYA 为投递进程
管理进程配置
GGSCI view params mgr
PORT 7839
DYNAMICPORTLIST 7840-7914
–AUTORESTART EXTRACT *, RETRIES 5, WAITMINUTES 7
PURGEOLDEXTRACTS ./dirdat/*, USECHECKPOINTS, MINKEEPDAYS 10
LAGREPORTHOURS 1
LAGINFOMINUTES 30
LAGCRITICALMINUTES 45
PORT 7839
通信端口 7839。生产端和灾备端需要保持一致。
DYNAMICPORTLIST 7840-7914
动态端口列表的范围从 7840 到 7914。当制定端口被占用或者出现通信故障,管理进程将会从列表中选择下一个端口尝试连接,避免通信端口的单点故障。
–AUTORESTART EXTRACT *, RETRIES 5, WAITMINUTES 7
当提取进程中断后尝试自动重启,每隔 7 分钟尝试启动一次,尝试 5 次。OGG 运维人员通常会注释掉这条配置,更喜欢用手工重启的方式来控制。
PURGEOLDEXTRACTS ./dirdat/*, USECHECKPOINTS, MINKEEPDAYS 10
定期清理 dirdat 路径下的本地队列(local trail)。保留期限 10 天,过期后自动删除。从而控制队列文件的目录不会增长过大。
LAGREPORTHOURS 1
每隔一小时检查一次传输延迟情况
LAGINFOMINUTES 30
传输延时超过 30 分钟将写入错误日志
LAGCRITICALMINUTES 45
传输延时超过 45 分钟将写入警告日志
通常在一些海量数据的分区表中容易出现传输延时的现象。建议在灾备端启动多个复制进程(replicat),为这些大表单独的开启专用通道。
抽取进程配置
GGSCI 3 view params extya
EXTRACT extya
SETENV (NLS_LANG= AMERICAN_AMERICA.UTF8)
USERID goldengate, PASSWORD AACAAAAAAAAAAAJAPJYATHVIMGMAOFHIUCUEPFYGGJBFJGIH, ENCRYPTKEY default
REPORTCOUNT EVERY 30 MINUTES, RATE
DISCARDFILE ./dirrpt/extya.dsc, APPEND, MEGABYTES 1024
DISCARDROLLOVER AT 3:00
WARNLONGTRANS 2h, CHECKINTERVAL 3m
EXTTRAIL ./dirdat/ya
DYNAMICRESOLUTION
DBOPTIONS ALLOWUNUSEDCOLUMN
FETCHOPTIONS NOUSESNAPSHOT
FETCHOPTIONS FETCHPKUPDATECOLS
–CACHEMGR CACHESIZE 8000MB, CACHEDIRECTORY /goldengate/temp, CACHEDIRECTORY /goldengate/temp2
TRANLOGOPTIONS CONVERTUCS2CLOBS
–tranlogoptions asmuser sys@asm, asmpassword AACAAAAAAAAAAGAIF, ENCRYPTKEY default
TRANLOGOPTIONS altarchivelogdest primary instance sgpmdb1 /sgpmdb/arch altarchivelogdest instance sgpmdb2 /sgpmdb/arch
THREADOPTIONS MAXCOMMITPROPAGATIONDELAY 60000 IOLATENCY 60000
—Schema 名称涉及敏感字符,在此统一使用 Schema 来代替
—table 名称涉及敏感字符,在此统一使用 table 来代替
mapexclude Schema1.table1;
mapexclude Schema1.table2;
mapexclude Schema2.table1;
mapexclude Schema2.table1;
TABLE Schema1.*;
TABLE Schema2.*;
TABLE Schema3.*;
TABLE Schema4.*;
TABLE Schema5.*;
sequence Schema1.*;
sequence Schema2.*;
sequence Schema3.*;
sequence Schema4.*;
sequence Schema5.*;
SETENV (NLS_LANG= AMERICAN_AMERICA.UTF8)
设置字符集环境变量为 UTF8
如果系统中存在多个数据库有时候会用参数 SETENV 设置 ORACLE_HOME、ORACLE_SID 等,例如:
SETENV (ORACLE_HOME =“/home/oracle/product/10.2.0/db)
SETENV (ORACLE_SID =“PROD”)
REPORTCOUNT EVERY 30 MINUTES, RATE
每隔 30 分钟报告一次从程序开始到现在的抽取进程或者复制进程的事物记录数,并汇报进程的统计信息
DISCARDFILE ./dirrpt/extya.dsc, APPEND, MEGABYTES 1024
将执行失败的记录保存在 discard file 中,该文件位于./dirrpt/extya.dsc, 大小为 1024MB。文件中已经包含记录的话,再后面继续追加,不删除之前的记录。
DISCARDROLLOVER AT 3:00
为了防止 discard file 被写满,每天 3:00 做一次文件过期设定
WARNLONGTRANS 2h, CHECKINTERVAL 3m
每隔 3 分钟检查一下大事务,超过 2 小时还没结束的进行报告
EXTTRAIL ./dirdat/ya
队列文件路径
DYNAMICRESOLUTION
有时候开启 OGG 进程的时候较慢,可能是因为需要同步的表太多,OGG 在开启进程之前会将需要同步的表建立一个记录并且存入到磁盘中,这样就需要耗费大量的时间。使用该参数来解决此问题。
DBOPTIONS ALLOWUNUSEDCOLUMN
当抽取进程遇到一个没有使用的字段时只生成一个警告,进程会继续执行而不会被异常终止(abend)
FETCHOPTIONS NOUSESNAPSHOT
不会从闪回日志中获取数据
FETCHOPTIONS FETCHPKUPDATECOLS
当使用了 HANDLECOLLISIONS 时,请使用该参数。
复制进程出现丢失 update 记录(missing update)并且更新的是主键,update 将转换成 insert。由于插入的记录可能不是完整的行,若要保证完整需要加入此参数
–CACHEMGR CACHESIZE 8000MB, CACHEDIRECTORY /goldengate/temp, CACHEDIRECTORY /goldengate/temp2
在 /goldengate/temp,/goldengate/temp2 目录设置虚拟内存
TRANLOGOPTIONS CONVERTUCS2CLOBS
指定在解析数据库日志时所需要的特殊参数
本参数只用在 extract 端 UTF 字符类型,并且 11.1.1 前处理 CLOB 才需要。
TRANLOGOPTIONS altarchivelogdest primary instance rac1 /arch altarchivelogdest instance rac2 /arch
指定 RAC 环境下每个节点的归档日志地址
THREADOPTIONS MAXCOMMITPROPAGATIONDELAY 60000 IOLATENCY 60000
RAC 集群中的所有节点必须同步系统时钟。GoldenGate 通过比较本地系统的时间和事务提交的时间点来做出关键决策。可以通过 NTP 来不同系统时间。所有节点上的 COMPATIBLE 参数设置也必须相同。
这个参数在 Oracle11.2 版本后就不在使用了。
投递进程配置
GGSCI 6 view params dpeya
EXTRACT dpeya
RMTHOST 10.10.10.1, MGRPORT 7839, COMPRESS
PASSTHRU
NUMFILES 5000
RMTTRAIL ./dirdat/yb
DYNAMICRESOLUTION
—要复制的表清单
TABLE Schema1.*;
TABLE Schema2.*;
TABLE Schema3.*;
TABLE Schema4.*;
TABLE Schema5.*;
RMTHOST 10.10.10.1, MGRPORT 7839, COMPRESS
灾备端主机 IP,管理进程端口号,投递前压缩队列文件
NUMFILES 5000
最多处理 5000 张表
RMTTRAIL ./dirdat/yb
灾备端保存队列文件的目录
PASSTHRU
采用 pass-through 模式处理表
DYNAMICRESOLUTION
动态解析表名
到此,关于“Oracle GoldenGate 配置参数生产端分析”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注丸趣 TV 网站,丸趣 TV 小编会继续努力为大家带来更多实用的文章!