操作场景

GaussDB 100逻辑复制代理解析包含逻辑日志信息的REDO日志和归档日志，将解析到的满足条件的数据发送给HDR工具，然后HDR再将数据回放到目标端数据库，实现将GaussDB 100的数据变化准实时复制到其它同构或异构数据源的能力。相对于物理复制对日志物理格式的强依赖，逻辑复制代理和HDR的使用更加灵活，可以实现GaussDB 100跨版本复制、GaussDB 100向其它异构数据库（如Oracle）复制，以及在源、目标数据库表结构不一致时的定制支持。逻辑复制代理可以应用在主备数据库间的增量数据备份、不同业务系统之间的数据同步、系统升级过程中在线数据迁移等场景。

前提条件

• 运行环境需安装JAVA JDK1.8以上版本。
• 已获取逻辑复制代理工具安装包GaussDB_100_1.0.1-LOGICREP-AGENT.tar.gz，该包位于GaussDB_100_1.0.1-TOOLS.tar.gz压缩包下。

注意事项

• 对于主备复制场景，需要为主机和备机分别安装、配置、启动逻辑复制代理。但是，同一时间，只有主机的逻辑复制代理处于工作模式。
• 不能复制SYS用户的表数据。
• 逻辑复制代理需要读取归档及在线日志，因此需要打开GaussDB 100的归档日志，并关闭GaussDB 100的归档日志自动清理功能，防止归档日志被误删除。
• 逻辑复制代理在单机模式下不具备告警功能，逻辑复制代理的run日志中出现的“cannot get $DM_AGENT_HOME env or DM_AGENT_HOME path is invalid.”异常信息不用关注，这个是因为没有DM导致的，不影响逻辑复制功能。
• 逻辑复制代理只会复制全局逻辑复制开关和表逻辑复制开关打开后更新的数据，逻辑复制服务开启之前的源表数据无法复制到目标数据库。
• 不支持全量基线+增量机制。
• 不支持分布式事务完整性。
• 不支持直接回放DDL。

操作流程

图1 配置并启动逻辑复制代理流程图

操作步骤-配置并启动逻辑复制代理

以下操作步骤中使用的数据库连接信息说明如下：

• omm是集群安装成功后生成的数据库管理员用户，gaussdb_123为其默认密码。为保证信息安全，请在成功安装集群并登录时，尽快修改数据库管理员omm的默认密码。
• 127.0.0.1表示本地登录CN/DN，如果远程登录请输入要登录的CN/DN所在主机的IP。
• 8000为CN端口号。
• 40000为使用逻辑复制服务的DN的端口号。

1. 在主备机上，解压安装逻辑复制代理工具。

   该步骤下的1 - 5需要在主备机上并行进行。

   1. 以数据库安装用户身份登录GaussDB 100主机。
   2. 按规划创建存放逻辑复制代理工具的目录。

      mkdir -p /opt/software/tools

   3. 将逻辑复制代理工具安装包上传至规划目录/opt/software/tools下。
   4. 进入逻辑复制代理工具的存放目录。

      cd /opt/software/tools

   5. 将逻辑复制代理工具安装包解压到已规划好的/opt/software/tools目录。

      tar -zxvf GaussDB_100_1..1-LOGICREP-AGENT.tar.gz -C /opt/software/tools

      安装包解压后生成文件夹GAUSSDB100-V300R001C00-LOGICREP-AGENT。

      [omm@plat tools]$ ll  
      total 7940 
      drwxr-xr-x. 3 omm dbgrp    4096 Apr  26 15:13 GaussDB_100_1..1-LOGICREP-AGENT 
      -rw-r--r--. 1 omm dbgrp 8113682 Apr  29 16:24 GaussDB_100_1..1-LOGICREP-AGENT.tar.gz

   6. 进入GaussDB_100_1.0.1-LOGICREP-AGENT目录。

      cd GaussDB_100_1.0.1-LOGICREP-AGENT

      [omm@plat GaussDB_100_1..1-LOGICREP-AGENT]$ ll  
      total 4 
      drwx------. 5 omm dbgrp 4096 Apr 26 15:13 logicrep

   7. （可选）进入logicrep目录，查看相关目录。

      cd logicrep_agent

      [omm@plat logicrep_agent]$ ll  
      total 12
      drwx------ 2 omm dbgrp 4096 Sep 11 09:41 bin
      drwx------ 4 omm dbgrp 4096 Sep 11 09:41 conf
      drwx------ 2 omm dbgrp 4096 Sep 11 09:41 lib

      相关目录说明如下：

      • conf：配置文件目录
      • repconf：复制关系定义文件目录
      • sec：秘钥配置文件目录
      • lib：依赖第三方库目录
      • bin : 逻辑复制代理工具启动和停止脚本存放目录

2. 在源分布式数据库中任意部署有DN的节点上，配置逻辑复制服务进程的启动参数。
   1. 进入conf目录。
      
      

      cd /opt/software/tools/GaussDB_100_1.0.1-LOGICREP-AGENT/logicrep_agent/conf

      打开init.properties文件，并按i进入编辑模式。
      

   2. vi init.properties

   3. 修改进程启动参数的取值。

      所有改动需要重启逻辑复制服务生效。conf/init.properties文件模版如下，其中斜体表示用户可根据需要替换为实际值。

      #unit: number of slots
      #value range:[1024,20480]
      dispatch.queue.size=1024
      #unit: number of transactions
      #value range:[100,300]
      transaction.buffer.size=100
      #unit: MB
      #value range:[100,500]
      transaction.buffer.memory.size=100
      #unit: MB
      #value range:[300,800]
      logentry.buffer.size=500
      #byte order of redo logfiles to be extracted
      #    little - logfiles generated on little endian platform
      #    big - logfiles generated on big endian platform
      logfile.endian.type=little
      #path_to_keystore_file(for zenith)
      javax.net.ssl.keyStore=
      #encrypted keyStorePassword(for zenith)
      javax.net.ssl.keyStorePassword=
      #whether skips logs when one table's metadata can not be found.
      #    true - skip logs of the table, one probable scenario is:
      #           the table was dropped at the source db, logicrep restarted, and metadata lost.
      #    false - can not skip, logicrep throws an exception and exits.
      skip.table.without.metadata=false
      #unit: ms
      replay.batch.linger.ms=1000
      #should not be less than the number of rmid in kernel
      session.number=10240

      相关参数解释如下：

      • dispatch.queue.size

        工作队列大小。根据可并发事务大小评估，在性能要求不高的场景下，使用默认配置即可。

      • transaction.buffer.size

        事务缓存大存放事务个数。当缓存满时，将等待回放线程处理。初始时使用默认配置。后续可以通过观察性能日志的缓存高水位进行调整。

      • transaction.buffer.memory.size

        每个事务占用的大内存空间，当某个事务超过默认配置值的时候，会导致逻辑复制失败，这个时候可以调大该参数值，确保占用大内存的事务可以正确地进行逻辑复制。

      • logentry.buffer.size

        logentry缓存大小。初始时使用默认配置。后续可以通过观察性能日志的缓存高水位进行调整。

      • logfile.endian.type

        指定数据存储在内存中时采用大端模式还是小端模式，此处的大小端配置是指产生逻辑复制工具需要使用的日志文件的机器的大小端。采用大端模式存放数据时，数据的高字节保存在内存的低地址中，而数据的低字节保存在内存的高地址中；采用小端模式存放数据时，数据的高字节保存在内存的高地址中，而数据的低字节保存在内存的低地址中。

      • javax.net.ssl.keyStore

        指定keyStore文件路径，该路径中包括文件名。仅在配置“useSSL=true”时且需要认证客户端时使用该参数。

      • javax.net.ssl.keyStorePassword

        指定keyStore密码的密文。仅在配置“useSSL=true”时且需要认证客户端时使用该参数。该密文的生成方式请参见步骤4。

      • replay.batch.linger.ms

        批量回放延时时间。

      • session.number

        数据库大session数。

   4. 按Esc键并输入:wq保存退出。

3. 在源数据库上创建并配置逻辑复制代理工具使用的用户。

   为源数据库GaussDB 100逻辑复制代理工具创建配置用户。该操作仅在GaussDB 100主机上进行即可，创建的用户会实时同步到备机上。

   1. 赋予数据库管理员读取相关系统表和视图的权限。
      • 源数据库GaussDB 100以分布式部署时。
        1. 登录每个CN所在服务器。
        2. 以clsmgr身份登录每个CN上的数据库。

           zsql / as clsmgr

        3. 在每个CN上的数据库里执行如下SQL语句。

           GRANT SELECT ON SYS.SYS_TABLES TO omm with grant option;
           GRANT SELECT ON SYS.SYS_COLUMNS TO omm with grant option;
           GRANT SELECT ON SYS.SYS_USERS TO omm with grant option;
           GRANT SELECT ON SYS.SYS_CONSTRAINT_DEFS TO omm with grant option;
           GRANT SELECT ON SYS.SYS_LOGIC_REPL TO omm with grant option;
           GRANT SELECT ON SYS.DV_DATABASE TO omm with grant option;
           GRANT SELECT ON SYS.DV_LOG_FILES TO omm with grant option;
           GRANT SELECT ON SYS.DV_ARCHIVED_LOGS TO omm with grant option;

        4. 以sysdba身份登录每个主DN所在服务器。

           zsql / as sysdba -D dn_data_dir

        5. 在每个主DN上的数据库里执行如下SQL语句。

           GRANT SELECT ON SYS.SYS_TABLES TO omm with grant option;
           GRANT SELECT ON SYS.SYS_COLUMNS TO omm with grant option;
           GRANT SELECT ON SYS.SYS_USERS TO omm with grant option;
           GRANT SELECT ON SYS.SYS_CONSTRAINT_DEFS TO omm with grant option;
           GRANT SELECT ON SYS.SYS_LOGIC_REPL TO omm with grant option;
           GRANT SELECT ON SYS.DV_DATABASE TO omm with grant option;
           GRANT SELECT ON SYS.DV_LOG_FILES TO omm with grant option;
           GRANT SELECT ON SYS.DV_ARCHIVED_LOGS TO omm with grant option;

        6. 退出当前连接。

           EXIT

      • 源数据库以主备模式部署时。
        1. 登录每个主DN所在服务器。
        2. 以sysdba身份本地登录每个主DN数据库。

           zsql / as sysdba -D dn_data_dir

        3. 执行以下命令。

           GRANT SELECT ON SYS.SYS_TABLES TO omm with grant option;
           GRANT SELECT ON SYS.SYS_COLUMNS TO omm with grant option;
           GRANT SELECT ON SYS.SYS_USERS TO omm with grant option;
           GRANT SELECT ON SYS.SYS_CONSTRAINT_DEFS TO omm with grant option;
           GRANT SELECT ON SYS.SYS_LOGIC_REPL TO omm with grant option;
           GRANT SELECT ON SYS.DV_DATABASE TO omm with grant option;
           GRANT SELECT ON SYS.DV_LOG_FILES TO omm with grant option;
           GRANT SELECT ON SYS.DV_ARCHIVED_LOGS TO omm with grant option;

        4. 退出当前连接。

           EXIT

   2. 使用数据库系统管理员登录数据库。

      omm为安装后创建的系统管理员，其默认密码是gaussdb_123。

      • 分布式部署时：

        假设使用的CN端口号是8000。

        zsql omm@127.0.0.1:8000
        Please enter password:
        ***********

      • 主备部署时：
        假设使用浮动IP为192.168.5.6，DN端口号是40000。

        zsql omm@192.168.5.6:40000
        Please enter password:
        ***********

   3. 通过执行以下SQL语句，创建逻辑复制代理工具所用的用户、并授予该用户CONNECT、CREATE TABLE角色，以及读取相关系统表和视图的权限。

      CREATE USER LREP IDENTIFIED BY database_234;
      GRANT CONNECT, CREATE TABLE TO LREP;
      GRANT SELECT ON SYS.SYS_TABLES TO LREP;
      GRANT SELECT ON SYS.SYS_COLUMNS TO LREP;
      GRANT SELECT ON SYS.SYS_USERS TO LREP;
      GRANT SELECT ON SYS.SYS_CONSTRAINT_DEFS TO LREP;
      GRANT SELECT ON SYS.SYS_LOGIC_REPL TO LREP;
      GRANT SELECT ON SYS.DV_DATABASE TO LREP;
      GRANT SELECT ON SYS.DV_LOG_FILES TO LREP;
      GRANT SELECT ON SYS.DV_ARCHIVED_LOGS TO LREP;
      CREATE TABLE LREP.LOGICREP_PROGRESS
      (
      	ID 		        VARCHAR(128),
      	COMMITTED_TX_SCN        BIGINT,
              COMMITTED_TX_TIME       TIMESTAMP,
      	LOGPOINT		VARCHAR(128),
      	UPDATE_TIME		TIMESTAMP
      );
      CREATE UNIQUE INDEX IX_LREP_PROGRESS ON LREP.LOGICREP_PROGRESS(ID);