首页 > TAG信息列表 > 源端
使用ogg实现oracle到kafka的增量数据实时同步
使用ogg实现oracle到kafka的增量数据实时同步 彬彬 2022.04.07 一、OGG概述 OGG全称为Oracle GoldenGate，是由Oracle官方提供的用于解决异构数据环境中数据复制的一个商业工具。相比于其它迁移工具OGG的优势在于可以KingbaseFlySync ddl变更流程
关键字： KingbaseFlySync、Linux、x86_64、mips64el、aarch64、Java 一、ddl变更流程 1、 停掉客户业务，保证没有新数据产生 确认Oracle数据库上所有的数据全部解析完毕 在源端节点执行kufl list -last命令，查看最后一条语句是否解析，若无法确认最后一条语句，则等待一段时间后使用上述sqlserver迁移到DM8
环境：源端：sqlserver 2019开发版 需要迁移的数据库TEST下所有的表 目标端：达梦数据库 1-1-88-20.06.24-123627-ENT ，迁移到模式名TEST下，表名不变 登录DM数据迁移工具： 创建迁移组： 创建迁移： 选择sqlserver-DM，下一步 登录源端：注意端口号，选择需要迁移的数据库，下一步 登录目的端，部署oracle-ogg-datahub
DataHub插件下载页面https://help.aliyun.com/document_detail/193505.html?spm=a2c4g.11186623.6.593.41a01652K0OwJLOGG下载页面https://edelivery.oracle.com/osdc/faces/SoftwareDelivery 打包下载链接：https://pan.baidu.com/s/1KgcCcmHLJbvp85rTAJbAZg 提取码：1234 部署环境：源aws-redis数据非实时迁移
一、背景 因为一套环境要迁移到aws redis上,原本打算采用rdb上传到s3中，然后在创建新集群的时候使用s3种子的方式将rdb文件加载到新的集群中，这样比较方便快捷，但是遇到了两个问题，问题一是在大的rdb文件应用时会出现创建失败，问题二是这种方法没有办法实时同步，无法达到想要的平滑数据同步软件SharePlex For Oracle搭建手册
作者简介： 作者：LuciferLiu 中国DBA联盟(ACDU)成员。目前从事Oracle DBA工作，曾从事 Oracle 数据库开发工作，主要服务于生产制造，汽车金融等行业。现拥有Oracle OCP，OceanBase OBCA认证，擅长Oracle数据库运维开发，备份恢复，安装迁移，Linux自动化运维脚本编写等。 前言 什么是SharePlegoldengate中添加同步表的操作
1.非异构同步： （1）先停止源端ogg的抽取和传输进程 stop exta01 （注意： 若有长事务需确认归档是否存在 info exta01 showch 查看recovery checkpoint 的记录，确保该条归档和其后的归档都在， send extract exta01，forcestop） stop dpea01 （2）dblogin userid ggs，passwoogg源端目标端trail文件不对应缺失解决
错误 2020-10-09 17:10:28 INFO OGG-00993 Oracle GoldenGate Capture for Oracle, PUMPHC.prm: EXTRACT PUMPHC started. 2020-10-09 17:10:33 INFO OGG-01226 Oracle GoldenGate Capture for Oracle, PUMPHC.prm: Socket buffer size set to 100000 (flush size 3Goldengate同步Oracle数据到Oracle
Goldengate同步Oracle数据到Oracle OGG进程 捕获进程（源端）：捕获online redo log或者archived log中增量事务日志 传输进程（源端）：把目标端落地的trail文件通过配置的路由信息传输到目标端 网络传输：tcp/ip协议，传输过程可以对传输的文件进行压缩、加密 投递进程（目标端）：把所接收的队列文件[灾备] 数据去重技术
[灾备] 数据去重技术 运维少年 运维少年 当我们进行集中数据备份和归档时，重复的数据块会导致存储费用快速上升，同时也会占用数据传输带宽，这时就需要去重技术（重复数据删除技术）。数据去重技术通常用于基于磁盘的备份系统，通过在某个时间周期内删除不同文件中不同位置的重复可变大OGG应用复制进程报错OGG 01161
OGG 应用进程abend,通过report abend_process_name可以发现如下报错信息 ERROR OGG-01161 Bad column index (15) specified for table UPCENTER.STK_LIST, max columns = 15. 1.目标端，查询报错进程参数,目标端，源端表名称 ggsci> info all; view param abend_process_name;阻抗匹配 源端电阻 终端电阻
什么是阻抗 阻抗分三种，电阻、电容、电感，三者阻抗表达式如下： 符号 单位 表达式 备注 电阻 R 欧姆 Ω 电压电流相位相同 电容 C 法拉 F 电压相位落后电流90度 电感 L 亨利 H 电压相位超前电流90度 阻抗 Z一键同步脚本
那么你们有没有工作中需要临时多台机器同步文件内容，而这种环境却有不适合做任何自动化工具的时候呢？那么你们是怎么做的呢？难道手动同步嘛？ nonono，波哥来解救你们了~脚本还是老套路，修改参数文件即可完成同步。 那么我们看看配置文件，这里只需要配置这样的参数即可。