首页 > TAG信息列表 > otter
Otter 安装部署维护
介绍 淘宝开源的产品，基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库，一个分布式数据库同步系统。 目前同步规模： 同步数据量6亿 文件同步1.5TB(2000w张图片) 涉及200+个数据库实例之间的同步 80+台机器的集群规模 工作原理 原理描述： 1.基于Canal开zookeer 中查询 canal信息
zookeer 中查询 canal信息 ls /otter/canal:canal的根目录 ls /otter/canal/cluster:整个canal server的集群列表 ls /otter/canal/destinations:destination的根目录 get /otter/canal/destinations/{客户端订阅的destination}/running:服务端当前正在提供服务的running节Mysql写入数据时，adapter 日志报ES连接错误
Mysql写入数据时，adapter 日志报ES连接错误 日志如下： 2021-09-20 13:51:03.795 [pool-1-thread-1] ERROR c.a.otter.canal.adapter.launcher.loader.AdapterProcessor - NoNodeAvailableException[None of the configured nodes are available: [{#transport#-1}{S72RabnzTOyycanal使用
对于自建 MySQL , 需要先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式，my.cnf 中配置如下 [mysqld] log-bin=mysql-bin # 开启 binlog binlog-format=ROW # 选择 ROW 模式 server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复 注意：针对阿里云 RDS阿里Canal中间件的初步搭建和使用
一、前言 Binlog是MySQL数据库的二进制日志，用于记录用户对数据库操作的SQL语句（除了数据查询语句）信息。而Binlog格式也有三种，分别为STATEMENT、ROW、MIXED。STATMENT模式基于SQL语句的复制，每一条会修改数据的SQL语句会记录。ROW模式除了记录SQL语句之外，还会记录每个字段的变化情况，数据同步——otter
一、背景本人是一名应届毕业生，，还在努力挖坑。最近两个月被外派到其他公司做一个升级系统，做到现在一个多月。学到的东西很多，想总结的东西也很多，可是。。。时间是让人猝不及防的东西。好吧，现在先来总结otter数据同步。升级系统需要做到内网数据库(主)和外网的n个数据库(从)进行数据同阿里otter简单记录
简单测试了下阿里的otter，otter是阿里用于中美（远程）机房mysql数据库同步的工具，底层使用canal 如果不考虑机房距离，可以认为otter就是双向canal如果要同步的数据不多，并且希望有UI，可以使用otter替代手工canal配置otter 不支持schema同步otter有一个全表数据同步（未测试）https://githcanal-adapter同步数据时报错(c.a.otter.canal.adapter.launcher.loader.AdapterProcessor - java.lang.NullPoint)
ERROR c.a.o.canal.client.adapter.es.core.service.ESSyncService - sync error, es index: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 202拥抱云原生，如何将开源项目用k8s部署？
k8s以及云原生相关概念近年来一直比较火热，阿丸最近搞了个相关项目，小结一下。 本文将重点分享阿里开源项目otter适配k8s部署的改造过程，其中的改造过程和技巧应该适用于将大多数开源项目改造到k8s进行部署。 1.背景 otter是阿里开源的分布式数据库同步系统，基于数据库增量日志otter源码分析-(1)debug node源码
想解决一个源码的疑问，需要debug otter node模块。开启同步任务后，local node 的 mainstem一直 显示：定位中，数据更改后，同步功能不可用。 bug信息如下pid:8 nid:3 exception:canal:test_cancal_debug:java.lang.NullPointerException at com.alibaba.otter.canal.parse.inbound.my[canal数据库同步]使用canal同步数据的时候，在连接mysql数据库连接不上
2017-08-01 09:27:36.766 [main] INFO c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties] 2017-08-01 09:27:36.770 [main] INFO c.a.o.c.i.spring.support.PropertyPlaceholderConfigurerCanal和Otter介绍和使用
Canal Canal原理 原理相对比较简单： canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议 mysql master收到dump请求，开始推送binary log给slave(也就是canal) canal解析binary log对象(原始为byte流) Canal架构 Canotter自定义数据同步踩坑实录
otter自定义数据同步 otter支持数据处理自定义过程。 Extract模块： EventProcessor : 自定义数据处理，可以改变一条变更数据的任意内容 FileResolver : 解决数据和文件的关联关系 目前两者都只支持java语言编写，但都支持运行时动态编译&lib包载入的功能。 通过Otter Manager直接otter全量同步之自由门
原理：使用canel读取了源库的retl_buffer操作binlog来进行实现的，所以在使用此功能时，channel必须处于工作状态。 步骤一：在otter配置otter同步的库/表。 配置好channel—>pipeline—>映射关系列表，canal 步骤二：执行以下sql /* 供 otter 使用， otter 需要对 retl.* 的读写权限，以及Otter源码深入详解（一）
前言：Otter代码分为三个模块，manager、node、shared。 manager：管理后台模块 node：同步binlog，并将binlog进行ETL转换再插入库中的模块（核心） shared：顾名思义，manager、node共享模块 在学习代码前，需要能够将代码在本地运行。 代码地址：https://github.com/alibaba/otter 代码clone下mysql数据库同步系统otter部署实践（中国与欧洲同步）
[本博客已经迁移到http://blog.csdn.net/qq_28106715/article/details/71405507] [以下内容不再维护] otter的介绍就不说了， 自己去看官网https://github.com/alibaba/otter/wiki 本系统中， 中国的服务器部署在阿里云上， 欧洲服务器部署在亚马逊上， 由于阿里云的网络不支持外网回环访mysql数据库双机同步开源软件otter《转载》
先说下项目情况，数据库是只用于管理后台供管理员配置使用，不影响任何业务的主流程，单机房可以满足需求。 可是客户非要求用双机房双写，本着简单解决问题的想法，我们就打算采用单点写双读。可是结果。。。。郁闷的是，人家都懒得跟我们说一声原因，怎么问都往数据不一致问题上绕，，单写！额。。。mysql 开源 ~ canal+otter系列(2)
一 创建相应用户 源数据用户权限: GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO `retl`@'%'; 目的用户权限: GRANT SELECT,INSERT,UPDATE,DELETE,CREATE,DROP ON *.* TO `retl`@'%'; 二 进行验证 源数据库进行操作,查看目的数据库是否随着变化otter数据订阅&消费
介绍一款阿里巴巴的数据订阅&消费工具otter，这款产品当时用于解决阿里中美机房数据库实时同步问题。这里主要讲的是用otter增量同步生产数据库到测试环境数据库。otter的定位：基于数据库增量日志分析，实时同步数据为什么不用mysql自带的主从同步到测试？因为测试环境的特殊性，功能比较新，