编程语言
首页 > 编程语言> > Castled 源码解析 - connector 模块connector以及poller说明

Castled 源码解析 - connector 模块connector以及poller说明

作者:互联网

connector 属于Castled 一个比较核心的东西,包含了核心部分的datawarehouse数据poll 处理,同时也包含了对于不同外部服务集成的处理
当然才代码中我们也可以看到一部分基于stream 的处理(文件,jdbc,s3.。。。),auth部分基于了oauth目前更多是关注认证,但是没有授权的处理
以下主要说明下关于jdbc 的处理以及数据poll的处理,关于外部集成部分后边单独介绍(属于一个重点)

代码结构

 
├── LICENSE.md
├── javadoc
│   └── README.md
├── pom.xml
└── src
    ├── main
    │   └── java
    │       └── io
    │           └── castled
    │               ├── OptionsReferences.java
    │               ├── apps
    │               ├── cache
    │               ├── commons // 异常以及模型,同时包含了stream 的处理(主要处理csv以及json格式的)
    │               ├── constants
    │               ├── dtos
    │               ├── exceptions
    │               ├── filestorage // 基于对象存储的处理(目前主要是aws 以及gcs)
    │               ├── jdbc  // jdbc 访问处理,包含链接管理以及ssh tunnel 的集成
    │               ├── models  
    │               ├── oauth
    │               ├── optionsfetchers
    │               ├── services
    │               ├── utils
    │               └── warehouses // 包含了关于基于pg datawarehouse 的处理,核心
    └── test
        └── java
            └── io
                └── castled
                    ├── AppTest.java
                    └── warehouses
 

代码说明

connector 组件关系

 

 


poller

 

 


poller 依赖的RecordInputStream
RecordInputStream类继承关系

 

 

说明

以上主要简单介绍关于connector以及poller说明,后边会详细说明下内部实现细节

参考资料

https://github.com/castledio/castled
https://oss-docs.castled.io/getting-started/Pipelines/overview

标签:jdbc,java,处理,castled,connector,源码,Castled,poller
来源: https://www.cnblogs.com/rongfengliang/p/15858632.html