首页 > TAG信息列表 > flink
flink-cdc同步mysql数据到hive
本文首发于我的个人博客网站 等待下一个秋-Flink 什么是CDC？ CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行Windows安装Flink20220915
1.官方下载地址 https://flink.apache.org/zh/downloads.html#apache-flink-1144 最好用国内镜像下载比较快 下载后对压缩包解压，路径自定义 2.安装包中是不含启动bat的，需要我们新建 flink.bat 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24Calcite
Calcite 是什么？如果用一句话形容 Calcite，Calcite 是一个用于优化异构数据源的查询处理的基础框架。 最近十几年来，出现了很多专门的数据处理引擎。例如列式存储 (HBase)、流处理引擎 (Flink)、文档搜索引擎 (Elasticsearch) 等等。这些引擎在各自针对的领域都有独特的优势，在现有复Flink-容错机制-检查点原理和算法
一、一致性检查点（Checkpoints） Flink故障恢复机制的核心，就是应用状态的一致性检查点 有状态流应用的一致性检查点，其实就是所有任务的状态，在某个时间点的一份拷贝（一份快照）；这个时间点，应该是所有任务都恰好处理完一个相同的输入数据的时候 二、从检查点恢复状态 在执行流应Flink1.12学习笔记
一、Flink简介 Flink是有状态的流式计算。 Flink是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。 Flink可以部署在任意地方，Apache flink是一个分布式系统，集成了所有常见的集群资源管理器。如hadoop yarn，Apache mesos和kubernetes（k8s）。也可以作为独立十、Flink中的时间和窗口之时间语义
时间语义 “时间”，从理论物理和哲学的角度解释，可能有些玄妙；但对于我们来说，它其实是生活中再熟悉不过的一个概念。一年365天，每天24小时，时间就像缓缓流淌的河，不疾不徐、无休无止地前进着，它是我们衡量事件发生和进展的标准尺度。如果想写抒情散文或是科幻小说，时间无疑是个绝好的题材使用docker-compose搭建flink集群
第一步：安装docker和docker-compose并赋予权限 第二步：利用docker-compose构建容器 1 version: "2.1" 2 services: 3 jobmanager: 4 image: flink:1.9.2-scala_2.12 5 expose: 6 - "6123" 7 ports: 8 - "8081:8081" 9驱动开发：摘链DKOM进程隐藏
DKOM 即直接内核对象操作，我们所有的操作都会被系统记录在内存中，而驱动进程隐藏就是操作进程的EPROCESS结构与线程的ETHREAD结构、链表，要实现进程的隐藏我们只需要将某个进程中的信息，在系统EPROCESS链表中摘除即可实现进程隐藏。 结构体中包含了系统中的所有进程相关信息，通过WinDBMySQL出现客户端连接超时异常
一、错误日志 2022-08-30 03:14:45 org.apache.flink.streaming.runtime.tasks.AsynchronousException: Caught exception while processing timer. at org.apache.flink.streaming.runtime.tasks.StreamTask$StreamTaskAsyncExceptionHandler.handleAsyncException(StreamTaFlink数仓项目常见问题总结
Flink数仓项目常见问题总结 一、开发中的常见bug 1、OutputTag的对象新建问题缺少花括号 Exception in thread "main" org.apache.flink.api.common.functions.InvalidTypesException: Could not determine TypeInformation for the OutputTag type. The most commFlink 消费 Kafka 数据后在写回 Kafka 示例
今天介绍一下 Flink从kafka 读取数据后，再将数据写回 kafka 的一个案例 示例代码 /** * 从一个 topic 读取数据，在写回另一个 topic */ public class SinkToKafka0824 { public static void main(String[] args) throws Exception { //1、获取执行环境 Strflink cdc 使用
flink cdc 使用 目前 cdc 产品 非常多 ，目前我使用canal ，flink cdc （集成 debezium） 二者 对比相对来说 flink cdc 更加强大，功能很多 但是 有很多 坑，迭代速度很快，借助flink 分布式计算框架，分布式处理 数据。 1. canal 装个服务端，客户端自己写，当然也提供了一些适配器，我之前是定制Seatunnel超高性能分布式数据集成平台使用体会
@目录概述定义使用场景特点工作流程连接器转换为何选择SeaTunnel安装下载配置文件部署模式入门示例启动脚本配置文件使用参数示例Kafka进Kafka出的ETL示例Flink Run传递参数 概述 定义 http://seatunnel.incubator.apache.org/ https://github.com/apache/incubator-seatunnel SeFlink出现network.partition.ProducerFailedException: java.lang.NullPointerException
一、错误日志 org.apache.flink.runtime.io.network.netty.exception.RemoteTransportException: Error at remote task manager 'xx.xxx.xxx.xxx/xxx.xxx.xxx.xxx:34750'. at org.apache.flink.runtime.io.network.netty.CreditBasedPartitionRequestClientHandler.decoFlink1.10定义UDAGG遇到SQL validation failed. null 问题
按照以下代码测试定义的UDAGG会一直出现org.apache.flink.table.api.ValidationException: SQL validation failed. null 问题 import org.apache.flink.configuration.JobManagerOptions import org.apache.flink.table.api.scala.BatchTableEnvironment import org.apache.flin新一代分布式实时流处理引擎Flink入门实战操作篇
@目录安装部署安装方式Local(Standalone 单机部署)Standalone部署Standalone HA部署Flink On Yarn演示案例概述会话（Session）模式单作业（Per-Job）模式流程演示应用（Application）模式 安装部署 安装方式 Flink安装支持多种方式，包括Flink Local和Flink Standalone、Flink On Yarn、Flink OFlink 内置函数
转载：https://blog.csdn.net/u011707542/article/details/101013751?spm=1001.2101.3001.6650.3&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-3-101013751-blog-120987151.pc_relevant_default&depth_1-utm_source=distribute.pc_r深入解析 Flink 细粒度资源管理
细粒度资源管理的背景 目的 Flink 目前采用粗粒度的资源管理方法，其中task被部署到预定义的、通常相同的slot中，而不需要每个包含多少资源的概念。使用slot共享，可以将同一slot共享组 (SSG)中的task部署到一个slot中，而不管每个task/operator需要多少资源。在FLIP-56中，我们提出了细粒flink udaf函数
1.Flink-sql自定义UDAF函数 - 简书 (jianshu.com) 2.Flink SQL 自定义UDAF_k_wzzc的博客-CSDN博客_flink udaf 3.Flink 实践教程-进阶（10）：自定义聚合函数（UDAF）_腾讯云大数据的博客-CSDN博客_flink udaf 4.Flink UDAF使用教程！！！ - 墨天轮 (modb.pro) 5.自定义聚合函数（UDAF） (aliyun.com)Flink总结
Flink总结 从头儿过一遍书，做了些摘要。SQL那里还没仔细复习。 一、初始Flink 核心目标：数据流上的有状态计算 具体定位：以内存执行速度（速度快）和任意规模来执行计算（可扩展性强） -> 小松鼠快速灵巧 有状态的流处理可用于许多不同场景： 事件驱动型应用：以Kafka为代表的消息队列几Dinky实时计算平台
前言：Apache Flink 作为新一代的实时计算框架已经被应用到各个行业与领域，其岂存在着应用的痛点比如 FlinkSQL 在线IDE、作业提交不友好、作业无监控报警等。很大程度上说，FlinkSQL 加快了 Flink 的应用推广，而开源项目 Dinky 改善了 Flink 的部分痛点问题来优化 FlinkSQL 应用体验。1. Flink实时数仓
1. Flink实时数仓 1.1 离线数仓 1.2 离线数仓迁移实时数仓 1.3 实时数仓 1.4 实时ETL 1.5 实时指标统计 1.6 实时标签导入 1.7 端到端的实时处理 1.8 端到端的血缘关系 1.9 离线实时一体化报错：Flink cannot assign instance of org.apache.commons.collections.map.LinkedMap to field
报错背景 运行Flink jar包时出现报错。 报错现象 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/msun/software/flink-1.13.6/lib/log4j-slf4j-impl-2.17.1.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding iflink-优化（MiniBatch_Local-Global,反压）
8、优化 1、MiniBatch 聚合 flink默认是每一条数据都会取更新状态 MiniBatch ：缓存一批数据一起更新状态，优点：增加吞吐量，缺点：增加延迟- 开启MiniBatch -- sql中开启 -- 开启 set table.exec.mini-batch.enabled=true; -- 最大缓存时间 set table.exec.mini-batch.allow-latencyFlink SQl 语法(hint,with,select,分组窗口聚合，时间属性（处理，事件）)
6、Flink SQl 语法 1、查询语句 1、hint 在对表进行查询的是偶动态修改表的属性 -- 创建表 CREATE TABLE word ( lines STRING ) WITH ( 'connector' = 'kafka', 'topic' = 'word', 'properties.bootstrap.servers' = 'master:9092,no