streaming

首页 > TAG信息列表 > streaming

gRPC与REST对比

gRPC类型 gRPC有四种类型： 1. UNARY：单一的请求响应； 2. CLIENT STREAMING：客户端流式发送，服务端单一响应； 3. SERVER STREAMING：客户端单一请求，服务端流式响应； 4. BIDIRECTIONAL STREAMING：双工流式请求响应 gRPC VS REST gRPC REST HTTP/2 most used HTTP/1.1 Protoc

Kafka和Spark Streaming实时计算框架整合说明

Spark Streaming只能充当Kafka的消费者 Spark Steaming整合Kafka数据，读取Kafka数据有两种方式 1、Receiver（使用Spark中接受器去处理Kafka的数据）方法----连接zookeeper集群读取数据-----仅作了解（被淘汰） 2、Direct方法--直连kafka集群读取数据如果Spark Srreaming整合Kafka，需要引

MySQL出现客户端连接超时异常

一、错误日志 2022-08-30 03:14:45 org.apache.flink.streaming.runtime.tasks.AsynchronousException: Caught exception while processing timer. at org.apache.flink.streaming.runtime.tasks.StreamTask$StreamTaskAsyncExceptionHandler.handleAsyncException(StreamTa

1_Spark Streaming 概述

1. Spark Streaming 是什么？ Spark Streaming 是 Spark Core 的扩展API 用来支持高吞吐、高容错的处理流式数据数据源可以是 : Kafka、TCP sockets、Flume、Twitter等流式数据源处理数据: 可以用 Spark Core的算子 map、reduce、join、window

spark streaming 小案例

spark streaming 实时计算的案例数据 {"car":"皖A9A7N2","city_code":"340500","county_code":"340522","card":117988031603010,"camera_id":"00001","orientation":"西南&q

Spark Streaming实时写入Hive当日分区

背景由于需要查看原始数据，而原始数据实时产生，数据量较大，大约1万/分钟，写入MDB占用MDB的流量带宽，故考虑将原始数据写入Hive 逻辑 Spark Streaming作业中将消费的RDD整体处理为一个临时表，然后insert into到Hive表当日分区，即追加到当日分区现状写入少部分数据后就没有新数据

练习： Flink sink to ElasticSearch

ElasticSearch package test; import bean.Stu; import org.apache.flink.api.common.functions.RuntimeContext; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

实时计算框架对比-Flink/Spark Streaming/Storm

欢迎关注公众号：实时计算引言随着互联网和大数据技术的发展，实时计算框架也在推陈出新，向着高吞吐、高可用、低延迟准实时的方向发展。本文从几个方面全面对比业界流行的实时计算框架，总结了各框架的优缺点，希望对读者进行架构设计和技术选型提供帮助。各框架对比概览

SXSSFWorkbook.createAndRegisterSXSSFSheet Permission denied

线上环境问题把运维把部署服务的用户从root改为新创建的账户jumstc，发现生成Excel的功能不行了报错如下 java.lang.RuntimeException: java.io.IOException: Permission denied at org.apache.poi.xssf.streaming.SXSSFWorkbook.createAndRegisterSXSSFSheet(SXSSFWorkbo

使用Streaming Mipmap后纹理内存没有下降的疑问

1）使用Streaming Mipmap后纹理内存没有下降的疑问2）TCP网络传输大端/小端疑问3）Texture Compression，Default和Override有什么关系4）如何快速清除Log 这是第299篇UWA技术知识分享的推送。今天我们继续为大家精选了若干和开发、优化相关的问题，建议阅读时间10分钟，认真读完必有收获

使用kafka-clients依赖后报错

一、报错信息如下： java.lang.NoSuchMethodError: org.apache.kafka.clients.producer.internals.TransactionalRequestResult.<init>(Ljava/lang/String;)V at org.apache.flink.streaming.connectors.kafka.internal.FlinkKafkaInternalProducer.enqueueNewPartitions(Fl

论文阅读 Streaming Graph Neural Networks

3 Streaming Graph Neural Networks link：https://dl.acm.org/doi/10.1145/3397271.3401092 Abstract 本文提出了一种新的动态图神经网络模型DGNN，它可以随着图的演化对动态信息进行建模。特别是，该框架可以通过捕获： 1、边的序列信息， 2、边之间的时间间隔， 3、信息传播耦合性来不断更

《Streaming Systems》第三章: Watermarks

定义对于一个处理无界数据流的 pipeline 而言，非常需要一个衡量数据完整度的指标，用于标识什么时候属于某个窗口的数据都已到齐，窗口可以执行聚合运算并放心清理，我们暂且就给它起名叫 watermark 吧。可以把系统当前处理时间当做 watermark 吗？显然不可以。第一章已经讨论过，处理时间

Spark Streaming DStream 转换操作

DStream 操作和RDD的操作很类似，分为 Transformations 转换和 Output Operations 输出两种，此外转换操作中还有一些比较复杂的算子，如：updateStateByKey(),transform()以及各种 Window 相关算子。 1、无状态转换操作无状态转换操作就是把简单的RDD转换操作应用到每个批次上，也就是转

spark-streaming-kafka-0-10源码分析和spark闭包的链接整理

spark-streaming-kafka-0-10源码分析 https://cloud.tencent.com/developer/article/1594316 spark闭包 https://mp.weixin.qq.com/s/l_tfjPMEBjx-63aYyez5Qg

spark streaming整合kafka中非聚合类运算如何和kafka保持exactly once一致性语义（幂等性方式）

object KafkaToHbase { def main(args: Array[String]): Unit = { //true a1 g1 ta,tb val Array(isLocal, appName, groupId, allTopics) = args val conf = new SparkConf() .setAppName(appName) if (isLocal.toBoolean) { conf.setMas

spark streaming整合kafka中聚合类运算如何和kafka保持exactly once一致性语义（mysql方式，利用事务）

/** * 从Kafka读取数据，实现ExactlyOnce，偏移量保存到MySQL中 * 1.将聚合好的数据，收集到Driver端， * 2.然后建计算好的数据和偏移量在一个事物中同时保存到MySQL中 * 3.成功了提交事物 * 4.失败了让这个任务重启 * * MySQL数据库中有两张表：保存计算好的结果、保存偏移

Readings in Streaming Database Systems系列笔记

The Future of SQL: Databases Meet Stream Processing https://www.confluent.io/blog/databases-meet-stream-processing-the-future-of-sql/ 首先时代的改变，导致SQL所面对的场景的改变，以前是静态数据，而当前更多是 data is always in motion，其实就是StreamingSQL的概念再者，tabl

FLink18--全窗口聚合方式2 ProcessWindowApp

一、依赖二、代码 package net.xdclass.class11; import java.util.List; import java.util.stream.Collectors; import org.apache.commons.collections.IteratorUtils; import org.apache.flink.api.common.RuntimeExecutionMode; import org.apache.flink.api.java.funct

大数据系列-SPARK-STREAMING流数据window

大数据系列-SPARK-STREAMING流数据window package com.test import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} import org.apache.spark.streaming.{Seconds, StreamingContext} //window object SparkStrea

图解大数据 | 流式数据处理-Spark Streaming

作者：韩信子@ShowMeAI 教程地址：http://www.showmeai.tech/tutorials/84 本文地址：http://www.showmeai.tech/article-detail/179 声明：版权所有，转载请联系平台与作者并注明出处 1.Spark Streaming解读 1）Spark Streaming简介 Spark Streaming是Spark核心API的一个扩展，可以实现实时数

大数据索引页

返回: 杂项索引页大数据索引页 [Spark][Streaming]Spark读取网络输入的例子返回: 杂项索引页

Spark和Flink两种大数据计算引擎对比

Flink vs Spark 　　Apache Spark和Flink都是下一代大数据工具抢占业界关注的焦点。两者都提供与Hadoop和NoSQL数据库的本机连接，并且可以处理HDFS数据。两者都是几个大数据的好方法问题。但由于其底层架构，Flink比Spark更快。Apache Spark是Apache存储库中最活跃的组件。S

flink The parallelism of non parallel operator must be 1

flink学习过程中遇到The parallelism of non parallel operator must be 1问题 Exception in thread "main" java.lang.IllegalArgumentException: The parallelism of non parallel operator must be 1. at org.apache.flink.util.Preconditions.checkArgument(Precond

gRPC之Server Streaming

gRPC是什么？简单来说，gRPC是google开发的一款开源RPC通讯框架，支持request/reponse模式、client stream模式、server stream模式和双向模式。 (双向(bi-directional)模式，感觉和传统的web socket很像) 现实场景中我们经常会遇到client端的一个请求，会在server端执行多个长耗时的任务，cl