首页 > TAG信息列表 > STREAMING

gRPC与REST对比

gRPC类型 ​ gRPC有四种类型: 1. UNARY: 单一的请求响应; 2. CLIENT STREAMING: 客户端流式发送,服务端单一响应; 3. SERVER STREAMING: 客户端单一请求,服务端流式响应; 4. BIDIRECTIONAL STREAMING: 双工流式请求响应 gRPC VS REST gRPC REST HTTP/2 most used HTTP/1.1 Protoc

Kafka和Spark Streaming实时计算框架整合说明

Spark Streaming只能充当Kafka的消费者 Spark Steaming整合Kafka数据,读取Kafka数据有两种方式 1、Receiver(使用Spark中接受器去处理Kafka的数据)方法----连接zookeeper集群读取数据-----仅作了解(被淘汰) 2、Direct方法--直连kafka集群读取数据 如果Spark Srreaming整合Kafka,需要引

MySQL出现客户端连接超时异常

一、错误日志 2022-08-30 03:14:45 org.apache.flink.streaming.runtime.tasks.AsynchronousException: Caught exception while processing timer. at org.apache.flink.streaming.runtime.tasks.StreamTask$StreamTaskAsyncExceptionHandler.handleAsyncException(StreamTa

1_Spark Streaming 概述

1. Spark Streaming 是什么 ? Spark Streaming 是 Spark Core 的扩展API 用来支持 高吞吐、高容错的 处理 流式数据 数据源可以是 : Kafka、TCP sockets、Flume、Twitter等流式数据源 处理数据: 可以用 Spark Core的算子 map、reduce、join、window

spark streaming 小案例

spark streaming 实时计算的案例 数据 {"car":"皖A9A7N2","city_code":"340500","county_code":"340522","card":117988031603010,"camera_id":"00001","orientation":"西南&q

Spark Streaming实时写入Hive当日分区

背景 由于需要查看原始数据,而原始数据实时产生,数据量较大,大约1万/分钟,写入MDB占用MDB的流量带宽,故考虑将原始数据写入Hive   逻辑 Spark Streaming作业中将消费的RDD整体处理为一个临时表,然后insert into到Hive表当日分区,即追加到当日分区   现状 写入少部分数据后就没有新数据

练习 : Flink sink to ElasticSearch

  ElasticSearch package test; import bean.Stu; import org.apache.flink.api.common.functions.RuntimeContext; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

实时计算框架对比-Flink/Spark Streaming/Storm

欢迎关注公众号:实时计算     引言 随着互联网和大数据技术的发展,实时计算框架也在推陈出新,向着高吞吐、高可用、低延迟准实时的方向发展。本文从几个方面全面对比业界流行的实时计算框架,总结了各框架的优缺点,希望对读者进行架构设计和技术选型提供帮助。   各框架对比概览  

SXSSFWorkbook.createAndRegisterSXSSFSheet Permission denied

线上环境问题 把运维把部署服务的用户从root改为新创建的账户jumstc,发现生成Excel的功能不行了 报错如下 java.lang.RuntimeException: java.io.IOException: Permission denied at org.apache.poi.xssf.streaming.SXSSFWorkbook.createAndRegisterSXSSFSheet(SXSSFWorkbo

使用Streaming Mipmap后纹理内存没有下降的疑问

1)使用Streaming Mipmap后纹理内存没有下降的疑问​2)TCP网络传输大端/小端疑问3)Texture Compression,Default和Override有什么关系4)如何快速清除Log   这是第299篇UWA技术知识分享的推送。今天我们继续为大家精选了若干和开发、优化相关的问题,建议阅读时间10分钟,认真读完必有收获

使用kafka-clients依赖后报错

一、报错信息如下: java.lang.NoSuchMethodError: org.apache.kafka.clients.producer.internals.TransactionalRequestResult.<init>(Ljava/lang/String;)V at org.apache.flink.streaming.connectors.kafka.internal.FlinkKafkaInternalProducer.enqueueNewPartitions(Fl

论文阅读 Streaming Graph Neural Networks

3 Streaming Graph Neural Networks link:https://dl.acm.org/doi/10.1145/3397271.3401092 Abstract 本文提出了一种新的动态图神经网络模型DGNN,它可以随着图的演化对动态信息进行建模。特别是,该框架可以通过捕获: 1、边的序列信息, 2、边之间的时间间隔, 3、信息传播耦合性 来不断更

《Streaming Systems》第三章: Watermarks

定义 对于一个处理无界数据流的 pipeline 而言,非常需要一个衡量数据完整度的指标,用于标识什么时候属于某个窗口的数据都已到齐,窗口可以执行聚合运算并放心清理,我们暂且就给它起名叫 watermark 吧。 可以把系统当前处理时间当做 watermark 吗?显然不可以。第一章 已经讨论过,处理时间

Spark Streaming DStream 转换操作

DStream 操作和RDD的操作很类似,分为 Transformations 转换和 Output Operations 输出两种,此外转换操作中还有一些比较复杂的算子,如:updateStateByKey(),transform()以及各种 Window 相关算子。 1、无状态转换操作  无状态转换操作就是把简单的RDD转换操作应用到每个批次上,也就是转

spark-streaming-kafka-0-10源码分析和spark闭包的链接整理

spark-streaming-kafka-0-10源码分析 https://cloud.tencent.com/developer/article/1594316 spark闭包 https://mp.weixin.qq.com/s/l_tfjPMEBjx-63aYyez5Qg

spark streaming整合kafka中非聚合类运算如何和kafka保持exactly once一致性语义(幂等性方式)

object KafkaToHbase { def main(args: Array[String]): Unit = { //true a1 g1 ta,tb val Array(isLocal, appName, groupId, allTopics) = args val conf = new SparkConf() .setAppName(appName) if (isLocal.toBoolean) { conf.setMas

spark streaming整合kafka中聚合类运算如何和kafka保持exactly once一致性语义(mysql方式,利用事务)

/** * 从Kafka读取数据,实现ExactlyOnce,偏移量保存到MySQL中 * 1.将聚合好的数据,收集到Driver端, * 2.然后建计算好的数据和偏移量在一个事物中同时保存到MySQL中 * 3.成功了提交事物 * 4.失败了让这个任务重启 * * MySQL数据库中有两张表:保存计算好的结果、保存偏移

Readings in Streaming Database Systems系列笔记

The Future of SQL: Databases Meet Stream Processing https://www.confluent.io/blog/databases-meet-stream-processing-the-future-of-sql/ 首先时代的改变,导致SQL所面对的场景的改变,以前是静态数据,而当前更多是 data is always in motion,其实就是StreamingSQL的概念 再者,tabl

FLink18--全窗口聚合方式2 ProcessWindowApp

一、依赖   二、代码 package net.xdclass.class11; import java.util.List; import java.util.stream.Collectors; import org.apache.commons.collections.IteratorUtils; import org.apache.flink.api.common.RuntimeExecutionMode; import org.apache.flink.api.java.funct

大数据系列-SPARK-STREAMING流数据window

大数据系列-SPARK-STREAMING流数据window package com.test import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} import org.apache.spark.streaming.{Seconds, StreamingContext} //window object SparkStrea

图解大数据 | 流式数据处理-Spark Streaming

作者:韩信子@ShowMeAI 教程地址:http://www.showmeai.tech/tutorials/84 本文地址:http://www.showmeai.tech/article-detail/179 声明:版权所有,转载请联系平台与作者并注明出处 1.Spark Streaming解读 1)Spark Streaming简介 Spark Streaming是Spark核心API的一个扩展,可以实现实时数

大数据索引页

  返回:    杂项索引页  大数据索引页        [Spark][Streaming]Spark读取网络输入的例子    返回:    杂项索引页

Spark和Flink两种大数据计算引擎对比

Flink vs Spark        Apache Spark和Flink都是下一代大数据工具抢占业界关注的焦点。两者都提供与Hadoop和NoSQL数据库的本机连接,并且可以处理HDFS数据。两者都是几个大数据的好方法问题。但由于其底层架构,Flink比Spark更快。Apache Spark是Apache存储库中最活跃的组件。S

flink The parallelism of non parallel operator must be 1

flink学习过程中遇到The parallelism of non parallel operator must be 1问题 Exception in thread "main" java.lang.IllegalArgumentException: The parallelism of non parallel operator must be 1.     at org.apache.flink.util.Preconditions.checkArgument(Precond

gRPC之Server Streaming

gRPC是什么? 简单来说,gRPC是google开发的一款开源RPC通讯框架,支持request/reponse模式、client stream模式、server stream模式和双向模式。 (双向(bi-directional)模式,感觉和传统的web socket很像) 现实场景中我们经常会遇到client端的一个请求,会在server端执行多个长耗时的任务,cl