首页 > TAG信息列表 > HistoryServer

kylin hdp1:110020 断开连接

多看日志，多思考原理以及它所关系到的进程 历史服务器没开启，一直都没开过，这次出现了这个问题 mr-jobhistory-daemon.sh start historyserver 查看进程    

02-Flink检查点

记录：Flink 检查点和状态后端在实际生产中用得特别多，通过学习记录，如果有不对的地方大家多多指教 1 Flink checkpoint实战篇 1.1 Flink配置 jobmanager.rpc.address: dw501 jobmanager.rpc.port: 6123 jobmanager.memory.process.size: 1600m taskmanager.memory.process.siz

Hadoop中的jobhistory配置与启动停止

jobhistory的配置 1、在yarn-site.xml中添加 <!-- 开启日志聚合 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> 2.在mapred-site.xml中添加 <!-- 设置jobhistoryserver 没有配置的话 history入口不可用 -->

1.Flink本地模式安装 Flink 1.12.1

步骤 1：下载 操作系统需求建议使用Linux系统例如Centos或Ubuntu系统，这里我使用的ubuntu20.04 为了运行Flink，只需提前安装好  Java 8 或者 Java 11 。你可以通过以下命令来检查 Java 是否已经安装正确。 java -version 打开Flink官网 https://flink.apache.org 或

flink: 容器化部署集群

在正式开发中，flink一般有采用容器部署。下文将分别介绍docker-compose部署和基于k8s部署。 镜像制作 直接采用官网镜像部署是可以运行的，但是无法在web ui页面中看到jobmanager和tastmanager的运行日志，因此需要对官方镜像进行修改。本节下述内容主要参考了博客https://blog.csdn.ne

Spark HistoryServer日志解析&清理异常

一、背景介绍 用户在使用 Spark 提交任务时，经常会出现任务完成后在 HistoryServer（Spark 1.6 和 Spark 2.1 HistoryServer 合并，统一由 Spark 2.1 HistoryServer 管控，因此本文的代码分析都是基于 Spark 2.1 版本的代码展开的）中找不到 appid 信息，尤其是对于失败的任务，用户无法查看日