java-Spark历史记录日志手动解压缩
作者：互联网
我的火花历史记录服务器存在一些问题,因此尝试手动解压缩lz4日志.我安装了liblz4-tool,并下载了应用程序日志application_1510049252849_0303.lz4.但是当使用lz4〜/ application_1510049252849_0303.lz4解压缩时,出现以下错误：
Error 44 : Unrecognized header : file cannot be decoded
而对于每个火花历史记录lz4文件,我都有这个.解决办法是什么？有没有办法手动打开它？
解决方法:
我昨天在尝试解压缩lz4事件日志时遇到了相同的错误.显然,hadoop lz4编解码器与其他lz4编解码器之间似乎不兼容：请参阅https://issues.apache.org/jira/browse/HADOOP-12990.
值得一提的是,Spark历史记录服务器可以读取lz4中的压缩事件日志,因此您无需手动对其进行解压缩.希望这可以帮助.
标签：scala,apache-spark,lz4,java 来源： https://codeday.me/bug/20191110/2015112.html