别小看tail 命令，它难倒了技术总监
作者：互联网
这是xjjdog第200篇原创
原创：小姐姐味道（微信公众号ID：xjjdog），欢迎分享，转载请保留出处。
tail命令能够看到日志的滚动，非常方便。于是xjjdog想，既然我们能够用这个命令，看到所有的日志，那能不能使用tail命令，做日志收集呢？
想象归想象，如果你想要一个快速的实时日志收集工具，那tail确实是个非常棒的工具。它比什么flume、logstatsh，比什么filebeat之类的，快捷的多。事实上，在工具缺乏的旧年代，我就曾经这么干过，而且它工作的很好。
下面是一段使用Java语言书写的代码。我们可以按行读取日志，然后使用自己喜欢的语言，做任何事情。
import java.io.BufferedReader;import java.io.InputStreamReader;public class TailReader {public static void main(String[] args) throws Exception {
ProcessBuilder ps = new ProcessBuilder("tail", "-f", "/tmp/tail0");//把错误输出也打印ps.redirectErrorStream(true);
Process process = ps.start();//持续读取tail的输出try (BufferedReader in = new BufferedReader(new InputStreamReader(process.getInputStream()))) {
String line;while ((line = in.readLine()) != null) {
setLogToKafka(line);//注意这里不要产生异常，否则会打断while循环}
}
}//模拟发送到kafka，我们这里只简单的打印出来static void setLogToKafka(String line) {
System.out.println(line);
}
}复制代码主要的思想，就是使用Java的Process启动一个子tail进程，一直监控着文件的输出。然后把标准输出和标准错误流，全部定向到BufferedReader中。接下来，你能做你想要做的任何事。
这有一定的风险，假如tail命令被杀掉了，我们的Java程序就失去了作用。
程序很简单，但xjjdog在这里讨论的却不是这个简单的收集程序，而是tail命令的一些有趣的特性，你可以从中一窥一些日志收集工具对文件的特殊处理。
你知道tail -f和tail -F的区别么？
在回答这个问题之前，我们先回忆一下，Java常用的日志框架，对日志的处理。
<configuration>
<appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender"><!-- Support multiple-JVM writing to the same log file --><prudent>true</prudent><rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"> <fileNamePattern>logFile.%d{yyyy-MM-dd}.log</fileNamePattern> <maxHistory>30</maxHistory>
<totalSizeCap>3GB</totalSizeCap></rollingPolicy><encoder> <pattern>%-4relative [%thread] %-5level %logger{35} - %msg%n</pattern></encoder>
</appender>
<root level="DEBUG"><appender-ref ref="FILE" />
</root></configuration>复制代码上面的配置，将在每晚凌晨的时候，滚动形成一个新的文件。
那这个滚动，是如何做的呢？我们可以收工模拟这个过程。
mv run.log run.2020-11-02.log touch run.log复制代码
测试一下
文件滚动，会生成新的文件，那tail命令还能跟踪到么？
我们来测试一下。
第一步，创建要监控的文件
touch /tmp/tail0复制代码
第二步，启动我们的Java代码
第三步，生成一个不间断的流
watch -n 1 'echo `date` >> /tmp/tail0 '复制代码
上面的命令每隔1秒钟，往我们的文件中打印一下当前的日期，可以看到Java端已经收到了这些数据。
第四步，模拟文件滚动
mv /tmp/tail0 /tmp/tail.bak touch /tmp/tail0复制代码
此时，我们可以看到，Java端此时已经接受不到数据了。
Why?
为了看到这是为什么，我们使用两个命令来看一下进程的一些状态。
首先，使用ps命令，查看当前的tail进程。
ps -ef|grep tail 501 21374 21373 0 1:51PM ?? 0:00.01 tail -f /tmp/tail0复制代码
这正是我们的命令。
我们使用lsof命令去查看这个进程所关联的文件。
lsof -p 21374 | awk '{print $4 "\t" $9}'FD NAME
cwd /tmp/
txt /usr/bin/tail
txt /usr/lib/dyld
3r /private/tmp/tail.bak复制代码我们看到tail进程所监控的文件，其实是tail.bak文件，已经和tail命令没什么关系了。
我们尝试像tail.bak输入一点内容。
echo "haha: xjjdog, i am from tail.bak" >> /tmp/tail.bak复制代码
此时如我们所愿，Java进程有反应了，正常输出了这句话。
怎么办？
就如同我们问题中问的一样，把tail -f换成tail -F就可以了。
tail -f的意思是，根据文件描述符进行追踪。
tail -F的意思是，根据文件名进行追踪，它会有重试的动作。
所以，我们的日志收集程序，毫无疑问是根据日志名称追踪的，应该把f改成F。
End
既然知道了这些小区别，我们就对日常工作中遇到的一些灵异问题有了解释。
大家都知道rm命令，能够删除一个文件。如果有这个文件，正在被其他进程所使用，那这些文件你看起来像是删掉了，但它的内容却不释放。
lsof | grep deleted复制代码
上面这个命令，能够看到这些失控的文件。一般你kill掉相应的进程，这些句柄也就释放了。但你删除这些文件的本意，就是为了避免重启应用，这可真让人纠结。
cat /dev/null > logpath复制代码
所以我们在删除文件的时候，一般不会使用rm，而应该使用重定向符号。将万物皆空的/dev/null，发向它们。
作者简介：小姐姐味道 (xjjdog)，一个不允许程序员走弯路的公众号。聚焦基础架构和Linux。十年架构，日百亿流量，与你探讨高并发世界，给你不一样的味道。我的个人微信xjjdog0，欢迎添加好友，进一步交流。
标签：tmp,文件,小看,难倒,tail,Java,日志,代码 来源： https://blog.51cto.com/u_14355948/2709497