其他分享
首页 > 其他分享> > 【原】MDC日志链路设计

【原】MDC日志链路设计

作者:互联网

背景

  我们项目中现有日志系统,采用的是slf4j+logback这套日志组件,也是Java生态里面比较常用的一个日志组件,但是随着分布式的演进,这套组件明显存在以下几个问题:

  1.各种无关日志穿行其中,导致我们可能无法直接定位整个操作流程。因此,我们可能需要对一个用户的操作流程进行归类标记,既在其日志信息上添加一个唯一标识,比如使用线程+时间戳,或者用户身份标识等;从大量日志信息中grep出某个用户的操作流程。   2.无法做信息埋点,也就不方便做后续系统、业务上进行分析   3.日志排查不方便,需要通过linux命令去导出或者在线查看日志

解决方案

   笔者之前在携程集团的时候,内部已经孵化了大量的中间件,其中分布式日志组件已经应用在各大事业部下的不同应用,据统计整个集团上万个应用都接入到这个日志组件,根据印象大概画了一个设计图

 

 正文

  本篇博客主题是MDC(MDC 全称是 Mapped Diagnostic Context,可以粗略的理解成是一个线程安全的存放诊断日志的容器),其具体流程是通过某些标识将整个轨迹串起来,例如A-B-C-远程接口-D这条链路相关日志信息在日志文件里可以通过某个标识快速查找。下面介绍下目前我负责的项目中日志方案

logback.xml

  将traceId配置在logback.xml,有点像占位符的方式

 

 MDC

      将对应的traceId变量通过MDC写入

 

源码分析

   1.MDC是什么?

    下图可知MDC是slf4j-api的一个类,里面提供了put,get,remove等方法,看完源码其实可知就是一个ThreadLocal,每put一个元素就放到里面,当调用logger.info的时候将ThreadLocal变量取出赋到输出日志

 

    

 

 

 

由上可知

1 MDCAdapter 是一个适配接口,存放于spi包下面,由此便知MDCAdapter是为了适配其它日志组件

2 MDC 提供的 put 方法,可以将一个 K-V 的键值对放到容器中,并且能保证同一个线程内,Key 是唯一的,不同的线程 MDC 的值互不影响

3 在 logback.xml 中,在 layout 中可以通过声明 %X{REQ_ID} 来输出 MDC 中 REQ_ID 的信息

4 MDC 提供的 remove 方法,可以清除 MDC 中指定 key 对应的键值对信息

 

LogbackMDCAdapters源码

 

 


  如上是MDC的使用方法以及源码分析,下面介绍的是本地调用外部系统的时候,假设用 的是restTemplate,那么得考虑如何把调用前后的日志情况进行抽取封装,做到统一打印,因为笔者之前的代码是没有做抽取,导致每个不同的调用方法都要手动去写log.info,这样的做法虽然没有大问题,但是明显是比较多余且可以进行抽取

 

外部接口日志轨迹输出

    调用过程中涉及到外部接口,由于外部接口是在第三方系统,我们无法将traceId传递下去,需要改造我们这边的远程调用代码,由于笔者项目用的是restTemplate,所以需要对restTemplate添加拦截器,用于发送请求前和请求后打印出相关日志,如下是我这边的restTemplate对应的日志拦截器

class MyRequestInterceptor implements ClientHttpRequestInterceptor {

        @Override
        public ClientHttpResponse intercept(HttpRequest request, byte[] bytes, ClientHttpRequestExecution execution) throws IOException {
            traceRequest(request, bytes);

            ClientHttpResponse response = execution.execute(request, bytes);
            ClientHttpResponse responseCopy = new BufferingClientHttpResponseWrapper(response);
            traceResponse(responseCopy);
            return responseCopy;
        }

        /**
         * 打印请求数据
         *
         * @param request 请求
         * @param bytes   请求体
         */
        private void traceRequest(HttpRequest request, byte[] bytes) {
            String body = new String(bytes, StandardCharsets.UTF_8);
            log.info("Request Body = {}", body);
        }

        /**
         * 打印响应结果
         *
         * @param response 响应结果
         * @throws IOException io
         */
        private void traceResponse(ClientHttpResponse response) throws IOException {
            StringBuilder inputStringBuilder = new StringBuilder();
            try (BufferedReader bufferedReader =
                         new BufferedReader(new InputStreamReader(response.getBody(), StandardCharsets.UTF_8))) {
                String line = bufferedReader.readLine();
                while (line != null) {
                    inputStringBuilder.append(line);
                    // inputStringBuilder.append('\n');
                    line = bufferedReader.readLine();
                }
            }
            log.info("Response Body: {}", inputStringBuilder.toString());
        }

        final class BufferingClientHttpResponseWrapper implements ClientHttpResponse {
            private final ClientHttpResponse response;
            private byte[] body;

            BufferingClientHttpResponseWrapper(ClientHttpResponse response) {
                this.response = response;
            }


            @Override
            public HttpStatus getStatusCode() throws IOException {
                return this.response.getStatusCode();
            }

            @Override
            public int getRawStatusCode() throws IOException {
                return this.response.getRawStatusCode();
            }

            @Override
            public String getStatusText() throws IOException {
                return this.response.getStatusText();
            }

            @Override
            public HttpHeaders getHeaders() {
                return this.response.getHeaders();
            }

            @Override
            public InputStream getBody() throws IOException {
                if (this.body == null) {
                    this.body = StreamUtils.copyToByteArray(this.response.getBody());
                }
                return new ByteArrayInputStream(this.body);
            }

            @Override
            public void close() {
                this.response.close();
            }

        }
    }

  

最后

   以上就是关于MDC常见的使用场景,包括携程里面的日志组件其实内部也是通过MDC实现,只不过是根据业务做了调整,一般分布式环境下最好将日志输出到Redis或者ES,然后提供一个界面查询日志,目前也有很多类似的开源框架集成了分布式链路日志打印+看板

 

 

标签:throws,MDC,response,IOException,链路,日志,public
来源: https://www.cnblogs.com/zdd-java/p/15630210.html