编程语言
首页 > 编程语言> > Asp.NetCore+Elasticsearch+Kibana日志记录

Asp.NetCore+Elasticsearch+Kibana日志记录

作者:互联网

之前看留言一篇关于Elasticsearch搜索引擎的文章,今天试着用Elasticsearch写了一下日志统计的Demo,下面就记录一下 Asp.NetCore+Elasticsearch+Kibana日志记录 的使用过程

一、安装Elasticsearch

1、下载 Elasticsearch  https://www.elastic.co/cn/downloads/elasticsearch 

2、 解压文件 找到 bin 目录下 elasticsearch.bat 文件 双击运行

3、 你会在控制台看到

访问 http://127.0.0.1:9200/ 你会看到如下返回格式,说明 elasticsearch 安装成功

{
  "name" : "PC-20150622CPXX",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "EvGRrqQiRSuJVe4tsc4NSw",
  "version" : {
    "number" : "7.3.0",
    "build_flavor" : "default",
    "build_type" : "zip",
    "build_hash" : "de777fa",
    "build_date" : "2019-07-24T18:30:11.767338Z",
    "build_snapshot" : false,
    "lucene_version" : "8.1.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

 

二、创建项目

三、添加Nuget包

Install-Package NLog.Web.AspNetCore
Install-Package NLog
Install-package NLog.Targets.ElasticSearch

四、编写NLog.config配置文件

<?xml version="1.0" encoding="utf-8" ?>
<nlog xmlns="http://www.nlog-project.org/schemas/NLog.xsd"
      xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
      internalLogToConsole="true">
  <extensions>
    <add assembly="NLog.Targets.ElasticSearch"/>
  </extensions>
​
  <targets>
    <target name="ElasticSearch" xsi:type="ElasticSearch" 
            ConnectionStringName="http://localhost:9200" 
            index="Jon.NLog-${date:format=yyyy.MM.dd}" 
            documentType="doc" 
            includeAllProperties="true" 
            layout="[${date:format=yyyy-MM-dd HH\:mm\:ss}][${level}] ${logger} ${message} ${exception:format=toString}">
      <field name="MachineName" layout="${machinename}" />
      <field name="Time" layout="${longdate}" />
      <field name="level" layout="${level:uppercase=true}" />
      <field name="logger" layout=" ${logger}" />
      <field name="message" layout=" ${message}" />
      <field name="exception" layout=" ${exception:format=toString}" />
      <field name="processid" layout=" ${processid}" />
      <field name="threadname" layout=" ${threadname}" />
      <field name="stacktrace" layout=" ${stacktrace}" />
      <field name="Properties" layout="
             ${machinename} 
             ${longdate} 
             ${level:uppercase=true} 
             ${logger} 
             ${message} 
             ${exception}|${processid}|${stacktrace}|${threadname}" />
    </target>
  </targets>
  <rules>
    <logger name="*" minlevel="INFO" writeTo="ElasticSearch" />
  </rules>
</nlog>

配置文件说明:

ConnectionStringName:连接字符串

Index:ES索引

documentType:ES类型

layout:布局

layout可配置变量如下:

 

$ {activityid} - 将一个System.Diagnostics跟踪关联ID放入日志中。
$ {all-event-properties} - 记录所有事件上下文数据。
$ {appdomain} - 当前的应用程序域。
$ {assembly-version} - 默认应用程序域中可执行文件的版本。
$ {basedir} - 当前应用程序域的基本目录。
$ {callsite} - 呼叫站点(类名称,方法名称和源信息)。
$ {callsite-linenumber} - 呼叫站点源行号。
$ {counter} - 一个计数器值(每个布局渲染都会增加)。
$ {currentdir} - 应用程序的当前工作目录。
$ {date} - 当前日期和时间。
$ {document-uri} - 托管当前Silverlight应用程序的HTML页面的URI。
$ {environment} - 环境变量。
$ {event-properties} - 记录事件属性数据 - 重命名$ {event-context}。
$ {exception} - 通过调用其中一个Logger * Exception()方法提供的异常信息。
$ {file-contents} - 渲染指定文件的内容。
$ {gc} - 关于垃圾收集器的信息。
$ {gdc} - 全局诊断上下文项目。字典结构来保存每个应用程序实例值。
$ {guid} - 全局唯一标识符(GUID)。
$ {identity} - 线程标识信息(名称和认证信息)。
$ {install-context} - 安装参数(传递给InstallNLogConfig)。
$ {level} - 日志级别。
$ {literal} - 一个字符串文字。
$ {log4jxmlevent} - 与log4j,Chainsaw和NLogViewer兼容的XML事件描述。
$ {logger} - 记录器名称。
$ {longdate} - 日期和时间格式很长,可排序yyyy-MM-dd HH:mm:ss.ffff。
$ {machinename} - 进程正在运行的机器名称。
$ {mdc} - 映射的诊断上下文 - 一个线程局部结构。
$ {mdlc} - 异步映射的诊断上下文 - 一个线程局部结构。
$ {message} - 格式化的日志消息。
$ {ndc} - 嵌套的诊断上下文 - 一个线程局部结构。
$ {ndlc} - 异步嵌套诊断上下文 - 一个线程局部结构。
$ {newline} - 换行符。
$ {nlogdir} - NLog.dll所在的目录。
$ {performancecounter} - 性能计数器。
$ {processid} - 当前进程的标识符。
$ {processinfo} - 关于正在运行的进程的信息。
$ {processname} - 当前进程的名称。
$ {processtime} - 格式为HH:mm:ss.mmm的处理时间。
$ {qpc} - 高精度计时器,基于从QueryPerformanceCounter()返回的值(可选地转换为秒)。
$ {registry} - 来自注册表的值。
$ {sequenceid} - 日志序列标识
$ {shortdate} - 可排序格式的短日期yyyy-MM-dd。
$ {sl-appinfo} - 有关Silverlight应用程序的信息。
$ {specialfolder} - 系统特殊文件夹路径(包括我的文档,我的音乐,程序文件,桌面等)。
$ {stacktrace} - 堆栈跟踪渲染器。
$ {tempdir} - 一个临时目录。
$ {threadid} - 当前线程的标识符。
$ {threadname} - 当前线程的名称。
$ {ticks} - 当前日期和时间的Ticks值。
$ {time} - 以24小时可排序格式HH:mm:ss.mmm的时间。
$ {var} - 渲染变量(4.1中新增)
$ {windows-identity} - 线程Windows身份信息(用户名)。
包装
$ {cached} - 将缓存应用于另一个布局输出。 $ {filesystem-normalize} - 通过用安全字符替换文件名中不允许的字符。 $ {json-encode} - 使用JSON规则转义另一个布局的输出。 $ {lowercase} - 将另一个布局输出的结果转换为小写。 $ {onexception} - 仅在为日志消息定义异常时才输出内部布局。 $ {pad} - 将填充应用于另一个布局输出。 $ {replace} - 用另一个字符串替换另一个布局输出中的字符串。 $ {replace-newlines} - 用另一个字符串替换换行符。 $ {rot13} - 用ROT-13解码“encrypted”文本。 $ {trim-whitespace} - 修剪另一个布局渲染器的结果中的空白。 $ {uppercase} - 将另一个布局输出的结果转换为大写。 $ {url-encode} - 编码另一个布局输出的结果以用于URL。 $ {when} - 只有在满足指定条件时才输出内部布局。 $ {whenEmpty} - 当内部布局产生空结果时输出替代布局。 $ {WrapLine} - 在指定的行长度处包装另一个布局输出的结果。 $ {xml-encode} - 将另一个布局输出的结果转换为XML兼容。
NLog.Extended软件包
$ {appsetting} - 应用程序配置设置。
NLog.Web包
$ {aspnet-MVC-Action} - ASP.NET MVC动作名称 $ {aspnet-MVC-Controller} - ASP.NET MVC控制器名称 $ {aspnet-Application} - ASP.NET应用程序变量。 $ {aspnet-Item} - ASP.NET HttpContext项目变量。 $ {aspnet-TraceIdentifier} - ASP.NET跟踪标识符 $ {aspnet-Request} - ASP.NET请求变量。 $ {aspnet-Request-Cookie} - ASP.NET请求cookie内容。 $ {aspnet-Request-Host} - ASP.NET请求主机。 $ {aspnet-Request-Method} - ASP.NET请求方法(GET,POST等)。 $ {aspnet-Request-IP} - 客户端IP。 $ {aspnet-Request-QueryString} - ASP.NET请求查询字符串。 $ {aspnet-Request-Referrer} - ASP.NET请求引用者。 $ {aspnet-Request-UserAgent} - ASP.NET请求useragent。 $ {aspnet-Request-Url} - ASP.NET请求URL。 $ {aspnet-Session} - ASP.NET Session变量。 $ {aspnet-SessionId} - ASP.NET会话ID变量。 $ {aspnet-User-isAuthenticated} - ASP.NET用户身份验证? $ {aspnet-User-AuthType} - ASP.NET用户身份验证。 $ {aspnet-User-Identity} - ASP.NET用户变量。 $ {iis-site-name} - IIS站点名称。

五、配置后台Nlog

Program

public class Program
    {
        public static void Main(string[] args)
        {
            CreateWebHostBuilder(args).Build().Run();
        }

        public static IWebHostBuilder CreateWebHostBuilder(string[] args) =>
            WebHost.CreateDefaultBuilder(args)
                .UseNLog()
                .UseStartup<Startup>();
    }

Startup

public void Configure(IApplicationBuilder app, IHostingEnvironment env, ILoggerFactory log)
        {
            if (env.IsDevelopment())
            {
                app.UseDeveloperExceptionPage();
            }
            else
            {
                app.UseExceptionHandler("/Home/Error");
                // The default HSTS value is 30 days. You may want to change this for production scenarios, see https://aka.ms/aspnetcore-hsts.
                app.UseHsts();
            }
            
            log.AddNLog();
            env.ConfigureNLog("NLog.config");//配置NLog文件

            app.UseHttpsRedirection();
            app.UseStaticFiles();
            app.UseCookiePolicy();

            app.UseMvc(routes =>
            {
                routes.MapRoute(
                    name: "default",
                    template: "{controller=Home}/{action=Index}/{id?}");
            });
        }

到这里,后台日志基本配置完成,下面需要使用 Kibana 来查看日志是否记录

六、安装Kibana

下面是Kibana的几种安装方式,参考 https://www.elastic.co/guide/en/kibana/current/install.html

我用的是在windows上安装Kibana

一、下载安装包

https://artifacts.elastic.co/downloads/kibana/kibana-7.3.0-windows-x86_64.zip

下载下来后解压安装包 进入bin目录下 找到 kibana.bat  双击运行该文件

 

你看到该控制台说明kibana运行成功

接下来你就可以访问 http://localhost:5601 你看到下面这个界面说明kibana已经正式运行了

接下来就该运行刚才我们写的Demo , 运行成功之后你再来到这个界面 按一下步骤操作

然后出现下面这界面,里面有一条数据就是我们刚才运行的Demo所生成的日志

 

 

 到这里整个demo就结束了

 

Elasticsearch 相关资料

 Elasticsearch官网下载 https://www.elastic.co/cn/downloads/

 Elasticsearch官网资料 https://www.elastic.co/guide/en/elasticsearch/client/net-api/7.x/elasticsearch-net-getting-started.html

 Kibana官网配置 https://www.elastic.co/guide/en/kibana/current/settings.html

 Elasticsearch权威指南(中文版) https://es.xiaoleilu.com/010_Intro/15_API.html

https://hub.docker.com/_/kibana

 

 github相关资料

https://github.com/elastic/elasticsearch

https://github.com/elastic/elasticsearch-net

https://github.com/liuzhenyulive/Elasticsearch.Net-Demo/tree/master/Elasticsearch

 

 他人博客

http://www.ruanyifeng.com/blog/2017/08/elasticsearch.html

https://www.cnblogs.com/lucky_hu/p/9746736.html

https://blog.csdn.net/qq_38762313/article/details/90290284

https://www.cnblogs.com/cjsblog/p/9476813.html

 

标签:ASP,NetCore,Kibana,Asp,Elasticsearch,https,elasticsearch,NET,aspnet
来源: https://www.cnblogs.com/jimmyLei/p/11284598.html