1. 日志管理

1.1. 知识点

说明1. 日志采集方案介绍

方案一、Java程序将日志落盘,通过Logtail进行实时采集。

方案二、Java程序直接配置日志服务提供的Appender,当程序运行时,实时将日志发往服端。 两者的差别如下:

对比指标 日志落盘+Logtai采集 Appender直接发送
实时性 日志落文件,通过Logtail采集 直接发送
吞吐量
断点续传 支持,取决于Logtail 配置大小 支持,取决于内存大小
关心应用位置 需要,配置采集机器组时 不需要,主动发送
本地日志 支持 支持
关闭采集 Logtail移除配置 修改Appender配置,重启应用

说明1. 采集效率比对ELK

Logstash基于正则表达是对日志进行解析耗费cpu性能,NTC Logtail专注于日志采集没有复杂的正则匹配;

Logstash采用集群方式时需要进过redis等中间件处理传输效率低导致整体入库效率低下,NTC 采集数据传输进行了高效序列化,可广播到集群admin进行,再批量入elasticsearch更加高效,而且横向扩展性好;

1.2. 功能截图

1.3. 功能详述

NTC日志中心的日志管理主要是对各个实例集群日志查看与管理等功能,在视图中可以看到采集管理,采集配置管理,索引管理以及采集文件列表操作

1.3.1. 索引管理

通过点击索引管理,进入到该列表页面,在该页面可以对日志索引进行查看详情与内容概要以及删除操作

  • 详情:点击按钮进入索引详情页面查看,如下图所示

  • 内容概要:点击按钮进入内容概要页面查看,如下图所示

  • 删除索引:点击删除按钮可以删除指定索引,删除后不可恢复,请慎重操作。

    备注:日志索引时按天存放的,想删除相应日期的索引只需要删除对应日期的索引,通过这种方式可以删除过期日志。

  • 批量删除:选中要删除的索引点击批量删除按钮

  • 索引分析:点击索引分析进入分析界面

点击切换进行图形和列表切换:

说明:可以对不同索引和字段进行分析实例编号、系统编号、日志级别、日志名称和线程。

1.3.2. 采集管理

通过点击日志管理页面的采集文件列表,跳转到日志采集列表,该功能针对日志采集方式为logtail采集模式,即通过采集日志文件方式,参见知识点日志采集方案介绍。

列表展示了代理节点列表,每个代理节点都有日志采集功能。点击操作采集文件列表可以查看代理节点采集文件信息:

1.3.3. 采集配置管理

如图所示,在此页面可以进行新增实例配置修改实例配置修改默认配置删除实例配置,采集配置修改采用动态生效。

  • 增加实例配置:进入日志采集实例配置新增页面

其中选择实例为其添加个性化配置,关闭采集日志开关将不再采集日志,打开高级配置可以对服务进行调优设置(具体如下图),扫描列表中包括实例的子系统,编码,处理码,路径,分行表达式与删除操作

  • 修改实例配置:即对实例配置的修改,参见新增配置
  • 修改默认配置:修改一开始载入页面的默认配置,如采集日志、高级配置的开关状态,编码与处理码的值以及路径等等。
  • 删除实例配置:点击按钮,删除该实例配置

results matching ""

    No results matching ""