1. 日志管理
1.1. 知识点
说明1. 日志采集方案介绍
方案一、Java程序将日志落盘,通过Logtail进行实时采集。
方案二、Java程序直接配置日志服务提供的Appender,当程序运行时,实时将日志发往服端。 两者的差别如下:
对比指标 | 日志落盘+Logtai采集 | Appender直接发送 |
---|---|---|
实时性 | 日志落文件,通过Logtail采集 | 直接发送 |
吞吐量 | 大 | 大 |
断点续传 | 支持,取决于Logtail 配置大小 | 支持,取决于内存大小 |
关心应用位置 | 需要,配置采集机器组时 | 不需要,主动发送 |
本地日志 | 支持 | 支持 |
关闭采集 | Logtail移除配置 | 修改Appender配置,重启应用 |
说明1. 采集效率比对ELK
Logstash基于正则表达是对日志进行解析耗费cpu性能,NTC Logtail专注于日志采集没有复杂的正则匹配;
Logstash采用集群方式时需要进过redis等中间件处理传输效率低导致整体入库效率低下,NTC 采集数据传输进行了高效序列化,可广播到集群admin进行,再批量入elasticsearch更加高效,而且横向扩展性好;
1.2. 功能截图
1.3. 功能详述
NTC日志中心的日志管理主要是对各个实例集群日志查看与管理等功能,在视图中可以看到采集管理,采集配置管理,索引管理以及采集文件列表操作
1.3.1. 索引管理
通过点击索引管理,进入到该列表页面,在该页面可以对日志索引进行查看详情与内容概要以及删除操作
- 详情:点击按钮进入索引详情页面查看,如下图所示
- 内容概要:点击按钮进入内容概要页面查看,如下图所示
删除索引:点击删除按钮可以删除指定索引,删除后不可恢复,请慎重操作。
备注:日志索引时按天存放的,想删除相应日期的索引只需要删除对应日期的索引,通过这种方式可以删除过期日志。
批量删除:选中要删除的索引点击批量删除按钮
- 索引分析:点击索引分析进入分析界面
点击切换进行图形和列表切换:
说明:可以对不同索引和字段进行分析实例编号、系统编号、日志级别、日志名称和线程。
1.3.2. 采集管理
通过点击日志管理页面的采集文件列表,跳转到日志采集列表,该功能针对日志采集方式为logtail采集模式,即通过采集日志文件方式,参见知识点日志采集方案介绍。
列表展示了代理节点列表,每个代理节点都有日志采集功能。点击操作采集文件列表可以查看代理节点采集文件信息:
1.3.3. 采集配置管理
如图所示,在此页面可以进行新增实例配置,修改实例配置,修改默认配置与 删除实例配置,采集配置修改采用动态生效。
- 增加实例配置:进入日志采集实例配置新增页面
其中选择实例为其添加个性化配置,关闭采集日志开关将不再采集日志,打开高级配置可以对服务进行调优设置(具体如下图),扫描列表中包括实例的子系统,编码,处理码,路径,分行表达式与删除操作
- 修改实例配置:即对实例配置的修改,参见新增配置
- 修改默认配置:修改一开始载入页面的默认配置,如采集日志、高级配置的开关状态,编码与处理码的值以及路径等等。
- 删除实例配置:点击按钮,删除该实例配置