1. 日志搜索

1.1. 知识点

说明- 集群日志存储位置?

集群日志存储在全文搜索引擎elasticsearch中,索引格式采用logs-yyyy-MM-dd,每天生成一个索引。

- 日志收集方式?

应用探针直接推送,推荐使用,对接简单、效率高;

agent离线采集。

1.2. 功能截图

1.3. 功能详述

日志搜索提供了多种日志查询检索条件,包括查询时间、日志等级、日志类型、日志流水号、系统编号、用户ID、交易编码、应用流水、实例编号、ip、会话ID、线程、类名、文件名称和内容等;同时每个用户可以对日志展示进行个性化设置,展示方式支持列表展示和文本展示,针对交易日志结合链路跟踪可以进行全链路日志展示。

1.3.1. 设置

日志搜索设置功能是对日志查询和展示的设置,用户个性化配置好之后通过点击确定保存配置,下次登录将会显示保存的样式显示日志,不同的用户可以个性化设置

配置说明:

  • 文本显示页面设置:

设置说明:为文本展示设置,可设置文字字体大小和不同级别日志展示颜色。

设置举例:

设置效果:

  • 附近日志设置:

设置说明:可设置当前日志展示颜色和查询附近日志的条数。

设置举例:

设置效果:

  • 模糊匹配设置:

设置说明:

模糊匹配开关:开启是进行内容搜索才会启用模糊搜索;

模糊匹配度:

AUTO -自动,会根据分词的长度自动适配允许的最大编辑距离

ZERO - 最大编辑距离为0

ONE - 最大编辑距离为1

TWO - 最大编辑距离为2

允许扩展数:模糊查询将扩展到的最大项数,不建议设置过大以免影响查询率;

最小长度: 不会“模糊化”的初始字符数,设置合适的值有助于减少必须审查的术语数量,提升查询效率,建议设置值>3。

设置举例一(匹配度):

设置效果一:

说明:当设置模糊匹配度为1时查条件为hearbet也能命中相差一个偏移的hearbeat, 当设置查询条件为hearbt时此时偏移2个字符则无法命中。

设置举例二(最小长度):

设置效果二:

说明:当最小长度设置为3时,只输入ne虽然与new只偏差一个字符但不满足最 小起始字符需要3个的条件,所以无法搜索到。

1.3.2. 查询条件

说明:

  • 查询时间

    每条日志都有时间属性,根据查询时间可以缩小查询范围;

  • 日志等级

    ALL-不限制等级

    DEBUG -只查询DEBUG级别日志;

    INFO -只查询INFO级别日志;

    WARN -只查询WARN级别日志;

    ERROR -只查询ERROR级别日志。

  • 日志类型

    全部 - 不限制日志类型

    业务日志 - 只查询业务日志,业务日志指有流水号的日志,即交易日志;

    后台日志 - 只查询后台日志,无流水日志,非交易日志,如跑批产生的日;

  • 日志流水号

    当发起一笔交易时在入口会生成全局流水号,当进入下一个系统是全局流水号会传递下去,一笔交易只有一个全局唯一的流水;

  • 系统编号

  • 用户ID

    用户唯一标识如userId,采集的应用要将唯一标识设置到MDC中才能使用,具 体见探针对接部分

  • 交易编码

  • 应用流水号

    应用本身流水号;

  • 实例编号

    设置实例编号可以定位到具体某个实例产生的日志,与实例管理的实例编号对 应,每个实例都有自己唯一的实例编号;

  • IP

    设置ip可以定位到指定ip地址服务器产生的日志;

  • 会话ID

    日志所属的会话ID

  • 线程

    打印日志的线程名称

  • 类名

    打印日志的类名(LoggerName)

  • 文件名

    日志是由哪个日志文件收集而来的

  • 内容

    支持分词,多个查询条件可用空格隔开如: com next csii

  • 搜索模式

    仅针对内容全文检索,当含多个查询条件可选择搜索模式

    精确模式- 输入的查询条件必须全部满足

    模糊模式- 输入的查询条件只需半数以上满足

搜索模式举例一:

说明:采用精准模式 ,搜索 日志 成功 可以搜索到,搜索日志 成功 中国 无法搜索到,因为中国未命中;切换为模糊模式则可搜索到

1.3.3. 列表显示

列表显示我们展示了用户根据日志查询条件查询回来的日志列表,如下图:

在图中我们可以看到操作中的链路链路日志详情以及附近日志按钮:

  • 链路:点击链路按钮跳转到链路查询,如下图,其他详见链路跟踪

  • 链路日志:

全链路展示-按交易调用顺序,方式排序,支持下载;

按系统展示-按每个系统展示,系统内部按行号顺序展示,支持下载。

  • 详情:点击该按钮显示该条信息的详情,如图

  • 附近日志:点击该按钮跳转到附近日志列表页,如图

1.3.4. 文本显示

点击文档显示跳转到如下页面

该页面表示用户通过日志检索条件查询出来的日志使用文本的形式来展示,更加的直观和方便。

当通过多种查询条件查询业务日志已经将检索结果缩小到10000条记录以内,可通过下载全局流水列表,聚合得到相关流水列表如下:

results matching ""

    No results matching ""