小编点评

**Grafana 系列文章概述** **Introduction** Grafana 是一个用于监控和分析数据的可视化工具。它可以将所有相关的数据进行无缝的可视化和跳转，对于快速根治事件和确定意外系统行为的真正来源非常重要。 **Technology Stack** Grafana 使用以下技术栈： - Loki (日志记录) - Grafana (可视化) - Tempo (追踪) - Mimir (指标) - Prometheus (指标) **技术细节** - Logs -> Traces：基于服务发现和统一 labels - Metrics -> Logs：基于 LogQL 提取 Metric 指标 - Traces -> Logs：基于衍生字段 (fields) 或自动化的日志 traces - Logs -> Traces：基于 Prometheus 的 Exemplars **无缝可视化和跳转** 即使没有采用 Grafana Labs 的解决方案，也可以实现一定程度的无缝跳转。例如： - Logging 使用 EFKTracing 使用 Jaeger 如果日志中也包括 trace_id，可以使用 trace_id 实现 Logs -> Traces 的无缝跳转。 **实战示例** 以下是实现单向跳转的示例： 1. 更新 ES 数据源配置，增加 Data links 相关配置。 2. 选择一个 Trace(Jaeger) 数据源，设置 Query 为 ${__value.raw}。 3. 通过 ES 日志快速搜索仪表板，筛选出 ERROR 日志。 4. 点击展开 details，会发现 trace_id 会带一个跳转链接。 **结论** 通过使用 Grafana 的技术栈，我们可以实现单向和双向的无缝跳转，轻松地将所有相关数据可视化和跳转。这对于快速根治事件和确定意外系统行为的真正来源非常重要。

正文

系列文章

• Grafana 系列文章

概述

如前文 Grafana 系列 - 统一展示 -1- 开篇所述, Grafana 可以了解所有相关的数据--以及它们之间的关系--对于尽快根治事件和确定意外系统行为的真正来源非常重要。Grafana 允许团队在一个地方对所有的数据进行无缝的可视化和跳转。

最典型的就是 Grafana Labs 的 LGTM 技术栈，包括：

• Loki(Logging)
• Grafana（可视化）
• Tempo(Tracing)
• Mimir(Metrics)

通过如下的技术细节，可以实现 Logging、Tracing、Metrics 的无缝可视化和跳转：

• Metrics -> Logs: 基于服务发现和统一 labels
• Logs -> Metrics: 基于 LogQL 提取 Metric 指标
• Logs -> Traces: 基于衍生字段 (fields) 或自动化的日志
• Traces -> Logs: 基于 labels
• Traces -> Metrics: 基于来自 spans 的 Metric 指标
• Metrics -> Traces: 基于 Prometheus 的 Exemplars.

具体如下图：

即使没有采用 Grafana Labs 的解决方案，也仍然能实现一定程度的无缝跳转。

如：

• Logging 使用 EFK
• Tracing 使用 Jaeger

如果日志中也包括 trace_id, Name 至少可以通过 trace_id, 实现 Logs -> Traces 的无缝跳转。

🐾Notes:

前提是: 日志中包括 trace_id 相关字段.
当然, 日志中就包含 trace_id 字段, 属于开发对日志格式规划地比较好了. 这使得运维侧配置跳转逻辑简单了很多.
更多情况下, 是要结合 cluster namespace app pod 等字段/label 进行查询. (而非直接通过 trace_id 直接定位.)

实战 Logs(ElasticSearch) To Traces(Jaeger)

📝Notes:

实战场景: 针对报错日志, 定位到出错的 Trace.

首先, 更新 ES 数据源配置, 增加 Data links 相关配置:

• Field: trace_id (根据实际情况配置, 也可能是 traceId 等)
• Internal link: ✔️, 并选择一个 Trace(Jaeger) 数据源
• Query: ${__value.raw}

之后, 可以通过ES 日志快速搜索仪表板, 筛选出ERROR 日志, 点击展开 details, 会发现 trace_id 会带一个跳转链接, 如下图:

点击后, 会直接跳转到 Explore -> Jaeger 页面, 并带有出错的 trace_id, 同时显示链路拓扑和 trace 瀑布图, 如下图:

🎉🎉🎉

总结

至此, 我们完成了一个非常简单的, 从 Logs(ElasticSearch) 到 Trace(Jaeger) 的单向跳转. 但已经会为我们分析问题提供较大的便利了.

如果需要实现 Metrics, Logs, Traces 三者的双向跳转, 那么在这三者的解决方案需要是特定的方案， 另外这三者的数据源、Dashboard 和 Query 中都需要有更多精细的配置。包括不限于：

• 上文提到的三者之间的联动配置
• 各个数据源上配置 Data link、Derived fields、Exemplars、Trace to logs、Trace to Metrics 等
• 在 Dashboard 上添加 Text 等 Panel，并结合 Variable 用于更友好地跳转
• 在 Panel 配置 panel link 用于更友好地跳转
• ...

以此抛砖引玉，希望读者可以做出更精美、实用的监控统一展示和无缝跳转方案。

三人行, 必有我师; 知识共享, 天下为公. 本文由东风微鸣技术博客 EWhisper.cn 编写.