使用 OpenTelemetry 构建 .NET 应用可观测性(2):OpenTelemetry 项目简介

使用,opentelemetry,构建,net,应用,可观,测性,项目,简介 · 浏览次数 : 500

小编点评

## OpenTelemetry 项目介绍 **OpenTelemetry** 是一个开源项目,旨在提供一套分布式追踪标准,以便开发人员可以更轻松地实现分布式追踪。 **关键概念:** * **Span:** 表示一次调用过程,包含调用起始和结束时间、服务名称、方法名称、参数、返回值等信息。 * **Tracer:** 表示一个追踪器,用于创建和管理 Span,并将 Span 发送到追踪系统。 * **SpanContext:** 表示 Span 的上下文,包含 TraceId、SpanId、Baggage 等信息。 **OpenTelemetry 的架构:** * OpenTelemetry 包含 API、SDK 和 Collector。 * API 规范了 OTel 的数据模型和 API。 * SDK 提供了开发人员使用 OpenTelemetry 的基础设施。 * Collector 是一个可插拔的进程,用于收集、处理和导出 OTel 的数据。 **OpenTelemetry 的设计:** * OTel 使用了一种继承的 design,以继承 OpenTracing 的 Design。 * OTel 的 Tracing 模型很大程度上继承了 OpenTracing 的 Tracing 模型,所以了解 OpenTracing 的 Tracing 模型,有助于理解 OTelemetry 的 Tracing 模型。 **一些关键功能:** * API 规范定义了 OTel 的 API。 * SDK 提供了开发人员使用 OTel 的基础设施。 * Collector 可以根据需要配置不同的 Processor、Exporter 等组件。 **参考资料:** * OpenTelemetry Specification: https://opentracing.io/specification/ * OpenTelemetry SDK: https://github.com/opentracing * OpenTelemetry Collector: https://opentracing.io/docs/collector/ * OpenTelemetry Design and Implementation: https://github.com/opentracing/opentracing/blob/master/docs/specs/otel/OpenTelemetry Specification.md

正文

前世今生

OpenTracing

OpenTracing 项目启动于 2016 年,旨在提供一套分布式追踪标准,以便开发人员可以更轻松地实现分布式追踪。

OpenTracing 定义了一套 Tracing 模型,以及一套 API,用于在应用程序中创建和管理这些数据模型。

下面是 OpenTracing 的三种相互关联的核心模型:

  1. Span:表示一次调用过程,包括调用的起始和结束,以及调用过程中的一些信息,比如调用的服务名称、调用的方法名称、调用的参数、调用的返回值、调用的异常等。
  2. Tracer:表示一个追踪器,用于创建和管理 Span,并将 Span 发送到追踪系统。
  3. SpanContext:表示 Span 的上下文,包括 TraceIdSpanIdBaggage 等信息。

OpenTracing 规定了 Span 上会包含以下信息:

  • Operation Name:操作名称,表示 Span 所代表的操作的名称。
  • Start Time:开始时间,表示 Span 的开始时间。
  • Finish Time:结束时间,表示 Span 的结束时间。
  • Tags:标签,表示 Span 的一些标签信息,比如 http.methodhttp.urlhttp.status_code 等。
  • Logs:日志,表示 Span 的一些日志信息,比如 errorexception 等。
  • SpanContext:Span 的上下文,包括 TraceIdSpanIdBaggage 等信息。

Baggage 是 OpenTracing 中的一个概念,跨进程的 Span 之间可以通过 Baggage 传递一些用户自定义的数据,比如用户的 userIdorderId 等。

OpenTracing 还定义了 SpanContext 跨进程传递相关的概念:

Tracer 通过 InjectExtract 方法,将 SpanContext 信息注入到 Carrier 中,以便在跨进程的 Span 之间传递。

  • Inject:将 SpanContext 信息注入到 Carrier 中,以便在跨进程的 Span 之间传递。
  • Extract:从 Carrier 中提取 SpanContext 信息,以便在跨进程的 Span 之间传递。
  • Carrier:载体,表示 SpanContext 信息的载体,比如 HTTP Header、RPC Header 等。

更多完整的 OpenTracing 规范,可以参考 OpenTracing Specification https://opentracing.io/specification/

OpenTracing 还提供了一套 SDK用来实现 OpenTracing 规范,https://github.com/opentracing

这套 SDK 只包含数据模型和 API,不包含往后端追踪系统发送数据等功能,需要进一步集成后端追踪系统的 SDK,才能将数据发送到后端追踪系统。

例如,如果要将 Span 发送到 Jaeger,需要进一步集成 Jaeger 的 SDK,将 Span 发送到 Jaeger。

https://github.com/jaegertracing/jaeger-client-csharp/tree/master

OpenCensus

OpenCensus 是 Google 于 2018年 组织的一个开源项目,相较于 OpenTracing 项目只支持 Tracing,OpenCensus 项目同时支持 Tracing 和 Metrics。

OpenTelemetry

OpenTelemetry 是 OpenCensus 和 OpenTracing 项目的合并,于 2019年 由 CNCF 组织的一个开源项目。除了支持 Tracing 和 Metrics,还支持 Logging。

OpenTelemetry 的 Tracing 模型很大程度上继承了 OpenTracing 的 Tracing 模型,所以了解 OpenTracing 的 Tracing 模型,有助于理解 OpenTelemetry 的 Tracing 模型。

OpenTelemetry 项目介绍

OpenTelemetry 简称 OTel,包含三部分:

  1. OpenTelemetry Specification:OpenTelemetry 规范,定义了 OTel 的数据模型和 API,还包括标准的数据传输协议 OpenTelemetry Protocol,简称 OTLP。
  2. OpenTelemetry SDK:OpenTelemetry SDK,用于实现 OpenTelemetry 规范。
  3. OpenTelemetry Collector:一个可插拔的数据收集器,用于收集、处理、导出 OTel 的数据。

OpenTelemetry Specification

OpenTelemetry Specification 定义了跨语言的规范,所有语言的 SDK 都需要遵循这个规范。
规范包括以下几个部分:

  1. API Specification:API 规范,规定了 OTel 的 API 应该包含哪些方法。
  2. SDK Specification:SDK 规范,规定了 OTel 的 SDK 应该应该提供哪些功能。
  3. Data Specification:数据规范,定义了 OTel 的数据模型。

详细的规范可以参考 https://opentelemetry.io/docs/specs/otel/

Signals

OpenTelemetry Specification 定义了以下数据模型,这些模型统称为 Signals。

  • Tracing
  • Metrics
  • Logs
  • Baggage

上文 OpenTracing 的设计中都有这些概念,这边不再赘述。

Context & Propagation

Context,表示一次调用过程中的上下文,用于在调用过程中传递一些数据,比如 Tracing、Baggage 等。

Propagators(传播器) 利用 Context 为每个横切关注点(例如 Tracing 和 Baggage)注入和提取数据。

通常,Context 会通过 HTTP Header、RPC Header 等方式传递。Propagators 会将 Context 中的数据注入到 HTTP Header、RPC Header 等中,以便在跨进程的调用过程中传递。

OpenTelemetry Protocol

OpenTelemetry Protocol,简称 OTLP,是 OTel 定义的标准的数据传输协议,用于在 OTel 的 SDK 和可观测性后端之间传输数据。
https://opentelemetry.io/docs/specs/otlp/

OTLP 使用 gRPC 作为传输协议,各个可观测性后端只需要实现 OTLP 的 gRPC 接口,就可以接收 OTel 的数据。

在此之前,各个可观测性后端都有自己的数据传输协议,比如 Jaeger 使用的是 Jaeger Thrift Protocol,Zipkin 使用的是 Zipkin JSON V2 API 等。

OpenTelemetry SDK

OpenTelemetry SDK架构

虚线的上方是 OpenTelemetry API 的定义,下面是具体的 SDK 实现。

Tracing、Metrics、Logging 等数据收集被称为 Instrumentation,中文资料中通常叫做埋点。

除了 Instrumentation,还有 Sampler、Processor、Exporter 等组件。

  • Sampler:采样器,用于决定数据的采样规则。
  • Processor:处理器,用于处理数据,比如将数据聚合、压缩等。
  • Exporter:导出器,用于将数据导出到可观测性后端。通过实现不同的 Exporter,可以将数据导出到不同的后端系统,比如 Jaeger、Zipkin、Prometheus 等。当然也可以通过 OTLP 标准协议将数据导出支持 OTLP 的后端系统。

OpenTelemetry Collector

Collector 是一个独立的进程,用于收集、处理、导出 OTel 的数据。

Collector 主要由三个组件组成:

  1. Receiver:接收器,用于接收 OTel 的数据,支持多种数据格式,比如 OTLP、Jaeger Thrift、Zipkin JSON V2 API 等。
  2. Processor:处理器,用于处理数据,比如将数据聚合、压缩等。
  3. Exporter:导出器,用于将数据导出到可观测性后端。

Processor 和 Exporter 功能与 OpenTelemetry SDK 中的 Processor 和 Exporter 功能类似,但是 Collector 作为独立的进程,可以集中处理多个应用程序的数据(如通过 OTLP 的 Receiver 进行统一的收集),而不需要在每个应用程序中都集成 Processor 和 Exporter。

Collector 也是一个可插拔的架构,可以通过配置文件的方式,配置不同的 Processor、Exporter 等组件。

下期预告

下期开始将正式开始介绍如何在 .NET 应用中使用 OpenTelemetry,并在使用过程中,进一步介绍 OpenTelemetry 的设计和实现。

欢迎关注个人技术公众号

与使用 OpenTelemetry 构建 .NET 应用可观测性(2):OpenTelemetry 项目简介相似的内容:

使用 OpenTelemetry 构建 .NET 应用可观测性(2):OpenTelemetry 项目简介

[TOC] # 前世今生 ## OpenTracing OpenTracing 项目启动于 2016 年,旨在提供一套分布式追踪标准,以便开发人员可以更轻松地实现分布式追踪。 OpenTracing 定义了一套 Tracing 模型,以及一套 API,用于在应用程序中创建和管理这些数据模型。 下面是

.NET周刊【9月第2期 2023-09-10】

国内文章 使用 OpenTelemetry 构建 .NET 应用可观测性(2):OpenTelemetry 项目简介 https://www.cnblogs.com/eventhorizon/p/17678251.html 目录 前世今生 OpenTracing OpenCensus OpenTel

使用 OpenTelemetry 构建 .NET 应用可观测性(1):什么是可观测性

[TOC] # 什么是系统的可观测性(Observability) 对软件行业来说,可观测性(Observability)是一个舶来词,出自控制论(Control Theory)。 **可观测性是系统的一个属性**,它是指系统的状态能否被观测,也就是说,系统的状态能否被监控、收集、分析、查询、可视化

使用 OpenTelemetry 构建 .NET 应用可观测性(4):ASP.NET Core 应用中集成 OTel

目录前言使用 elastic 构建可观测性平台在 ASP.NET Core 应用中集成 OTel SDK安装依赖基础配置Instrumentation 配置创建自定义 Span 和 Metric完整的代码演示kibana 中查看数据TracingMetricsTracing 和 Logs 的关联 前

使用 OpenTelemetry 构建 .NET 应用可观测性(3):.NET SDK 概览

目录前言概览opentelemetry-dotnetopentelemetry-dotnet-contribopentelemetry-dotnet-instrumentationSDK 的基本使用安装依赖ResourcesResourceBuilder.CreateDefault()Resourc

.NET 使用 OpenTelemetry metrics 监控应用程序指标

上一次我们讲了 OpenTelemetry Logs 与 OpenTelemetry Traces。今天继续来说说 OpenTelemetry Metrics。 随着现代应用程序的复杂性不断增加,对于性能监控和故障排除的需求也日益迫切。在 .NET 生态系统中,OpenTelemetry Metri

.NET 中使用 OpenTelemetry Traces 追踪应用程序

上一次我们讲了 OpenTelemetry Logs。今天继续来说说 OpenTelemetry Traces。 在今天的微服务和云原生环境中,理解和监控系统的行为变得越来越重要。在当下我们实现一个功能可能需要调用了 N 个方法,涉及到 N 个服务。方法之间的调用如蜘蛛网一样。分布式追踪这个时候就至

OpenTelemetry agent 对 Spring Boot 应用的影响:一次 SPI 失效的案例

背景 前段时间公司领导让我排查一个关于在 JDK21 环境中使用 Spring Boot 配合一个 JDK18 新增的一个 SPI(java.net.spi.InetAddressResolverProvider) 不生效的问题。 但这个不生效的前置条件有点多: JDK 的版本得在 18+ Spri

OpenTelemetry agent 对 Spring Boot 应用的影响:一次 SPI 失效的

背景 前段时间公司领导让我排查一个关于在 JDK21 环境中使用 Spring Boot 配合一个 JDK18 新增的一个 SPI(java.net.spi.InetAddressResolverProvider) 不生效的问题。 但这个不生效的前置条件有点多: JDK 的版本得在 18+ Spri

使用Cloudflare Worker加速docker镜像

前言 开发者越来越难了,现在国内的docker镜像也都️了,没有镜像要使用docker太难了,代理又很慢 现在就只剩下自建镜像的办法了 GitHub上有开源项目可以快速搭建自己的镜像库,不过还是有点麻烦,还好Cloudflare暂时还活着‍ 本文记录一下使用 Cloudf