Node.js 应用全链路追踪技术——全链路信息存储

node,js,应用,链路,追踪,技术,信息,存储 · 浏览次数 : 291

小编点评

**Node.js 方案全链路追踪** **1. Introduction** * Node.js 应用全链路追踪技术。 * OpenTracing 标准。 **2. 传输层** * zipkin 官方提供两个 npm 包:zipkinzipkin-transport-httpzipkin 和 zone-context。 * 传输层基础封装核心代码实现。 * Zone-context 实现隐式,对代码入侵更小。 **3. 全链路信息收集** * Tracer 跟踪请求头和手动层层传递。 * 使用 Zone-Context 进行隐藏式收集。 **4. 存储和展示** * 存储收集的 zipkin 数据。 * 可根据实际情况进行数据库连接。 **5. 总结** * 基于 OpenTracing 标准实现的 Node.js 方案全链路追踪。 * 包括传输层、全链路信息收集、存储和展示。 * 使用 docker-compose 集成了 Elasticsearch。

正文

作者:vivo 互联网前端团队- Yang Kun

本文是上篇文章《Node.js 应用全链路追踪技术——全链路信息获取》的后续。阅读完,再来看本文,效果会更佳哦。

本文主要介绍在Node.js应用中, 如何用全链路信息存储技术把全链路追踪数据存储起来,并进行相应的展示,最终实现基于业界通用 OpenTracing 标准的 Zipkin 的 Node.js 方案。

一、背景

目前业界主流的做法是使用分布式链路跟踪系统,其理论基础是来自 Google 的一篇论文 《大规模分布式系统的跟踪系统》。

 

论文如下图所示:

图片

(图片来源:网络)

 在此理论基础上,诞生了很多优秀的实现,如 zipkin、jaeger 。同时为了保证 API 兼容,他们都遵循 OpenTracing 标准。那 OpenTracing 标准是什么呢?

OpenTracing 翻译为开发分布式追踪,是一个轻量级的标准化层,它位于应用程序/类库和链路跟踪系统之间的一层。 这一层可以用下图表示:

图片

 从上图可以知道, OpenTracing 具有以下优势:

  • 统一了 API ,使开发人员能够方便的添加追踪系统的实现。

  • OpenTracing 已进入 CNCF ,正在为全球的分布式链路跟踪系统,提供统一的模型和数据标准。

大白话解释下:它就像手机的接口标准,当今手机基本都是 typeC 接口,这样方便各种手机能力的共用。因此,做全链路信息存储,需要按照业界公认的 OpenTracing 标准去实现。

本篇文章将通过已有的优秀实现 —— zipkin ,来给大家阐述 Node.js 应用如何对接分布式链路跟踪系统。

二、zipkin

2.1 zipkin 是什么?

zipkin 是 Twitter 基于 Google 的分布式追踪系统论文的开发实现,其遵循 OpenTracing 标准。

zipkin 用于跟踪分布式服务之间的应用数据链路。

2.2 zipkin 架构

官方文档上的架构如下图所示:

图片

为了更好的理解,我这边对架构图进行了简化,简化架构图如下所示:

图片

从上图可以看到,分为三个部分

第一部分:全链路信息获取,我们不使用 zipkin 自带的全链路信息获取,我们使用 zone-context 去获取全链路信息

第二部分:传输层, 使用 zipkin 提供的传输 api ,将全链路信息传递给 zipkin

第三部分: zipkin 核心功能,各个模块介绍如下:

  • collector 就是信息收集器,作为一个守护进程,它会时刻等待客户端传递过来的追踪数据,对这些数据进行验证、存储以及创建查询需要的索引。

  • storage 是存储组件。zipkin 默认直接将数据存在内存中,此外支持使用 ElasticSearch 和 MySQL 。

  • search 是一个查询进程,它提供了简单的 JSON API 来供外部调用查询。

  • web UI 是 zipkin 的服务端展示平台,主要调用 search 提供的接口,用图表将链路信息清晰地展示给开发人员。

至此, zipkin 的整体架构就介绍完了,下面我们来进行 zipkin 的环境搭建。

2.3 zipkin 环境搭建

采用 docker 搭建, 这里我们使用 docker 中的 docker-compose 来快速搭建 zipkin 环境。

docker-compose.yml 文件内容如下:

version: '3.8'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.5.0
    container_name: elasticsearch
    restart: always
    ports:
      - 9200:9200
    healthcheck:
      test: ["CMD-SHELL", "curl --silent --fail localhost:9200/_cluster/health || exit 1"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 40s
    environment:
      - discovery.type=single-node
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - TZ=Asia/Shanghai
    ulimits:
      memlock:
        soft: -1
        hard: -1
  zipkin:
    image: openzipkin/zipkin:2.21
    container_name: zipkin
    depends_on:
      - elasticsearch
    links:
      - elasticsearch
    restart: always
    ports:
      - 9411:9411
    environment:
      - TZ=Asia/Shanghai
      - STORAGE_TYPE=elasticsearch
      - ES_HOSTS=elasticsearch:9200

 在上面文件所在的目录下执行 docker-compose up -d 即可完成本地搭建。

搭建完成后,在浏览器中打开地址 http://localhost:9411 ,会看到如下图所示页面:

图片

接着打开地址 http://localhost:9200 ,会看到如下图所示页面:

图片

至此, zipkin 的本地环境就搭建好啦。 下面我就将介绍 Node.js 应用如何对接 zipkin。

三、Node.js 接入 zipkin

3.1 搞定全链路信息获取

这个我在 《Node.js 应用全链路追踪技术——全链路信息获取》 文章中,已经详细阐述了,如何去获取全链路信息。

3.2 搞定传输层

因为 zipkin 是基于 OpenTracing 标准实现的。因此我们只要搞定了 zipkin 的传输层,也就搞定了其他主流分布式追踪系统。

这里我们用到了 zipkin 官方提供的两个 npm 包,分别是:

  • zipkin

  • zipkin-transport-http

zipkin 包是官方对支持 Node.js 的核心包。 zipkin-transport-http 包的作用是将数据通过 HTTP 异步发送到 zipkin 。

下面我们将详细介绍在传输层,如何将将数据发送到 zipkin 。

3.3 传输层基础封装

核心代码实现和相关注释如下:

const {
  BatchRecorder,
  Tracer,
  // ExplicitContext,
  jsonEncoder: { JSON_V1, JSON_V2 },
} = require('zipkin')
const { HttpLogger } = require('zipkin-transport-http')
 
// const ctxImpl = new ExplicitContext();
 
// 配置对象
const options = {
  serviceName: 'zipkin-node-service',
  targetServer: '127.0.0.1:9411',
  targetApi: '/api/v2/spans',
  jsonEncoder: 'v2'
}
 
// http 方式传输
async function recorder ({ targetServer, targetApi, jsonEncoder }) => new BatchRecorder({
  logger: new HttpLogger({
    endpoint: `${targetServer}${targetApi}`,
    jsonEncoder: (jsonEncoder === 'v2' || jsonEncoder === 'V2') ? JSON_V2 : JSON_V1,
  })
})
 
// 基础记录
const baseRecorder = await recorder({
  targetServer: options.targetServer
  targetApi: options.targetApi
  jsonEncoder: options.jsonEncoder
})

至此,传输层的基础封装就完成了,我们抽离了 baseRecorder 出来,下面将会把全链路信息接入到传输层中。

3.4 接入全链路信息

这里说下官方提供的接入 SDK ,代码如下:

const { Tracer } = require('zipkin')
const ctxImpl = new ExplicitContext()
const tracer = new Tracer({ ctxImpl, recorder: baseRecorder })
// 还要处理请求头、手动层层传递等事情

上面的方式缺点比较明显,需要额外去传递一些东西,这里我们使用上篇文章提到的 Zone-Context , 代码如下:

const zoneContextImpl = new ZoneContext()
const tracer = new Tracer({ zoneContextImpl, recorder: baseRecorder })
// 仅此而已,不再做额外处理

对比两者,明显发现, Zone-Context 的实现方式更加的隐式,对代码入侵更小。这也是单独花一篇文章介绍 Zone-Context 技术原理的价值体现。

自此,我们完成了传输层的适配, Node.js 应用接入 zipkin 的核心步骤基本完成。

3.5 搞定 zipkin 收集、存储、展示

这部分中的收集、展示功能, zipkin 官方自带完整实现,无需进行二次开发。存储这块,提供了 MySQL 、 Elasticsearch 等接入方式。可以根据实际情况去做相应的接入。本文采用 docker-compose 集成了 ElasticSearch 。

四、总结

自此,我们已经完成基于业界通用 OpenTracing 标准实现的 zipkin 的 Node.js 方案。希望大家看完这两篇文章,对 Node.js 全链路追踪,有一个整体而清晰的认识。

 

参考资料:

  1. zipkin 官网

与Node.js 应用全链路追踪技术——全链路信息存储相似的内容:

Node.js 应用全链路追踪技术——全链路信息存储

本文主要介绍在Node.js应用中, 如何用全链路信息存储技术把全链路追踪数据存储起来,并进行相应的展示,最终实现基于业界通用 OpenTracing 标准的 Zipkin 的 Node.js 方案。

前端太卷了,不玩了,写写node.js全栈涨工资,赶紧学起来吧!!!!!

首先聊下node.js的优缺点和应用场景 Node.js的优点和应用场景 Node.js作为后端开发的选择具有许多优点,以下是其中一些: 高性能: Node.js采用了事件驱动、非阻塞I/O模型,使得它能够处理大量并发请求而不会阻塞线程,从而具有出色的性能表现。 轻量级和高效: Node.js的设计

如何使用Node.js、TypeScript和Express实现RESTful API服务

Node.js是一个基于 Chrome V8 引擎的 JavaScript 运行环境。Node.js 使用了一个事件驱动、非阻塞式 I/O 的模型,使其轻量又高效。Express是一个保持最小规模的灵活的 Node.js Web应用程序开发框架,为Web和移动应用程序提供一组强大的功能。使用Node

nodejs使用eggjs创建项目,接入influxdb完成单表增删改查

转载请注明出处: 1.Eggjs 特性: Eggjs 是 Node.js 服务端应用开发框架,它提供了一套约定,使开发者能够快速搭建、开发和部署应用。以下是 Egg.js 的一些特性和作用: 框架内置了基于约定的目录结构、约定的扩展机制和一些常用的插件,可以帮助开发者快速搭建应用。 Egg.js 遵

玩转服务器之网站篇:新手使用WordPress搭建博客和静态网站部署

在之前的玩转服务器系列文章里,我们介绍了如何构建小型的高可用环境、PHP、Python、Java web、docker环境部署,以及Node.js SSR应用,本篇文章主要介绍新手也能快速上手的WordPress博客搭建和静态网站部署的教程

【ASP.NET Core】在node.js上托管Blazor WebAssembly应用

由于 Blazor-WebAssembly 是在浏览器中运行的,通常不需要执行服务器代码,只要有个“窝”能托管并提供相关文件的下载即可。所以,当你有一个现成的 Blazor wasm 项目,没必要用其他语言重写,或者你不想用 ASP.NET Core 来托管(有些大材小用了),就可以试试用 node

Node.js 未来发展趋势

Node.js 是一种非常有前途的后端技术,它具有高性能、高可扩展性和轻量级等优点。Node.js 还可以用来开发命令行工具和跨平台桌面应用程序等,具有非常广泛的应用场景。

Node.js vs. Spring Boot:Hello World 性能对决,谁更快一点?

摘要:本文由葡萄城技术团队于博客园发布。转载请注明出处:葡萄城官网,葡萄城为开发者提供专业的开发工具、解决方案和服务,赋能开发者。 前言: Spring Boot 在 Java 生态中备受欢迎,它是一款基于 Java 构建的轻量级服务端框架,主要用于 Web 服务。Spring Boot 的应用使得

Nodejs 应用编译构建提速建议

前端构建的提速是一项比较复杂且细节的工程, 目前产品上在持续跟踪构建慢的应用, 努力优化编译速度, 但前端本身拥有一个比较自由的技术环境, 没有统一的构建工具与流程, 另外语言本身的执行效率、单线程的构建也不好让编译机发挥其最大能力, 所以目前全局的通用优化手段还是会比较局限, 还是依赖项目自身的优化. 希望大家一起努力共建美好的明天.

NodeJS 实战系列:DevOps 尚未解决的问题

本文将通过展示 NodeJS 应用里环境变量的提取过程,来一窥 DevOps 技术是如何应用在现在云平台上的运维工作中的。同时我也想让大家在这里看到 DevOps 的另外一面,即它并非全能,从本地开发到持续部署再到实际运行,有一些运维鸿沟依然还未被填平。“人工操作”依然是工作中的最大风险。