Prometheus 性能调优-水平分片

prometheus,性能,水平,分片 · 浏览次数 : 139

小编点评

**水平分片** 水平分片是一种 Prometheus 的性能优化技术,它可以应对不是因为 label 导致的高基数问题,而是因为监控规模的急剧扩张导致需要被监控的 instance 非常庞大时,可以通过 Prometheus 的 **hashmod relabel action** 来优化性能。 **配置水平分片** 使用水平分片可以将 Prometheus 分配到多个 CPU 上,从而降低单个 Prometheus 的 CPU 使用量。例如,您可以使用以下命令配置水平分片: ``` prometheus config set targets.global.parallelism 4 ``` **使用水平分片的优点** * 降低单个 Prometheus 的 CPU 使用量。 * 减少网络流量。 * 提高 Prometheus 的性能。 **使用水平分片的缺点** * 复杂性增加。 * 需要在 Kubernetes 中配置额外的配置项。

正文

简介

之前笔者有连续 2 篇文章:

陆续介绍了一些 Prometheus 的性能调优技巧,包括高基数问题的解决以及精简 Prometheus 的指标和存储占用。

今天再介绍一个新的调优思路:水平分片。

水平分片

如果你正在面临的不是因为 label 导致的高基数问题,而是因为监控规模的急剧扩张导致需要被监控的 instance 非常庞大时,可以通过 Prometheus 的hashmod relabel action 来优化性能。通过这种办法,面对成千上万的 instance 时,一台 Prometheus 只需要监控其中的所有各种各样实例的一部分 instance。

📝Notes

Prometheus 也有垂直分片,垂直分片要简单很多,说白了就是配置不同的 job 监控不同的组件即可。
水平分片相对还有些技术含量。

水平分片配置

具体配置如下,使用一台 Prometheus 抓取 targets 的一部分:

global:
  external_labels:
  env: prod
  scraper: 2
scrape_configs:
  - job_name: my_job
    ...
    relabel_configs:
      - source_labels: [__address__]
        modulus: 4
        target_label: __tmp_hash
        action: hashmod
      - source_labels: [__tmp_hash]
        regex: 2
        action: keep

modulus 里,配置了 4 为基数。每个 Prometheus 只抓取 1/4,比如上面的配置就只抓取 hashmod__temp_hash 为 2 的 targets。

抓取完成后,可以再通过 remote_write Thanos Mimir VM 等方案对这 4 台 Prometheus Server 的数据进行聚合。

🎉🎉🎉

本文由博客一文多发平台 OpenWrite 发布!

与Prometheus 性能调优-水平分片相似的内容:

Prometheus 性能调优-水平分片

简介 之前笔者有连续 2 篇文章: Prometheus 性能调优 - 什么是高基数问题以及如何解决? 如何精简 Prometheus 的指标和存储占用 陆续介绍了一些 Prometheus 的性能调优技巧,包括高基数问题的解决以及精简 Prometheus 的指标和存储占用。 今天再介绍一个新的调

Prometheus性能调优-什么是高基数问题以及如何解决?

背景 近期发现自己实验用的 Prometheus 性能出现瓶颈, 经常会出现如下告警: PrometheusMissingRuleEvaluations PrometheusRuleFailures 之后慢慢排查发现是由于 Prometheus 的某些 series 的高基数(High Cardin

查看最近一段时间的系统使用情况

摘要 最近一直在研究表大小过大,表数量过多对性能的影响. 想着能够通过truncate table 然后机器性能的变化 进行一下简单的验证. 希望能够得出一个用于调优的依据 安装Grafana监控软件 第一种方式是使用 promethus + node_exporter + grafana 的方式进

如何精简 Prometheus 的指标和存储占用

前言 随着 Prometheus 监控的组件、数量、指标越来越多,Prometheus 对计算性能的要求会越来越高,存储占用也会越来越多。 在这种情况下,要优化 Prometheus 性能, 优化存储占用. 第一时间想到的可能是各种 Prometheus 的兼容存储方案, 如 Thanos 或 VM

如何精简 Prometheus 的指标和存储占用

前言 随着 Prometheus 监控的组件、数量、指标越来越多,Prometheus 对计算性能的要求会越来越高,存储占用也会越来越多。 在这种情况下,要优化 Prometheus 性能, 优化存储占用. 第一时间想到的可能是各种 Prometheus 的兼容存储方案, 如 Thanos 或 VM

不要再说你不会了——网络性能问题排查思路

网络性能问题排查思路 服务监控系列文章 服务监控系列视频 网络问题往往是性能排查中最复杂的一个问题,因为网络问题往往涉及的链路比较长,排查起来不仅仅是看本地机器的指标就可以了。本文将展示一个比较系统的排查网络问题的思路。 我们往往都是通过类似prometheus,grafana搭建的监控平台对机器的

每日一库:Prometheus

什么是 Prometheus Prometheus 是一个开源的系统监控和警报工具,最初由 SoundCloud 开发,并于 2012 年发布为开源项目。它是一个非常强大和灵活的工具,用于监控应用程序和系统的性能,并根据预定义的规则触发警报。以下是对 Prometheus 的详细介绍: 特点和优势:

iftop的学习与使用

iftop的学习与使用 背景 前段时间一直进行netperf 等网络性能验证工具的学习与使用. 监控很多时候采用了 node-exporter + prometheus + grafana来进行观察 但是到了一些特殊项目现场. 感觉grafana的大屏展示模式,其实存在很多不太优雅的地方. 还是需要

深入理解Prometheus: Kubernetes环境中的监控实践

在这篇文章中,我们深入探讨了Prometheus在Kubernetes环境中的应用,涵盖了从基础概念到实战应用的全面介绍。内容包括Prometheus的架构、数据模型、PromQL查询语言,以及在Kubernetes中的集成方式、监控策略、告警配置和数据可视化技巧。此外,还包括针对不同监控场景的实战

深入解读Prometheus Adapter:云原生监控的核心组件

本文详述了Prometheus Adapter的部署与配置,通过三个实践案例展示其在Kubernetes环境中的应用,帮助用户实现基于自定义指标的自动扩展和跨集群统一监控。 关注作者,分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验,同济本复旦硕,复旦机器人智能实验