如何配置 SLO

如何,配置,slo · 浏览次数 : 283

小编点评

## 总结内容 本文涵盖了多个方面,包括数据持久性、可用性、延迟、运行时间等。通过对这些目标的监控,可以帮助提升应用程序的性能和可靠性。 **主要内容:** * 数据持久性 (Durability):目标以确保数据完整性,避免数据丢失。 * 可可用性 (Availability):目标以确保应用程序能够正常运行,避免出现不可用的情况。 * 延迟 (Latency):目标以降低应用程序的响应时间,提高用户体验。 * 运行时间 (Uptime):目标以确保应用程序能够正常运行,避免出现不可用的情况。 * 运行时间 (Uptime):目标以确保应用程序能够正常运行,避免出现不可用的情况。 * 可数据持久性 (Data Durability):目标以确保数据能够持久化,避免数据丢失。 **总结:** 以上内容介绍了如何监控应用程序的性能目标,以及如何通过对这些目标的监控来提升应用程序的性能和可靠性。

正文

前言

无论是对外提供 IaaS PaaS SaaS 的云公司,还是提供信息技术服务的乙方公司,亦或是金融 制造等各行各业的数据中心、运维部门,我们的一个非常重要的合同承诺或考核评估指标就是:SLA(即:Service-Level Agreement 服务等级协议)。

而真正落地实现 SLA 的精确测量,最广为人知的就是 Google 的 SRE 理论。

Google SRE SLO & SLA

在 Google,会明确区分 SLO 和服务等级协议 (SLA)。SLA 通常涉及向服务用户承诺,即服务可用性 SLO 应在特定时间段内达到特定级别。如果不这样做,就会导致某种惩罚。这可能是客户为该期间支付的服务订阅费的部分退款,或者免费添加的额外订阅时间。SLO 不达标会伤害到服务团队,因此他们将努力留在 SLO 内。如果您要向客户收取费用,则可能需要 SLA。

SLA 中的可用性 SLO 通常比内部可用性 SLO 更宽松。这可以用可用性数字表示:例如,一个月内可用性 SLO 为 99.9%,内部可用性 SLO 为 99.95%。或者,SLA 可能仅指定构成内部 SLO 的指标的子集。

如果 SLA 中的 SLO 与内部 SLO 不同(几乎总是如此),则监控必须显式测量 SLO 达标情况。您希望能够查看系统在 SLA 日程期间的可用性,并快速查看它是否似乎有脱离 SLO 的危险。

您还需要对合规性进行精确测量,通常来自 Metrics、Tracing、Logging 分析。由于我们对付费客户有一组额外的义务(如 SLA 中所述),因此我们需要将从他们那里收到的查询与其他查询分开进行度量。这是建立 SLA 的另一个好处 — 这是确定流量优先级的明确方法。

定义 SLA 的可用性 SLO 时,请注意将哪些查询视为合法查询。例如,如果客户因为发布了其移动客户端的错误版本而超出配额,则可以考虑从 SLA 中排除所有"超出配额"的响应代码。

SLI

SLI 是经过仔细定义的测量指标,它根据不同系统特点确定要测量什么。

常见的 SLI 有:

  • 性能
    • 响应时间 (latency)
    • 吞吐量 (throughput)
    • 请求量 (qps)
    • 实效性 (freshness)
  • 可用性
    • 运行时间 (uptime)
    • 故障时间/频率
    • 可靠性
  • 质量
    • 准确性 (accuracy)
    • 正确性 (correctness)
    • 完整性 (completeness)
    • 覆盖率 (coverage)
    • 相关性 (relevance)
  • 内部指标
    • 队列长度 (queue length)
    • 内存占用 (RAM usage)
  • 因素人
    • 响应时间 (time to response)
    • 修复时间 (time to fix)
    • 修复率 (fraction fixed)

SLO

SLO(服务等级目标)指定了服务所提供功能的一种期望状态,服务提供者用它来指定系统的预期状态。SLO 里不会提到,如果目标达不到会怎么样。

SLO 是用 SLI 来描述的,一般描述为:
比如以下SLO:

  • 每分钟平均 qps > 100 k/s
  • 99% 访问延迟 < 500ms
  • 99% 每分钟带宽 > 200MB/s

设置 SLO 时的目标依赖于系统的不同状态(conditions),根据不同状态设置不同的SLO:

总 SLO = service1.SLO1 weight1 + service2.SLO2 weight2 + …

为什么要有 SLO,设置 SLO 的好处是什么呢?

  • 对于客户而言,是可预期的服务质量,可以简化客户端的系统设计
  • 对于服务提供者而言
    • 可预期的服务质量
    • 更好的取舍成本/收益
    • 更好的风险控制(当资源受限的时候)
    • 故障时更快的反应,采取正确措施

SLA

 SLA = SLO + 后果

小结

  • SLI:服务等级指标,经过仔细定义的测量指标
  • SLO:服务等级目标,总 SLO = service1.SLO1 weight1 + service2.SLO2 weight2 + …
  • SLA: 服务等级协议, SLA = SLO + 后果

如何配置 SLO

公有云常见 SLO

常见于通过 处理请求的服务或 API 提供的服务(如:对象存储 或 API 网关)

  • 错误率 (error rate) 计算的是服务返回给用户的 error 总数
  • 如果错误率大于X%(如 0.5%),就算是服务 down了,开始计算 downtime
  • 如果错误率持续超过 Y (如 5)分钟,这个downtime就会被计算在内
  • 间断性的小于 Y 分钟的downtime是不被计算在内的。

前端 Web 或 APP

前端用户体验 Apdex 目标

如果有前端 js 探针监控,或拨测监控,那么可以用前端用户体验 Apdex 作为 SLO。

Apdex 定义了一个性能标准,将应用程序用户分为三个组:

  • 满意、
  • 可容忍(一般)
  • 沮丧(不满意)。

例如,作为前端应用程序的 SLO,您可以指定希望 90% 的用户 Apdex 都是 满意

如,My WebApp Apdex 公式如下:

100% * (apps.web.actionCount.category:filter(eq(Apdex category,SATISFIED)):splitBy("My WebApp")) / (apps.web.actionCount.category:splitBy("My WebApp"))

前端 APP 无崩溃(Crash)用户率目标

衡量手机 App (iOS 和 Android) 的可用性和可靠性的最重要指标之一是 无崩溃用户率。指的是没有崩溃的情况下打开并使用移动 APP 的用户百分比。

因此,公式示例如下:

apps.other.crashFreeUsersRate.os:splitBy("My mobile app")

拨测可用性目标

拨测可用性 SLO 表示拨测处于可用状态下的时间百分比,或者,成功拨测占执行的总测试数的百分比。

因此,公式示例为:

(synthetic.browser.availability.location.total:splitBy("My WebApp"))

后端应用 或 Service

基本的 SLO - 调用成功率目标

成功率 = 成功的请求调用次数 / 总的请求调用次数

如:My service 的 成功率:

100% * (service.requestCount.successCount:splitBy("My service"))/(service.requestCount.totalCount:splitBy("My service"))

那么,如果 My service 的关键 API 或请求需要计量,就可能是下面的公式:

(100%)*(service.keyRequest.successCount:splitBy(type("SERVICE_API") AND entityId("POST /login")))/(service.keyRequest.totalCount:splitBy(type("SERVICE_API") AND entityId("POST /login")))

ℹ️ 提示:

成功的请求最简单的一种方式是:http 状态码为 2xx 或 3xx 的请求即视为成功。

还有一种,请求执行过程中没有抛出错误(日志或异常)的请求视为成功。

服务性能目标

重点在于性能

服务性能 SLO 表示 「fast」 服务调用占服务调用总数的百分比,其中 「fast」使用自定义条件定义。例如:

  • fast:0 - 3s 内完成服务调用()
  • normal:3 - 5s 内完成服务调用
  • slow:5s 以上完成服务调用或超时

ℹ️ 提示:

当然,上边的 3s 也不应该是拍脑袋想的,而应该是例如基于过去一个月系统正常运行时 99% 百分位数的响应时间。

公式示例为:

(service:fastRequests:splitBy("My WebApp")) / (service:totalRequests:splitBy("My WebApp"))

后端数据库

数据库可用性或读可用性目标

错误率:是在给定的一小时间隔内,DB 的失败 SQL 执行次数除以总 SQL 执行次数。

读错误率:是在给定的一小时间隔内,DB 的失败查询 SQL 执行次数除以总 SQL 执行次数。

公式示例为:

可用性 % = 100% - Average DB Error Rate

或:

读可用性 % = 100% - Average DB Read Error Rate

吞吐量目标

  • 吞吐量失败的请求:是指请求尚未超过给定 DB 吞吐量,却被 DB 吞吐量限制,导致错误码

  • 吞吐量错误率:是在给定的一小时间隔内,给定 DB 的吞吐量失败请求总数除以总请求数。

那么,公式示例为:

吞吐量目标% = 100% -平均吞吐量错误率

一致性目标

SLI 为:

一致性违规率:是指在给定的 DB 中,在给定的一小时间隔内,对所选的一致性级别(按总请求数划分)执行一致性保证时无法发送的成功请求。

延迟目标

  • P99 延迟:计算出的一段时间内的测试 SQL (如select 1 from dual) 执行时间的 99% 百分位响应时间。
  • 延迟时间和:是指在应用程序提交的 SQL 成功请求导致 P99 延迟大于或等于 10ms 的一个小时间隔的总数。

那么,示例公式为:

延迟目标% = 100% - 总的延迟时间和的次数 / (DB 总使用时间/1H)

如:过去 1 个月,总的延迟时间和的次数为 50 次,分母为:30 * 24 / 1 = 720

那么:延迟目标% = 100% - 50 / 720 ≈ 93%

MQ 类

消息成功率目标

就是成功的消息除以 MQ 接收的总消息。

公式示例为:

(100)*((mq.rabbitmq.queue.requests.successful:splitBy("payment"))/mq.rabbitmq.queue.requests.incoming:splitBy("payment")))

Host 类

UPTIME 目标

例如,每小时正常运行时间百分比 = 100% - 单个 Host 实例处于不可用状态的总时间(没有超过多长时间才算不可用一说)百分比

不可用的定义可以是:

  • 该 Host 实例没有网络连接
  • 该 Host 实例 无法执行读写 IO,且 IO 在队列中挂起。即 IO hang。

K8S 类

K8S 类是一类综合系统,需要考虑如下目标

  • API Server 成功率目标
  • 计算目标
  • 存储目标
  • 网络目标

存储类

可用性(Availability)目标

大致也是类似上边的可用性目标。

数据持久性(Durability)目标

这个通常非常高,比如:99.999999999%

可以简单粗暴认为:只要有数据丢失的情况,就是没达到目标。

典型案例就是腾讯的那次。

网络类

可用性目标

以 NAT 网关为例:

单实例服务不可用分钟数: 当某一分钟内,NAT 网关实例出方向所有数据包都被 NAT 网关丢弃时,则视为该分钟内该 NAT 网关实例服务不可用。在一个服务周期内 NAT 网关实例不可用分钟数之和即服务不可用分钟数。

总结

可以根据不同的层次、组件设定不同的 SLO。

SLO 的监测是需要监控工具的支持。

常用的 SLO 包括:

  • 可用性(Availability)目标
  • 成功率(Success Rate)目标
  • 延迟 (Latency) 目标
  • 运行时间 (Uptime) 目标
  • 数据持久性(Durability)目标

EOF

三人行, 必有我师; 知识共享, 天下为公. 本文由东风微鸣技术博客 EWhisper.cn 编写.

与如何配置 SLO相似的内容:

如何配置 SLO

前言 无论是对外提供 IaaS PaaS SaaS 的云公司,还是提供信息技术服务的乙方公司,亦或是金融 制造等各行各业的数据中心、运维部门,我们的一个非常重要的合同承诺或考核评估指标就是:SLA(即:Service-Level Agreement 服务等级协议)。 而真正落地实现 SLA 的精确测

[转帖]nginx 白名单处理

Nginx如何配置根据cookie或header自定义字段进行跳转 一、根据cookie中的值来判断跳转 $http_cookie这个关键词是读取cookie的全部信息,那么我们是需要判断cookie中包含的某个字段的值,比如我设置openid=5,我该如何获取那么,我们可以通过$cookie_op

Containerd 如何配置 Proxy?

前言 在某些 air gap 场景中,往往需要离线或使用代理 (Proxy), 例如: 需要通过 Proxy pull 容器镜像: Docker Hub: docker.io Quay: quay.io GCR: gcr.io GitHub 镜像库:ghcr.io 在某些企业环境中,需要通过代理访问

云原生背景下如何配置 JVM 内存

背景 前段时间业务研发反馈说是他的应用内存使用率很高,导致频繁的重启,让我排查下是怎么回事; 在这之前我也没怎么在意过这个问题,正好这次排查分析的过程做一个记录。 首先我查看了监控面板里的 Pod 监控: 发现确实是快满了,而此时去查看应用的 JVM 占用情况却只有30%左右;说明并不是应用内存满了

quarkus实战之六:配置

了解quarkus六种配置方式,以及如何配置多种内容

[转帖]Springboot配置https访问

https://www.cnblogs.com/feifuzeng/p/14709372.html 介绍 该篇博文主要介绍如何配置Springboot使其打包部署的服务必须通过HTTPS协议才可访问,仅供内部研究使用。 生成https证书 要使用https,首先需要ssl证书,获取SSL证书有两种方

Spring Cloud微服务下如何配置I8n

什么是I8n 国际化(I18n)指的是设计和开发产品的过程,使得它们能够适应多种语言和文化环境,而不需要进行大量的代码更改。这通常涉及到创建一个基础版本的产品,然后通过配置和资源文件来添加对不同语言和地区的支持。 这样,当产品需要在新的地理区域或语言环境中使用时,只需要添加或更新相应的资源文件,而不

《爆肝整理》保姆级系列教程-玩转Charles抓包神器教程(15)-Charles如何配置反向代理

1.简介 在App开发的过程当中,抓包是一个很常见的需求,而有些app的请求不会在网络设置代理时被抓到数据包,这里若是需要抓包就需要搭建反向代理。 2.什么是代理? 什么是代理,来一张图了解一下。 代理又分为正向代理和反向代理。 3.什么是正向代理? 先来看张图~ 【再举个栗子】 某同学喜欢面向搜索

家庭实验室系列文章-电脑如何配置网络唤醒 (WOL)?

前言 其实这个专题很久很久之前就想写了,但是一直因为各种原因拖着没动笔。 因为没有资格,也没有钱在一线城市买房 (😂😂😂); 但是在要结婚之前,婚房又是刚需。 我和太太最终一起在一线城市周边的某二线城市买了房。 再之后,一起装修,她负责非电相关,我负责电 网相关的装修。 家庭组网,家庭实验室就

批处理及有状态等应用类型在 K8S 上应该如何配置?

众所周知, Kubernetes(K8S)更适合运行无状态应用, 但是除了无状态应用. 我们还会有很多其他应用类型, 如: 有状态应用, 批处理, 监控代理(每台主机上都得跑), 更复杂的应用(如:hadoop 生态...). 那么这些应用可以在 K8S 上运行么? 如何配置? 其实, K8S 针对