【Azure 事件中心】Event Hub服务中的度量值指标介绍

Hub,Event ,Azure 事件,度量值 · 浏览次数 : 52

小编点评

**1. request 和 message 的区别** - request:请求是发送给Event Hub的服务请求的具体步骤,例如发送消息、获取数据等。 - message:消息是完成请求所需的所有数据,例如请求参数、事件数据等。 **2. capture backlog 和 capture message 的理解** - capture backlog:事件捕获过程中,保留等待捕获的消息数量,直到捕获完成。 - capture message:指捕获到的事件或消息。 **3. quota exceed error 的理解** - 当Event Hub的限制元素(例如吞吐量、内存、数量等)达到或超过指定值时,会触发quota exceed error。 - 具体的错误信息可以从Event Hub的日志中获取。 **4. size 的理解** - size:表示该Event Hub存储的总数据大小,包括所有数据、索引、日志等。 - 对于Standard的Event Hub Namespace,存储空间与TU (吞吐量单位)相关,每个TU最多可以容纳84GB的数据。 **5. Event Hub 设置 Alert 的考虑因素** - 可以根据Incoming Messages 和 Outgoing Messages数量差值设置Alert,但目前Event Hub服务的Alert Rule 暂时不支持对这些数量差值的设置。 - 可以考虑设置 Alert Rule,如果Incoming messages 与 Outgoing messages的数量相等,而且消费端收到outgoing message之后返回了complete,则archive messages的数量会保持在0左右。

正文

问题描述

Event Hub服务中的度量值指标解说

      1)request和message的区别

      2)capture backlog 和 capture message 怎么理解

      3)quota exceed error, 哪里可以知道这个quota

      4)size 是指的存储大小

      5)  为EventHub 设置Alert,是否可以根据Incoming Messages 和 Outgoing Messages的数量差值进行设置 

 

问题解答

1)request和message的区别

对Event Hub进行的任何操作(发送消息,管理请求)都是Reqeust。而只有发送消息,接收消息是算在Message指标中的。所以在指标中,会观测到 Incoming Request 的数量远大于 Incoming Messages 的数量,因为对于Incoming Requests 除了与 Messages相关的操作,还包括对Event Hub的entity执行的 management的操作,比如list、get size、 get property等操作。

Incoming Requests: The number of requests made to the Event Hubs service over a specified period. This metric includes all the data and management plane operations.

Incoming Messages: The number of events or messages sent to Event Hubs over a specified period.

Outgoing Messages: The number of events or messages received from Event Hubs over a specified period.

指标更详细的说明见:https://learn.microsoft.com/en-us/azure/event-hubs/monitor-event-hubs-reference?source=recommendations#metrics

 

2)capture backlog 和 capture message 怎么理解

Capture backlob 和 capture message 指在Event Hub开启捕获(capture)功能后,对backlog 和 message的统计指标。

Captured Messages: The number of captured messages(已经捕获了多少消息)
Capture Backlog: Capture backlog for an event hub(还剩余多少消息没有捕获)

更多说明见:https://learn.microsoft.com/en-us/azure/event-hubs/monitor-event-hubs-reference?source=recommendations#capture-metrics

 

3)quota exceed error, 哪里可以知道这个quota

 因为Event Hub的限制元素较多,各种元素限制的需要参考官网,并且有可能随时间修改:https://learn.microsoft.com/en-us/azure/event-hubs/event-hubs-quotas

 

4)Size 是指的存储大小

 Size代表在该 EventHub 的整个 Namespace 里面目前所存储的所有的数据的大小。 对于Standard的Event Hub Namespace, 存储空间与TU(吞吐量单位)相关,每一个TU最多可以容纳84GB的数据. https://learn.microsoft.com/zh-cn/azure/event-hubs/event-hubs-faq#do-throughput-units-apply-to-all-event-hubs-in-a-namespace-

 

5)  为EventHub 设置Alert,是否可以根据Incoming Messages 和 Outgoing Messages的数量差值进行设置

目前Event Hub服务的Alert Rule 暂时不支持对Incoming Messages 和 Outgoing Messages 的数量差值进行设置,但是,可以考虑如下替代方案:

为 archive messages设置 Alert Rule:如果Incoming messages 与 Outgoing messages 数量相等,而且消费端收到outgoing message 之后返回了complete,则archive messages的数量会保持在0左右。根据此点特性:可以监控 archive messages 的数量是否在10条以下,如果在10条以下也可以表示Incoming messages 与 outgoing messages的数量几乎是相等的。

 

与【Azure 事件中心】Event Hub服务中的度量值指标介绍相似的内容:

【Azure 事件中心】Event Hub服务中的度量值指标介绍

问题描述 Event Hub服务中的度量值指标解说 1)request和message的区别 2)capture backlog 和 capture message 怎么理解 3)quota exceed error, 哪里可以知道这个quota 4)size 是指的存储大小 5) 为EventHu

【Azure 事件中心】Event Hubs如何获取其中存放的历史消息

问题描述 使用Azure Event Hub服务,除了正常的生产,消费消息以外,如果想拿到Event Hub中存储的历史消息?有什么方法呢? 问题解答 获取 Event Hubs 存储的历史消息,首先需要确保消息进入Event Hub的时间处于保留期限(Retention Days)内,因为超过这个

【Azure 事件中心】Event Hubs中存在非常多的错误数据,是否能提前删除这些数据呢?

问题描述 因为一些特殊原因,Event Hub 里面堆积了很多不需要的数据事件,正常要等事件中的过期时间到后才有Event Hub自动删除掉,但希望能够尽快马上删除,有没有什么手动的方法吗? 问题解答 Event Hub是一个数据事件处理服务,最主要的功能就是:接收和发送事件。它并不是一个数据存储服

【Azure 事件中心】如何查看Event Hub的生产者或者是消费者端的IP地址呢?

问题描述 哪些客户端 IP 正在向/从Azure Event Hub发送/接收事件?如何来查看Event Hub的生产者端,消费者端的IP地址呢? 问题解答 如果需要查看Event Hub 服务端的日志,可以在Azure门户上开启诊断日志来查看。默认情况下,我们并不能看见Event Hub的生产者,

【Azure 事件中心】Event Hub 无法连接,出现 Did not observe any item or terminal signal within 60000ms in 'flatMapMany' 的错误消息

2022-11-03 10:58:21.474 INFO --- [pool-7-thread-1] c.a.m.e.PartitionBasedLoadBalancer []: Load balancer already running 2022-11-03 10:58:51.014 WARN --- [ parallel-2] c.a.m.e.Partition

【Azure 事件中心】Azure Event Hub客户端遇见 Expired Heartbeat 错误

问题描述 Azure Event Hub 在消费数端中,经常性遇见 Expired Heartbeat 错误 (consumer-xxxxxxxxxxxxx-c84873c6c828e8df6c843861ad36affb from group xxxxxxxxxxxx due to expired

【Azure 事件中心】Azure Event Hub中的数据能不能存储大于7天呢?如果7天之后是不是会自动删除呢?

问题描述 Event Hub中有个retention的设置为7天,有没有办法增大这个Retention的时间? 如果没办法,是不是超过7天的数据就会被删除? 问题解答 因为Azure Event Hub(事件中心)是一个实时事件流引擎,其设计意图并不是用于代替数据库以及/或者用作无限期保存的事件流的

【Azure 事件中心】向Event Hub发送数据异常 : partitionId[null]: Sending messages timed out

问题描述 在使用Java 代码向 Azure Event Hub发送数据时,先后遇见了如下两种异常消息: 1)ERROR c.t.d.h.s.source.EventHubLogConsumer - Error occurred in partition processor for partitio

【Azure 事件中心】使用Kafka的性能测试工具(kafka-producer-perf-test)测试生产者发送消息到Azure Event Hub的性能

问题描述 Azure Event Hub支持 kafka,所以为了测试消息生产者所在环境与Azure Event Hub之间发送消息的性能如何,特别使用 kafka 官方测试生产者,消费者的性能工具 : kafka-producer-perf-test.bat kafka-consumer-perf

【Azure 事件中心】使用Apache Flink 连接 Event Hubs 出错 Kafka error: No resolvable bootstrap urls

问题描述 参考Github上 Event Hub的示例代码(Using Apache Flink with Event Hubs for Apache Kafka Ecosystems : https://github.com/Azure/azure-event-hubs-for-kafka/tre