【Azure 事件中心】使用Apache Flink 连接 Event Hubs 出错 Kafka error: No resolvable bootstrap urls

Apache ,Flink ,No ,Event · 浏览次数 : 443

小编点评

问题描述中描述了使用 Apache Flink kafka连接中国区的 Azure Event Hub 遇到 Kafka error:`No resolvable bootstrap urls kafkaShaded.org.apache.kafka.common.KafkaException: Failed to construct kafka consumerCaused by: kafkashaded.org.apache.kafka.common.config.ConfigException: No resolvable bootstrap urls given in bootstrap.servers`。 根据错误消息,问题是 bootstrap servers url 的配置错误,因为 GitHub 上的示例代码以 Global Azure 的 Event Hub 服务的终结点为例,而您使用的是中国区的 Azure Event Hub。 中国区正确的 Endpoint 为 `bootstrap.servers=mynamespace. servicebus.chinacloudapi.cn:9093`,因此您需要在 `bootstrap.servers` 中指定正确的 hostname 或 IP 地址。 **解决方案:** 1. 确认您使用的是正确的 hostname 或 IP 地址。 2. 修改 `bootstrap.servers` 中的 endpoint 地址以使用正确的 hostname 或 IP 地址。 3. 确保 bootstrap server 是运行且可访问。 4. 重新启动 Flink Kafka连接器。

正文

问题描述

参考Github上 Event Hub的示例代码(Using Apache Flink with Event Hubs for Apache Kafka Ecosystems : https://github.com/Azure/azure-event-hubs-for-kafka/tree/master/tutorials/flink),使用Apache Flink kafka连接中国区的Azure Event Hub,遇到 Kafka error: No resolvable bootstrap urls 

kafkashaded.org.apache.kafka.common.KafkaException: Failed to construct kafka consumer

Caused by: kafkashaded.org.apache.kafka.common.config.ConfigException: No resolvable bootstrap urls given in bootstrap.servers

根据文档只修改了下图中红色标记的部分:

 

问题解答

根据错误消息,知道是 bootstrap servers url 的配置错误,bootstrap.servers=mynamespace.servicebus.windows.net:9093, 因为Github上的示例代码以Global Azure的Event Hub服务的终结点为例,而当前使用的是中国区的Azure Event Hub。中国区正确的 Endpoint 为: bootstrap.servers=mynamespace. servicebus.chinacloudapi.cn:9093 

This error message occurs when an invalid hostname or IP address is passed to the kafka.bootstrap.servers configuration, The Kafka bootstrap server is not running at the given hostname or IP address.

 

参考资料

Using Apache Flink with Event Hubs for Apache Kafka Ecosystems : https://github.com/Azure/azure-event-hubs-for-kafka/tree/master/tutorials/flink

Kafka error: No resolvable bootstrap urls:https://learn.microsoft.com/en-us/azure/databricks/kb/streaming/kafka-no-resolvable-bootstrap-urls

 

与【Azure 事件中心】使用Apache Flink 连接 Event Hubs 出错 Kafka error: No resolvable bootstrap urls相似的内容:

【Azure 事件中心】使用Apache Flink 连接 Event Hubs 出错 Kafka error: No resolvable bootstrap urls

问题描述 参考Github上 Event Hub的示例代码(Using Apache Flink with Event Hubs for Apache Kafka Ecosystems : https://github.com/Azure/azure-event-hubs-for-kafka/tre

【Azure事件中心】使用Python SDK(Confluent)相关方法获取offset或lag时提示SSL相关错误

问题描述 使用Python SDK(Confluent)相关方法获取offset或lag时, 提示SSL相关错误, 是否有更清晰的实例以便参考呢? 问题解决 执行代码,因为一直连接不成功,所以检查 confluent_kafka 的连接配置,最后定位是 sasl.password 值设置有误。此处,

【Azure 事件中心】使用Kafka的性能测试工具(kafka-producer-perf-test)测试生产者发送消息到Azure Event Hub的性能

问题描述 Azure Event Hub支持 kafka,所以为了测试消息生产者所在环境与Azure Event Hub之间发送消息的性能如何,特别使用 kafka 官方测试生产者,消费者的性能工具 : kafka-producer-perf-test.bat kafka-consumer-perf

【Azure 事件中心】 org.slf4j.Logger 收集 Event Hub SDK(Java) 输出日志并以文件形式保存

问题描述 在使用Azure Event Hub的SDK时候,常规情况下,发现示例代码中并没有SDK内部的日志输出。因为在Java项目中,没有添加 SLF4J 依赖,已致于在启动时候有如下提示: SLF4J: Failed to load class "org.slf4j.impl.StaticLog

【Azure 事件中心】向Event Hub发送数据异常 : partitionId[null]: Sending messages timed out

问题描述 在使用Java 代码向 Azure Event Hub发送数据时,先后遇见了如下两种异常消息: 1)ERROR c.t.d.h.s.source.EventHubLogConsumer - Error occurred in partition processor for partitio

【Azure 事件中心】Event Hubs如何获取其中存放的历史消息

问题描述 使用Azure Event Hub服务,除了正常的生产,消费消息以外,如果想拿到Event Hub中存储的历史消息?有什么方法呢? 问题解答 获取 Event Hubs 存储的历史消息,首先需要确保消息进入Event Hub的时间处于保留期限(Retention Days)内,因为超过这个

Axure 变量、属性、函数

局部变量 使用场景非常多; 需要先创建; 只能作用于当前事件; 命名需要注意,只能英文+数字; 全局变量 需要先创建; 可以作用于整个文档,在任意页面调用或使用 中继器的 Item 属性 item:获取数据集一行数据的集合,即数据行的对象。 ltem:列名:获取数据行中指定列的值。 index:获取

【Azure 事件中心】Event Hub 无法连接,出现 Did not observe any item or terminal signal within 60000ms in 'flatMapMany' 的错误消息

2022-11-03 10:58:21.474 INFO --- [pool-7-thread-1] c.a.m.e.PartitionBasedLoadBalancer []: Load balancer already running 2022-11-03 10:58:51.014 WARN --- [ parallel-2] c.a.m.e.Partition

【Azure 事件中心】Azure Event Hub中的数据能不能存储大于7天呢?如果7天之后是不是会自动删除呢?

问题描述 Event Hub中有个retention的设置为7天,有没有办法增大这个Retention的时间? 如果没办法,是不是超过7天的数据就会被删除? 问题解答 因为Azure Event Hub(事件中心)是一个实时事件流引擎,其设计意图并不是用于代替数据库以及/或者用作无限期保存的事件流的

【Azure 事件中心】Event Hubs中存在非常多的错误数据,是否能提前删除这些数据呢?

问题描述 因为一些特殊原因,Event Hub 里面堆积了很多不需要的数据事件,正常要等事件中的过期时间到后才有Event Hub自动删除掉,但希望能够尽快马上删除,有没有什么手动的方法吗? 问题解答 Event Hub是一个数据事件处理服务,最主要的功能就是:接收和发送事件。它并不是一个数据存储服