java怎么从kafka读取数据

53次阅读

共计 1072 个字符，预计需要花费 3 分钟才能阅读完成。

要从 Kafka 读取数据，可以使用 Kafka 的 Java 客户端库。以下是使用 Java 从 Kafka 读取数据的步骤：

添加 Kafka 客户端库的依赖：在 Maven 项目的 pom.xml 文件中，添加以下依赖：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.8.1</version>
</dependency>

创建 Kafka 消费者实例：使用 Kafka 的 Consumer 类创建一个消费者实例。需要指定 Kafka 集群的地址和端口号，以及消费者组 ID。

Properties properties = new Properties();
properties.put("bootstrap.servers", "localhost:9092"); // Kafka 集群的地址和端口号
properties.put("group.id", "my-group"); // 消费者组 ID

Consumer<String, String> consumer = new KafkaConsumer<>(properties);

订阅主题：使用消费者实例的 subscribe() 方法订阅一个或多个 Kafka 主题。

consumer.subscribe(Arrays.asList("my-topic")); // 订阅名为 "my-topic" 的主题

读取消息：使用消费者实例的 poll() 方法从 Kafka 读取消息。默认情况下，poll()方法会阻塞，直到有消息可用。

while (true) {ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));

    for (ConsumerRecord<String, String> record : records) {String key = record.key();
        String value = record.value();

        // 处理消息
        System.out.println("Received message: key = " + key + ", value = " + value);
    }
}