一、建立WordCount工程
# 创建工程文件夹~/bigdata/flink/wordcountnbu@ecs:~$ mkdir -p bigdata/flink/wordcountnbu@ecs:~$ cd bigdata/flink/wordcount# 创建项目package org.nbubigdata.flinknbu@ecs:~/bigdata/flink/wordcount$ mkdir -p src/org/nbubigdata/flink# 创建输出文件夹classes 用于保存编译后的class文件及jar包nbu@ecs:~/bigdata/flink/w
一、建立WordCount工程
# 创建工程文件夹~/bigdata/flink/wordcountnbu@ecs:~$ mkdir -p bigdata/flink/wordcountnbu@ecs:~$ cd bigdata/flink/wordcount# 创建项目package org.nbubigdata.flinknbu@ecs:~/bigdata/flink/wordcount$ mkdir -p src/org/nbubigdata/flink# 创建输出文件夹classes 用于保存编译后的class文件及jar包nbu@ecs:~/bigdata/flink/w
Java 客户端创建一个用于发布和使用消息的应用程序。 Kafka 生产者客户端包括以下 API。
KafkaProducer API
让我们了解本节中最重要的一组 Kafka 生产者 API。 KafkaProducer API 的中心部分是 KafkaProducer 类。 KafkaProducer 类提供了一个选项，用于将其构造函数中的 Kafka 代理连接到以下方法。
KafkaProducer 类提供 send 方法以异步方式将消息发送到主题。 send() 的签名如下
producer.send(new ProducerRecord<byte
消费群是多线程或多机器的 Apache Kafka 主题。
消费者群体
消费者可以使用相同的 group.id 加入群组
一个组的最大并行度是组中的消费者数量←不是分区。
Kafka 将主题的分区分配给组中的使用者，以便每个分区仅由组中的一个使用者使用。
Kafka 保证消息只能被组中的一个消费者读取。
消费者可以按照消息存储在日志中的顺序查看消息。
重新平衡消费者
添加更多进程 / 线程将导致 Kafka 重新平衡。 如果任何消费者或代理无法向 ZooKeeper 发送心跳，则可以通过 Kafka 集群重新配置。 在此重新平衡期间，Kafka 将分配可用分区到可用线
大数据学习