01Kafka安装

# 安装 [Kafka]

## 下载 kafka 两种方式

1. 手动下载 下载地址：[Apache Kafka](http://kafka.apache.org/downloads "Apache Kafka")
2. [点击这里从百度云盘下载](https://pan.baidu.com/s/1x16DNT22dApTdykr4LWtQg)（提取码：dzfb）
 手动下载移动到/opt/software 目录下准备安装

## 解压 kafka

```bash
nbu@ecs:~$ cd /opt/software/
nbu@ecs:/opt/software$ tar -zxvf kafka_2.10-0.10.1.0.tgz
nbu@ecs:/opt/software$ sudo mv kafka_2.10-0.10.1.0 /usr/local/kafka
nbu@ecs:/opt/software$ cd /usr/local
nbu@ecs:/usr/local$ sudo chown nbu:nbu -R kafka
```

# 启动

## 1、启动 zookeeper

启动zookeeper
```
nbu@ecs:~$ cd /usr/local/zookeeper/bin
nbu@ecs:/usr/local/zookeeper/bin$ ./zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
```

## 2、启动 Kafka

```bash
nbu@ecs:~$ cd /usr/local/kafka/bin
nbu@ecs:/usr/local/kafka/bin$./kafka-server-start.sh ../config/server.properties
# 或采用下面的方式进行后台启动
nbu@ecs:/usr/local/kafka/bin$ nohup ./kafka-server-start.sh ../config/server.properties  &  
```

## 3、创建 topic

```
nbu@ecs:/usr/local/kafka/bin$ ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic nbu
```

![](https://hexo-img.obs.cn-east-3.myhuaweicloud.com/img/202212031451953.png)

其中 nbu 为创建的 topic 名称。

如上图，创建了一个名为 demo 的主题，其中包含一个分区和一个副本因子。 创建成功之后会输出：`Created topic "nbu".`

![](https://hexo-img.obs.cn-east-3.myhuaweicloud.com/img/202212031435946.png)

如上图，创建主题后，系统会在 `config/server.properties` 文件中`/tmp /kafka-logs/`指定的位置`/tmp/kafka-logs`创建主题的日志。

在zookeeper中可以看到kafka新建的主题'nbu'

```bash
nbu@ecs:~$ cd /usr/local/zookeeper/
nbu@ecs:/usr/local/zookeeper$ bin/zkCli.sh
...

[zk: localhost:2181(CONNECTED) 0] ls /brokers/topics
[nbu]
[zk: localhost:2181(CONNECTED) 1]
```

![](https://hexo-img.obs.cn-east-3.myhuaweicloud.com/img/202212031447485.png)

## 4、查询 topic 列表

```bash
nbu@ecs:/usr/local/kafka/bin$ ./kafka-topics.sh --list --zookeeper localhost:2181
# 详细查询
nbu@ecs:/usr/local/kafka/bin$ ./kafka-topics.sh --zookeeper localhost:2181 --describe --topic nbu
```
![](https://hexo-img.obs.cn-east-3.myhuaweicloud.com/img/202212031439338.png)

## 5、删除 topic

```
nbu@ecs:/usr/local/kafka/bin$ ./kafka-topics.sh --zookeeper localhost:2181 --delete --topic nbu
```

![](https://hexo-img.obs.cn-east-3.myhuaweicloud.com/img/202212031442086.png)

```bash
# 查看
nbu@ecs:/usr/local/kafka/bin$ ./kafka-topics.sh --list --zookeeper localhost:2181
```

>**注意 -** 如果 **`delete.topic.enable`** 未设置为 `true`，则此操作不会产生任何影响

# Kafka 生产 / 消费

## 6、修改主题
例如装nbu的partition分区修改为2
```bash
nbu@ecs:/usr/local/kafka/bin$  ./kafka-topics.sh --zookeeper localhost:2181 --alter --topic nbu --partitions 2
```

## 1 、启动生产者

```bash
nbu@ecs:~$ cd /usr/local/kafka
nbu@ecs:/usr/local/kafka$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic nbu
```

> 从上面的语法，生产者命令行客户端需要两个主要参数 -
> `broker-list`代理列表，是发送信息的代理列表。在config/server.properties文件中设置了端口9092，主题名称是上面创建的: nbu。

## 2 、启动消费者

为了方便测试，另启一个 shell 窗口

```
nbu@ecs:~$ cd /usr/local/kafka
# 旧版本启动消费者端
nbu@ecs:/usr/local/kafka$bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic nbu --from-beginning
# 新版本启动消费者端
nbu@ecs:/usr/local/kafka$bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic nbu --from-beginning
```

可以开启两个终端，一个发送消息，一个接受消息。效果如下：

![](https://hexo-img.obs.cn-east-3.myhuaweicloud.com/img/202212031507827.png)

![](https://hexo-img.obs.cn-east-3.myhuaweicloud.com/img/202212031505377.png)

大数据学习

导航

最近发表

友情链接