Kafka – Linux 环境（CentOS 7）的详细安装步骤（含Zookeeper）

在开始正式安装之前，先简单说下整个系统运行的顺序：

1. 启动 zookeeper server。

2. 启动 kafka server。

3. Producer 如果生产了数据，会先通过 zookeeper 找到 broker，然后将数据存放进 broker。

4. Consumer 如果要消费数据，会先通过 zookeeper 找对应的 broker，然后消费。

除了可以直接安装Kafka Server之外，还可以通过 Docker 运行Kafka Server，可以参考：

Docker环境下安装Zookeeper和Kafka

下面开始在Linux（CentOS 7）环境下，正式安装Kafka Server 最新版本。

1.安装Java，确认Java版本；

Linux 环境 – 安装JDK

Step 1.1 – 下载Java JDK 压缩包

Step 1.2 – Extract Files 解压缩文件

下载完成之后，解压tar文件。

$ cd /go/to/download/path

$ tar -zxf jdk-8u60-linux-x64.gz

Step 1.3 – 移动 JDK 到 opt 目录

$ su

password: (type password of root user)

$ mkdir /opt/jdk

$ mv jdk-1.8.0_60 /opt/jdk/

Step 1.4 – Set path 设置 JAVA_HOME

vim /etc/profile

2. 安装Zookeeper

Step 2.1 – 下载 ZooKeeper

访问如下链接，下载最新版本的ZooKeeper，安装Zookeeper。

http://zookeeper.apache.org/releases.html

As of now, latest version of ZooKeeper is 3.4.6 (ZooKeeper-3.4.6.tar.gz).

最新版本：

http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.11/

Step 2.2 – 解压文件

使用下面的命令，解压tar文件。

$ cd opt/

$ tar -zxf zookeeper-3.4.6.tar.gz

$ cd zookeeper-3.4.6

$ mkdir data

Step 2.3 – 创建配置文件

复制zoocfg 文件 — cp zoo_sample.cfg zoo.cfg

$ vi conf/zoo.cfg

tickTime=2000

dataDir=/path/to/zookeeper/data -> /opt/zookeeper-3.4.11/data

clientPort=2181

initLimit=5

syncLimit=2

修改并保存好配置文件之后，返回到terminal窗口，启动Zookeeper server。

Step 2.4 – 启动ZooKeeper

$ bin/zkServer.sh start

在执行上述命令后，将看到如下输出：

$ JMX enabled by default

$ Using config: /Users/../zookeeper-3.4.6/bin/../conf/zoo.cfg

$ Starting zookeeper … STARTED

使用jps 查看 java process status

查看ZooKeeper Server的状态：

[root@local zookeeper-3.4.11]# bin/zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /opt/zookeeper-3.4.11/bin/../conf/zoo.cfg

Mode: standalone

[root@local zookeeper-3.4.11]#

Step 2.5 – 启动CLI

$ bin/zkCli.sh

输入上述命令，将连接到Zookeeper 服务器，并看到如下输出。

Connecting to localhost:2181

…………….

…………….

…………….

Welcome to ZooKeeper!

…………….

…………….

WATCHER::

WatchedEvent state:SyncConnected type: None path:null

[zk: localhost:2181(CONNECTED) 0]

Step 2.6 – 停止ZooKeeper服务器

在连接服务器，执行完操作之后，可以停止Zookeeper 服务器，执行下面的命令即可。

$ bin/zkServer.sh stop

现在，我们已经成功安装好了Java和Zookeeper。接下来，开始安装Apache Kafka。

Step 3 – 安装Kafka

接着按照如下步骤安装Kafka。

Step 3.1 -下载Kafka

访问如下链接：

https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz

下载最新的版本，如 – kafka_2.11_0.9.0.0.tgz，下载到本地。

Step 3.2 – 解压缩 tar文件

使用如下命令，解压tar文件。

$ cd opt/

$ tar -zxf kafka_2.11.0.9.0.0 tar.gz

$ cd kafka_2.11.0.9.0.0

现在，已经完成下载最新版本的kafka。

Step 3.3 – 启动Kafka Server

Kafka 需要使用ZooKeeper，因此你需要首先启动ZooKeeper 服务器。

你也可以使用如下脚本，运行一个单一节点的ZooKeeper 实例。

启动ZooKeeper Server，它为Kafka Cluster提供了协调服务。

使用如下命令启动Kafka。

$ bin/kafka-server-start.sh config/server.properties &

【“&”号是为了让在后台运行，要不还要在手动放后台或者重新开启一个终端窗口。】

在Kafka 服务器启动后，将看到如下输出：

$ bin/kafka-server-start.sh config/server.properties

[2016-01-02 15:37:30,410] INFO KafkaConfig values:

request.timeout.ms = 30000

log.roll.hours = 168

inter.broker.protocol.version = 0.9.0.X

log.preallocate = false

security.inter.broker.protocol = PLAINTEXT

…………………………………………….

…………………………………………….

Step 3.4 – 停止Kafka Server

可以使用如下的命令，停止Kafka Server。

$ bin/kafka-server-stop.sh config/server.properties