本帖最后由 我是楠楠 于 2018-9-29 15:29 编辑
【郑州校区】如何搭建Kafka集群
4.1、准备3台虚拟机192.168.140.128 kafka01 192.168.140.129 kafka02 192.168.140.130 kafka03 4.2、初始化环境1）安装jdk、安装zookeeper 2）安装目录 安装包存放的目录：/export/software 安装程序存放的目录：/export/servers 数据目录：/export/data 日志目录：/export/logs mkdir -p /export/servers/ mkdir -p /export/software / mkdir -p /export/data / mkdir -p /export/logs / |
3）安装用户 安装hadoop，会创建一个hadoop用户 安装kafka，创建一个kafka用户 或者 创建bigdata用户，用来安装所有的大数据软件。 本例：使用root用户 1） 验证环境 a) jdk环境 b) zookeeper环境 zkServer.sh status 4.3、搭建Kafka集群4.3.1、准备安装包由于kafka是scala语言编写的，基于scala的多个版本，kafka发布了多个版本。 其中2.11是推荐版本。 4.3.2、下载安装包及解压tar -zxvf kafka_2.11-1.0.0.tgz -C /export/servers/ cd /export/servers/ rm -rf /export/servers/kafka rm -rf /export/logs/kafka/ rm -rf /export/data/kafka mv kafka_2.11-1.0.0 kafka |
1） 解压文件 2） 删除之前的安装记录 3） 重命名 4.3.3、查看目录及修改配置文件4.3.3.1查看目录 4.3.3.2修改配置文件进入配置目录，查看server.properties文件 cat server.properties |grep -v "#" 通过以上命令，查看到了默认的配置文件，对默认的文件进行修改。 修改三个地方 1） Borker.id 2） 数据存放的目录，注意目录如果不存在，需要新建下。 3） zookeeper的地址信息 # broker.id 标识了kafka集群中一个唯一broker。 broker.id=0 num.network.threads=3 num.io.threads=8 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 # 存放生产者生产的数据 数据一般以topic的方式存放 # 创建一个数据存放目录 /export/data/kafka --- mkdir -p /export/data/kafka log.dirs=/export/data/kafka num.partitions=1 num.recovery.threads.per.data.dir=1 offsets.topic.replication.factor=1 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1 log.retention.hours=168 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 # zk的信息 zookeeper.connect=zk01:2181,zk02:2181,zk03:2181 zookeeper.connection.timeout.ms=6000 group.initial.rebalance.delay.ms=0 |
4.3.4、分发配置文件及修改brokerid将修改好的配置文件，分发到node02，node03上。 先在node02、node03上删除以往的安装记录 rm -rf /export/servers/kafka rm -rf /export/logs/kafka/ rm -rf /export/data/kafka |
分发安装包 scp -r /export/servers/kafka/ node02:/export/servers/ scp -r /export/servers/kafka/ node03:/export/servers/ |
修改node02上的broker.id vi /export/servers/kafka/config/server.properties |
修改node03上的broker.id vi /export/servers/kafka/config/server.properties |
4.3.4、启动集群cd /export/servers/kafka/bin ./kafka-server-start.sh /export/servers/kafka/config/server.properties |
4.3.5、查看Kafka集群由于kafka集群并没有UI界面可以查看。 需要借助外部工具，来查看卡夫卡的集群 这个工具是一个java程序，必须要安装好JDK 传智播客·黑马程序员郑州校区地址 河南省郑州市 高新区长椿路11号大学科技园（西区）东门8号楼三层
| 
收藏
淘帖
踩
