- jdk,下载jdk,解压,配置环境变量,/etc/profile, JAVA_HOME是jdk的解压目录。
export JAVA_HOME=/opt/jdk1.8.0_171
export PATH=JAVAHOME/bin:JAVAHOME/bin:PATH
export CLASSPATH=$JAVA_HOME/lib
2.下载zookeeper,解压,修改配置文件,将/conf/zook_ample.cfg复制为conf/zoo.cfg
配置文件内容如下:
conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zk/data/zookeeper
dataLogDir=/data/zk/data/logs
clientPort=2181
maxClientCnxns=60
autopurge.snapRetainCount=3
autopurge.purgeInterval=1
server.1=zk01:2888:3888
server.2=zk02:2888:3888
server.3=zk03:2888:3888
参数说明:
server.id=host:port:port:表示了不同的zookeeper服务器的自身标识,作为集群的一部分,每一台服务器应该知道其他服务器的信息。用户可以从“server.id=host:port:port” 中读取到相关信息。在服务器的data(dataDir参数所指定的目录)下创建一个文件名为myid的文件,这个文件的内容只有一行,指定的是自身的id值。比如,服务器“1”应该在myid文件中写入“1”。这个id必须在集群环境中服务器标识中是唯一的,且大小在1~255之间。这一样配置中,zoo1代表第一台服务器的IP地址。第一个端口号(port)是从follower连接到leader机器的端口,第二个端口是用来进行leader选举时所用的端口。所以,在集群配置过程中有三个非常重要的端口:clientPort:2181、port:2888、port:3888。
默认端口为2181
在启动服务之前,还需要分别在zookeeper创建myid,方式如下:
echo 1 > /data/zk/data/zookeeper/myid
启动服务:/data/zk/bin/zkServer.sh start
3.安装kafka,默认为9092端口。grep -Ev “^#|^$” /data/kafka/config/server.properties
broker.id=0
delete.topic.enable=true
listeners=PLAINTEXT://192.168.15.131:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka/data
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.retention.hours=168
log.retention.bytes=1073741824
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.15.131:2181,192.168.15.132:2181,192.168.15.133:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
其他主机将该机器的kafka目录复制,然后修改broker.id、listeners地址,
启动服务:/data/kafka/bin/kafka-server-start.sh /data/kafka/config/server.properties
随便在其中一台主机
/data/kafka/bin/kafka-topics.sh –create –zookeeper 192.168.15.131:2181,192.168.15.132:2181,192.168.15.133:2181 –replication-factor 1 –partitions 1 –topic test 在其他主机查看
/data/kafka/bin/kafka-topics.sh –list –zookeeper 192.168.15.131:2181,192.168.15.132:2181,192.168.15.133:2181
|