Zoeken op website

Apache Kafka installeren in CentOS/RHEL 7


Apache Kafka is een krachtige berichtenengine die veel wordt gebruikt in BigData-projecten en de levenscyclus van Data Analytics. Het is een open-sourceplatform om realtime datastreamingpijplijnen te bouwen. Het is een gedistribueerd platform voor publiceren en abonneren met betrouwbaarheid, schaalbaarheid en duurzaamheid.

We kunnen Kafka als standalone of als cluster gebruiken. Kafka slaat de streaminggegevens op en kan worden gecategoriseerd als Onderwerpen. Het Topic zal een aantal partities hebben, zodat het een willekeurige hoeveelheid gegevens kan verwerken. We kunnen ook meerdere replica's hebben voor fouttolerantie, zoals we hebben in HDFS. In een Kafka-cluster is de broker een component die de gepubliceerde gegevens opslaat.

Zookeeper is een verplichte service voor het runnen van een Kafka-cluster, omdat deze wordt gebruikt voor het beheren van de coördinatie van de Kafka-makelaars. Zookeeper speelt een sleutelrol tussen producent en consument en is verantwoordelijk voor het op peil houden van de staat van alle makelaars.

In dit artikel leggen we uit hoe je Apache Kafka installeert in een enkel knooppunt CentOS 7 of RHEL 7.

Apache Kafka installeren in CentOS 7

1. Eerst moet u Java op uw systeem installeren om Apache Kafka zonder fouten uit te voeren. Installeer dus de standaard beschikbare versie van Java met behulp van de volgende yum-opdracht en verifieer de Java-versie zoals weergegeven.

yum -y install java-1.8.0-openjdk
java -version

2. Download vervolgens de meest recente stabiele versie van Apache Kafka van de officiële website of gebruik de volgende wget-opdracht om deze direct te downloaden en uit te pakken.

wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
tar -xzf kafka_2.13-2.7.0.tgz 

3. Maak een symbolische link voor het kafka pakket, voeg vervolgens het Kafka-omgevingspad toe aan het .bash_profile bestand en initialiseer het vervolgens zoals weergegeven.

ln -s kafka_2.13-2.7.0 kafka
echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
source ~/.bash_profile

4. Start vervolgens de Zookeeper, die ingebouwd is in het Kafka-pakket. Omdat het een cluster met één knooppunt is, kunt u de dierenverzorger starten met standaardeigenschappen.

zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Valideer of de dierenverzorger toegankelijk is of niet door eenvoudigweg telnet naar Zookeeper poort 2181.


telnet localhost 2181

6. Start de Kafka met de standaardeigenschappen.


kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. Valideer of de Kafka toegankelijk is of niet door simpelweg telnet naar Kafka-poort 9092


telnet localhost 9092

8. Maak vervolgens een voorbeeldonderwerp.

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. Geef een overzicht van het gemaakte onderwerp.

kafka-topics.sh --zookeeper localhost:2181 --list

Conclusie

In dit artikel hebben we gezien hoe u een Kafka-cluster met één knooppunt installeert in CentOS 7. In het volgende artikel zullen we zien hoe u een multinode Kafka Cluster installeert.