Kafka einrichten: 4 Schritte

2024 Autor: John Day | [email protected]. Zuletzt bearbeitet: 2024-01-30 07:18

Einführung:

Apache Kafka ist ein skalierbares Open-Source-Messaging-System mit hohem Durchsatz, das von der Apache Software Foundation in Scala entwickelt wurde. Apache Kafka wurde speziell entwickelt, damit ein einzelner Cluster als zentrales Daten-Backbone für eine große Umgebung dienen kann. Es hat einen viel höheren Durchsatz im Vergleich zu anderen Message-Broker-Systemen wie ActiveMQ und RabbitMQ. Es ist in der Lage, große Mengen an Echtzeitdaten effizient zu verarbeiten. Sie können Kafka auf einem einzelnen Apache-Server oder in einer verteilten Clusterumgebung bereitstellen.

Merkmale:

Die allgemeinen Merkmale von Kafka sind wie folgt:

Persistieren Sie die Nachricht auf der Festplatte, die eine konstante Zeitleistung bietet.

Hoher Durchsatz mit Festplattenstrukturen, die Hunderttausende von Nachrichten pro Sekunde unterstützen.

Verteiltes System lässt sich ohne Ausfallzeiten problemlos skalieren.

Unterstützt Multi-Subscriber und gleicht die Verbraucher bei Ausfall automatisch aus.

Dieses Tutorial zeigt, wie Sie Apache Kafka auf einem Ubuntu 16.04-Server installieren und konfigurieren.

Anforderungen

Ein Ubuntu 16.04-Server.

Nicht-Root-Benutzerkonto mit Superuser-Berechtigung auf Ihrem Server eingerichtet.

Schritt 1: Erste Schritte und Installation von Java

1) Lassen Sie uns sicherstellen, dass Ihr Ubuntu 16.04-Server vollständig auf dem neuesten Stand ist

Sie können Ihren Server aktualisieren, indem Sie die folgenden Befehle ausführen:

sudo apt-get update -y

sudo apt-get upgrade -y

2) Java installieren

Überprüfen Sie mit dem folgenden Befehl, ob auf Ihrem Computer Java bereits installiert ist oder eine Java-Standardversion hat:

Java-Version

Auch wenn Sie Java, aber eine niedrigere Version haben, müssen Sie es aktualisieren.

Sie können Java installieren, indem Sie:

sudo apt-get install default-jdk

ODER

Sie können Oracle JDK 8 mit dem Webupd8-Team-PPA-Repository installieren.

Um das Repository hinzuzufügen, führen Sie den folgenden Befehl aus:

sudo add-apt-repository -y ppa:webupd8team/java

sudo apt-get install oracle-java8-installer -y

Schritt 2: Zookeeper installieren

Was ist Zookeeper?

Zookeeper ist ein zentralisierter Dienst zum Verwalten von Konfigurationsinformationen, Benennen, Bereitstellen einer verteilten Synchronisierung und Bereitstellen von Gruppendiensten. All diese Arten von Diensten werden in irgendeiner Form von verteilten Anwendungen verwendet. Jedes Mal, wenn sie implementiert werden, wird viel Arbeit in die Behebung der unvermeidlichen Fehler und Race-Conditions investiert. Wegen der Schwierigkeit, diese Art von Diensten zu implementieren, werden Anwendungen in der Regel zunächst gespart, was sie bei Veränderungen brüchig und schwer zu verwalten macht. Selbst bei korrekter Ausführung führen unterschiedliche Implementierungen dieser Dienste zu Verwaltungskomplexität, wenn die Anwendungen bereitgestellt werden.

Vor der Installation von Apache Kafka muss zookeeper verfügbar sein und ausgeführt werden. ZooKeeper ist ein Open-Source-Dienst zur Pflege von Konfigurationsinformationen, zur Bereitstellung verteilter Synchronisation, Benennung und Bereitstellung von Gruppendiensten.

1) Standardmäßig ist das Zookeeper-Paket im Standard-Repository von Ubuntu verfügbar

Sie können es installieren, indem Sie den folgenden Befehl ausführen:

sudo apt-get install zookeeperd

Sobald die Installation abgeschlossen ist, wird sie automatisch als Daemon gestartet. Standardmäßig wird Zookeeper auf Port 2181 ausgeführt.

Sie können es testen, indem Sie den folgenden Befehl ausführen:

netstat -ant | grep:2181

Die Ausgabe sollte Ihnen zeigen, dass der Port 2181 abgehört wird.

Schritt 3: Kafka Server installieren und starten

Nachdem Java und ZooKeeper installiert sind, ist es an der Zeit, Kafka von der Apache-Website herunterzuladen und zu extrahieren.

1) Sie können curl oder wget verwenden, um Kafka herunterzuladen: (Kafka-Version 0.10.1.1)

Führen Sie den folgenden Befehl aus, um das Kafka-Setup herunterzuladen:

curl -O

ODER

wget

2) Erstellen Sie ein Verzeichnis für Kafka

Erstellen Sie als Nächstes ein Verzeichnis für die Kafka-Installation:

sudo mkdir /opt/kafka

cd /opt/kafka

3) Heruntergeladenen Ordner entpacken

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C /opt/kafka/

*Benutzernamen entsprechend Ihrem Benutzernamen ändern

4) Starten Sie den Kafka-Server

Der nächste Schritt besteht darin, den Kafka-Server zu starten. Sie können ihn starten, indem Sie das Skript kafka-server-start.sh im Verzeichnis /opt/kafka/kafka_2.11-0.10.1.1/bin/ mit dem folgenden Befehl ausführen:

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5)Überprüfen Sie, ob der Kafka-Server gut funktioniert

Sie haben jetzt einen Kafka-Server, der auf Port 9092 läuft und lauscht.

Jetzt können wir die Listening-Ports überprüfen:

- ZooKeeper: 2181

- Kafka: 9092

netstat -ant | grep -E ':2181|:9092'

Schritt 4: Testen Sie Ihren Kafka-Server

Jetzt ist es an der Zeit zu überprüfen, ob der Kafka-Server ordnungsgemäß funktioniert.

1)Erstelle ein neues Thema

Um Kafka zu testen, erstellen Sie in Apache Kafka mit dem folgenden Befehl ein Beispielthema mit dem Namen "testing":

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic testing --zookeeper localhost:2181 --partitions 1 --replication-factor 1

2)Überprüfen Sie, ob Ihr Thema erfolgreich erstellt wurde

Bitten Sie Zookeeper nun, verfügbare Themen auf Apache Kafka aufzulisten, indem Sie den folgenden Befehl ausführen:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost:2181

3) Veröffentlichen Sie eine Nachricht mit dem von Ihnen erstellten Thema

echo "Hallo Welt" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic testing

4)Empfangen Sie die Nachricht zum erstellten Thema

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testing –from-beginning

5) So senden Sie eine Datei mit Kafka über ein Thema

kafka-console-producer.sh --broker-list localhost:9092 –topic testing