Cómo instalar Apache Kafka en Debian 11/10

Apache Kafka es una plataforma de transmisión distribuida. Es útil para construir tuberías de datos de transmisión en tiempo real para obtener datos entre los sistemas o aplicaciones. Otra característica útil son las aplicaciones de transmisión en tiempo real que pueden transformar flujos de datos o reaccionar en un flujo de datos.

Este tutorial lo ayudará a instalar Apache Kafka en Debian 11, Debian 10 y Debian 9 Linux Systems.

Paso 1 - Instale Java

Apache Kafka requirió que Java se ejecute. Debe tener Java instalado en su sistema. Ejecutar el siguiente comando para instalar OpenJDK predeterminado en su sistema desde el PPA oficial.

sudo apt actualización sudo apt instalación predeterminado-jdk 

Paso 2 - Descargar Apache Kafka

Descargue los archivos binarios Apache Kafka desde su sitio web de descarga oficial. También puede seleccionar cualquier espejo cercano para descargar.

wget https: // dlcdn.apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz  

Luego extraiga el archivo de archivo

tar xzf kafka_2.13-3.2.0.tgz  sudo mv kafka_2.13-3.2.0/usr/local/kafka  

Paso 3: crear archivos de la unidad Systemd

A continuación, cree archivos de la unidad Systemd para el servicio Zookeeper y Kafka. Esto ayudará a administrar los servicios de Kafka para iniciar/dejar de usar el comando SystemCTL.

Primero, cree el archivo de la unidad Systemd para ZOOKEEPER con el siguiente comando:

vim/etc/systemd/system/zookeeper.servicio 

Agregue el contenido a continuación:

[Unidad] Descripción = Documentación del servidor ZOOKEEPER Apache = http: // Zookeepers.apache.org requiere = red.Target Remote-FS.Target After = Network.Target Remote-FS.Target [Service] Type = Simple Execstart =/usr/local/kafka/bin/Zookeeper-server-start.SH/USR/LOCAL/KAFKA/CONFIG/ZOOKEEPER.Properties Execstop =/usr/local/kafka/bin/Zookeeper-server-stop.sh reinsart = on-abnormal [install] Wantedby = Multi-user.objetivo 

Guarde el archivo y cierre.

A continuación, para crear un archivo de la Unidad Kafka Systemd utilizando el siguiente comando:

vim/etc/systemd/system/kafka.servicio 

Agregue el contenido a continuación. Asegúrese de establecer el correcto Java_home ruta según el Java instalado en su sistema.

[Unidad] Descripción = Documentación del servidor Apache Kafka = http: // kafka.apache.organización/documentación.html requiere = ZOOKEEPER.Servicio [Servicio] Type = Simple Environment = "java_home =/usr/lib/jvm/java-1.11.0-openjdk-amd64 "execstart =/usr/local/kafka/bin/kafka-server-start.sh/usr/local/kafka/config/servidor.Properties Execstop =/usr/local/kafka/bin/kafka-server-stop.sh [install] WantedBy = Multiuser.objetivo 

Guardar archivo y cerrar.

Recargar el Systemd Daemon para aplicar nuevos cambios.

SystemCTL-Daemon-Re-Reloting 

Paso 4 - Iniciar servidor Kafka

Kafka requirió Zookeeper, así que primero, inicie un servidor Zookeeper en su sistema. Puede usar el script disponible con Kafka para iniciar una instancia de Zookeeper de nodo único.

sudo systemctl iniciar zookeeper 

Ahora inicie el servidor Kafka y vea el estado de ejecución:

SUDO SYSTEMCTL Start Kafka sudo SystemCtl Status Kafka 

Todo listo. La instalación de Kafka se ha completado con éxito. La parte de este tutorial lo ayudará a trabajar con el servidor Kafka.

Paso 5 - Crea un tema en Kafka

Kafka proporciona múltiples script de carcasa preconstruida para funcionar en él. Primero, cree un tema llamado "Testtopic" con una sola partición con réplica única:

CD/USR/Local/Kafka Bin/Kafka-Topics.SH --Create --Bootstrap-server localhost: 9092--Repplication-Factor 1-Partitions 1-topictopic topictopic Topictopic. 

El factor de replicación describe cuántas copias de datos se crearán. Mientras estamos ejecutando con una sola instancia, mantenga este valor 1.

Establezca las opciones de particiones como la cantidad de corredores que desea que sus datos se dividan entre. Mientras estamos ejecutando con un solo corredor, mantenga este valor 1.

Puede crear múltiples temas ejecutando el mismo comando que el anterior. Después de eso, puede ver los temas creados en Kafka mediante el comando Ejecutar a continuación:

bin/kafka-topics.sh --list -azookeeper localhost: 9092 tecadmintutorial1 tecadmintutorial2 

Alternativamente, en lugar de crear temas manualmente, también puede configurar a sus corredores para crear temas automáticos cuando se publica un tema inexistente para.

Paso 6 - Enviar mensajes a Kafka

El "productor" es el proceso responsable de poner datos en nuestro kafka. El kafka viene con un cliente de línea de comandos que tomará la entrada de un archivo o de la entrada estándar y la enviará como mensajes al clúster Kafka. El kafka predeterminado envía cada línea como un mensaje separado.

Ejecutemos el productor y luego escribamos algunos mensajes en la consola para enviar al servidor.

productor de comodín de bin/kafka.SH --Broker-List Localhost: 9092-Topic Testtopic> Bienvenido a Kafka> Este es mi primer tema> 

Puede salir de este comando o mantener este terminal en ejecución para pruebas adicionales. Ahora abra un nuevo terminal al proceso de consumidor de Kafka en el siguiente paso.

Paso 7 - Uso de Kafka Consumer

Kafka también tiene un consumidor de línea de comandos para leer los datos del clúster Kafka y mostrar mensajes a la salida estándar.

contenedor.sh --bootstrap-server localhost: 9092--topic testtopic-desde el beginimiento Bienvenido a Kafka Este es mi primer tema 

Ahora, si todavía ha ejecutado el productor de Kafka (paso #6) en otra terminal. Simplemente escriba un texto en esa terminal del productor. Se visible inmediatamente en la terminal del consumidor. Consulte la siguiente captura de pantalla del productor y consumidor de Kafka para trabajar:

Conclusión

Ha instalado y configurado con éxito el servicio Kafka en un sistema de Debian Linux.