Cómo instalar Apache Kafka en CentOS/RHEL 7

Apache Kafka es un potente motor de mensajería, que se usa ampliamente en Data proyectos y el Análisis de datos ciclo vital. Es una plataforma de código abierto para construir tuberías de transmisión de datos en tiempo real. Es una plataforma de subscribe de publicación distribuida con confiabilidad, escalabilidad y durabilidad.

Podemos tener Kafka como independiente o como un clúster. Kafka almacena los datos de transmisión, y se puede clasificar como Temas. El Tema tendrá una serie de particiones para que pueda manejar una cantidad arbitraria de datos. Además, podemos tener múltiples réplicas para fallas tolerantes a las fallas como tenemos en HDFS. En un clúster de kafka, el corredor es un componente que almacena los datos publicados.

Zookeeper es un servicio obligatorio para ejecutar un Kafka Cluster, ya que se utiliza para administrar la coordinación de los Brokers Kafka. Zookeeper juega un papel clave entre el productor y el consumidor, donde es responsable de mantener el estado de todos los corredores.

En este artículo, explicaremos cómo instalar Apache Kafka en un solo nodo Centos 7 o Rhel 7.

Instalación de Apache Kafka en Centos 7

1. Primero, debe instalar Java en su sistema para ejecutar Apache Kafka sin ningún error. Entonces, instale la versión predeterminada disponible de Java Usando el siguiente comando yum y verificar el Java Versión como se muestra.

# yum -y instalar java -1.8.0 -openjdk # java -version 

2. A continuación, descargue la versión estable más reciente de Apache Kafka Desde el sitio web oficial o utilice el siguiente comando wget para descargarlo directamente y extraerlo.

# wget https: // espejos.esteinternet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.TGZ # TAR -XZF KAFKA_2.13-2.7.0.tgz 

3. Crear un enlace simbólico para kafka paquete, luego agregue la ruta de entorno Kafka a .bash_profile archivo y luego inicializarlo como se muestra.

# ln -s kafka_2.13-2.7.0 kafka # echo "ruta de exportación = $ ruta:/root/kafka_2.13-2.7.0/bin ">> ~/.Bash_profile # fuente ~/.bash_profile 

4. A continuación, comience el Choque, que viene incorporado con el Kafka paquete. Dado que es un solo clúster de nodo, puede iniciar el Zookeeper con propiedades predeterminadas.

# Zookeeper-Server-Start.sh -daemon/root/kafka/config/Zookeeper.propiedades 

5. Valide si el Zookeeper es accesible o no simplemente por telnet a Choque puerto 2181.

# Telnet localhost 2181 

6. Iniciar el Kafka con sus propiedades predeterminadas.

# kafka-server-start.sh -daemon/root/kafka/config/servidor.propiedades 

7. Validar si el Kafka es accesible o no simplemente por Telnet a Kafka Port 9092

# Telnet localhost 9092 

8. A continuación, cree un tema de muestra.

# kafka-topics.sh --create-azookeeper localhost: 2181--factor de replicación 1-particiones 1-tecmint-tope 

9. Enumere el tema creado.

# kafka-topics.sh --zookeeper localhost: 2181 --list 

Conclusión

En este artículo, hemos visto cómo instalar un solo clúster Kafka de nodo en Centos 7. Veremos cómo instalar un clúster Kafka multinodo en el siguiente artículo.