Cómo configurar una alta disponibilidad para Namenode - Parte 5

Hadoop tiene dos componentes centrales que son HDFS y HILO. HDFS es para almacenar el Datos, HILO es para procesar el Datos. HDFS es Sistema de archivos distribuido Hadoop, Tiene Namenode como Servicio maestro y Datanode como Servicio de esclavos.

Namenode es el componente crítico de Hadoop que está almacenando los metadatos de los datos almacenados en HDFS. Si el Namenode cae, todo el clúster no será accesible, es el único punto de falla (Spof). Entonces, el entorno de producción tendrá Namenode alta disponibilidad para evitar la interrupción de producción si uno Namenode cae por varias razones como choque de máquinas, actividad de mantenimiento planificada, etc.

Hadoop 2.X proporciona la viabilidad donde podemos tener dos Namenodes, uno será Namenode activo y otro será Namenode en espera.

• Namenode activo - Administra todas las operaciones del cliente.
• Namenode en espera - Es redundante de Namenode activo. Si Nn activo cae, entonces En espera nn asumirá toda la responsabilidad de Nn activo.

Habilitador Namenode alta disponibilidad requerimiento Choque que es obligatorio para la conmutación por error automática. ZKFC (Controlador de conmutación por error de Zookeeper) es un Choque cliente que se usa para mantener el estado de Namenode.

Requisitos

• Las mejores prácticas para implementar el servidor Hadoop en CentOS/RHEL 7 - Parte 1
• Configuración de requisitos previos y endurecimiento de seguridad de Hadoop - Parte 2
• Cómo instalar y configurar el administrador de Cloudera en CentOS/RHEL 7 - Parte 3
• Cómo instalar CDH y configurar las ubicaciones de servicio en CentOS/RHEL 7 - Parte 4

En este artículo, vamos a habilitar Namenode alta disponibilidad en Gerente de Cloudera.

Paso 1: Instalación de Zookeeper

1. Iniciar sesión en Gerente de Cloudera.

http: // your-ip: 7180/cmf/home 

Panel de control del gerente de Cloudera

2. En el Grupo (tecmenta) Action Instale, seleccione "Agregar servicio".

Agregar servicio en Cloudera Manager

3. Seleccione el servicio "Choque".

Servicio de Zookeeper

4. Seleccione los servidores donde vamos a tener Choque instalado.

Agregar servicio Zookeeper

5. Vamos a tener 3 Zookepers formar Quórum zokeekeeper. Seleccione los servidores como se mencionan a continuación.

Crear quórum zokeokeeper

6. Configurar el Choque Propiedades, aquí tenemos las predeterminadas. En tiempo real, debes tener puntos de directorio/montaje separados para almacenar Choque datos. En Parte 1, Hemos explicado sobre la configuración de almacenamiento para cada servicio. Haga clic 'continuar' para proceder.

Configurar las propiedades de Zookeeper

7. La instalación comenzará, una vez instalada Choque se iniciará. Puede ver las operaciones de fondo aquí.

Instalación del servicio Zookeeper

8. Después de completar con éxito el paso anterior, el estado será 'Finalizado'.

Instalado con Zookeeper instalado

9. Ahora, Choque está instalado y configurado correctamente. Haga clic en el 'Finalizar'.

Zookeeper configurado

10. Puedes ver el Choque servicio en el Gerente de Cloudera Panel.

Ver servicio de Zookeeper

Paso 2: habilitando la alta disponibilidad de NameNode

11. Ir a Gerente de Cloudera -> HDFS -> Comportamiento -> Habilitar alta disponibilidad.

Habilitando alta disponibilidad

12. Introducir el Nombre de servicio como "servicio de nombres1" - Este es un espacio de nombres común para Namenode activo y en espera.

Agregar nombre de servicio de nombres

13. Selecciona el Segundo Namenode donde vamos a tener en espera Namenode.

Elija el segundo Namenode

14. Aquí estamos seleccionando maestro2.tecmenta.comunicarse Para el espera Namenode.

Seleccione el host para Namenode

15. Selecciona el Diario nodos, estos son servicios obligatorios para sincronizar Activo y en espera Namenode.

Seleccione los nodos Jouranales

dieciséis. Estamos haciendo Diario de quórum colocando el Diario nodo en 3 servidores como se menciona a continuación. Seleccione 3 servidores y haga clic en 'Aceptar'.

Crear un diario de quórum

17. Haga clic 'Continuar' para proceder.

Asignar roles a Quorum Journal

18. Introducir el Nodo de diario ruta de directorio. Solo necesitamos mencionar la ruta al instalar este directorio será creado automáticamente por el propio servicio. Estamos mencionando como '/jn'. Haga clic 'Continuar' para proceder.

Agregar ruta del nodo del diario

19. Comenzará a habilitar el Alta disponibilidad.

Habilitando alta disponibilidad

20. Una vez completado todos los procesos de fondo, obtendremos 'Finalizado' Estado.

Alta disponibilidad terminada

21. Finalmente, recibiremos una notificación 'Habilitó con éxito una alta disponibilidad'. Haga clic 'Finalizar'.

Alta disponibilidad habilitada

22. Verificar el Activo y Namenode en espera yendo a Gerente de Cloudera -> HDFS -> Instancias.

Verificar alta disponibilidad

23. Aquí, puedes usar dos Namenodes, uno estará en el 'Activo'Estado y otro estarán en'Apoyar' estado.

Verificar NameNodes

Conclusión

En este artículo, hemos pasado por el proceso paso a paso para habilitar Namenode alta disponibilidad. Se recomienda encarecidamente tener Namenode alta disponibilidad en todos los grupos en un entorno en tiempo real. Publique sus dudas si enfrenta algún error mientras realiza este proceso. Veremos Administrador de recursos Alta disponibilidad En el siguiente artículo.