Las mejores prácticas para implementar el servidor Hadoop en CentOS/RHEL 7 - Parte 1

En esta serie de artículos, vamos a cubrir todo Edificio de clúster de Cloudera Hadoop edificio con Proveedor y Industrial Las mejores prácticas recomendadas.

Parte 1: Mejores prácticas para implementar el servidor Hadoop en CentOS/RHEL 7 Parte 2: Configuración de requisitos previos y endurecimiento de seguridad de Hadoop Parte 3: Cómo instalar y configurar el administrador de Cloudera en CentOS/RHEL 7 Parte 4: Cómo instalar CDH y configurar las ubicaciones de servicio en CentOS/RHEL 7 Parte 5: Cómo configurar una alta disponibilidad para Namenode Parte 6: Cómo configurar una alta disponibilidad para el administrador de recursos Parte 7: Cómo instalar y configurar Hive con alta disponibilidad Parte 8: Cómo instalar y configurar Sentry (herramienta de autorización) Parte 9: Cómo instalar Kerberos (Kerbering the Cluster) para la autenticación de Hadoop Parte 10: Cómo ajustar el clúster (ajuste del hilo) en CentOS/RHEL 7

Sistema operativo instalación y hacer Sistema operativo Los requisitos previos de nivel son los primeros pasos para construir un Clúster de hadoop. Hadoop puede ejecutarse en los diversos sabor de la plataforma Linux: Cento, Sombrero rojo, Ubuntu, Debian, Asustar etc., En la producción en tiempo real, la mayor parte del Clusters de Hadoop están construidos sobre Rhel/centos, usaremos Centos 7 Para la demostración de esta serie de tutoriales.

En una organización, la instalación del sistema operativo se puede hacer utilizando puntapié inicial. Si es un clúster de nodo de 3 a 4, la instalación manual es posible, pero si construimos un gran clúster con más de 10 nodos, es tedioso instalar OS uno por uno. En este escenario, el método Kickstart entra en la imagen, podemos continuar con la instalación de masas usando Kickstart.

Lograr un buen rendimiento de un Ambiente de Hadoop depende de aprovisionar el hardware y el software correctos. Entonces, construyendo una producción Clúster de hadoop implica mucha consideración con respecto al hardware y el software.

En este artículo, pasaremos por varios puntos de referencia sobre la instalación del sistema operativo y algunas mejores prácticas para implementar Servidor de clúster de Cloudera Hadoop en CentOS/RHEL 7.

Consideración importante y mejores prácticas para implementar el servidor Hadoop

Las siguientes son las mejores prácticas para configurar la implementación Servidor de clúster de Cloudera Hadoop en CentOS/RHEL 7.

• Los servidores de Hadoop no requieren que los servidores estándar de Enterprise creen un clúster, requiere hardware de productos básicos.
• En el clúster de producción, se recomiendan de 8 a 12 discos de datos. Según la naturaleza de la carga de trabajo, debemos decidir sobre esto. Si el clúster es para aplicaciones intensivas en cómputo, tener 4 a 6 unidades es la mejor práctica para evitar problemas de E/S.
• Las unidades de datos deben dividirse individualmente, por ejemplo, a partir de /Data01 a /Data10.
• La configuración de RAID no se recomienda para nodos trabajadores, porque Hadoop en sí mismo proporciona tolerancia a fallas en los datos replicando los bloques en 3 por defecto. Entonces Jbod es lo mejor para los nodos de los trabajadores.
• Para servidores maestros, Incursión 1 es la mejor práctica.
• El sistema de archivos predeterminado en CentOS/RHEL 7.X es XFS. Hadoop admite XFS, Ext3 y Ext4. El sistema de archivos recomendado es ext3, ya que se prueba para un buen rendimiento.
• Todos los servidores deberían tener la misma versión del sistema operativo, al menos la misma versión menor.
• Es la mejor práctica tener hardware homogéneo (todos los nodos de los trabajadores deben tener las mismas características de hardware (RAM, espacio en disco y Core, etc.).
• De acuerdo con la carga de trabajo de clúster (carga de trabajo equilibrada, el cómputo intensivo, intensivo de E/S) y el tamaño, la planificación de recursos (RAM, CPU) por servidor se diferenciará.

Encuentre el siguiente ejemplo para la partición de disco de los servidores de almacenamiento de 24tb.

División de disco

Instalación de CentOS 7 para la implementación del servidor Hadoop

Cosas que necesita saber antes de instalar Centos 7 servidor para Servidor Hadoop.

• La instalación mínima es suficiente para Servidores Hadoop (nodos trabajadores), en algunos casos, la GUI se puede instalar solo para servidores maestros o servidores de administración donde podemos usar navegadores para la web de herramientas de gestión.
• Configuración de redes, nombre de host y otras configuraciones relacionadas con el sistema operativo se pueden realizar después de la instalación del sistema operativo.
• En tiempo real, los proveedores de servidores tendrán su propia consola para interactuar y administrar los servidores, por ejemplo, los servidores Dell tienen IDRAC, que es un dispositivo, integrado con servidores. Usando esa interfaz IDRAC podemos instalar OS con tener una imagen del sistema operativo en nuestro sistema local.

En este artículo, hemos instalado el sistema operativo (Centos 7) en la máquina virtual VMware. Aquí, no tendremos múltiples discos para realizar particiones. CentOS es similar a Rhel (misma funcionalidad), por lo que veremos los pasos para instalar Cento.

1. Comience descargando el Centos 7.X Imagen ISO en su sistema de Windows local y seleccionarlo mientras arranca la máquina virtual. Seleccionar 'Instalar CentOS 7' como se muestra.

Instalar CentOS 7 Menú de arranque

2. Selecciona el Idioma, El valor predeterminado será Inglés, y hacer clic continuar.

Seleccionar lenguaje CentOS 7

3. Selección de software - Selecciona el 'Instalación mínima'Y haga clic' 'Hecho'.

Selección de software de CentOS CentOS 7 Instalación mínima

4. Selecciona el contraseña de raíz Como nos impulsará a establecer.

Establecer contraseña de root

5. Destino de instalación - Este es el paso importante para ser cauteloso. Necesitamos seleccionar el disco donde se debe instalar el sistema operativo, se debe seleccionar el disco dedicado para el sistema operativo. Haga clic en el 'Destino de instalación'y seleccione el disco, en tiempo real, múltiples discos estarán allí, debemos seleccionar, preferibles'SDA'.

Seleccionar destino de instalación Seleccione el disco para la instalación de CentOS

6. Otras opciones de almacenamiento - Elija la segunda opción (configuraré la partición) para configurar la partición relacionada con el sistema operativo como /var, /var/log, /hogar, /TMP, /optar, /intercambio.

Partición manual de centos

7. Una vez hecho, comience la instalación.

Instalación de Begin CentOS Instalación de CentOS 7

8. Una vez que se haya completado la instalación, reinicie el servidor.

Instalación de CentOS 7 Completa

9. Inicie sesión en el servidor y configure el nombre de host.

# HostNamectl Status # hostnamectl set-hostname tecMint # hostnamectl status 

Establecer nombre de host en Centos

Resumen

En este artículo, hemos pasado por los pasos de instalación del sistema operativo y las mejores prácticas para la partición del sistema de archivos. Todas estas son directriz general, según la naturaleza de la carga de trabajo, es posible que necesitemos concentrarnos en más matices para lograr el mejor rendimiento del clúster. La planificación del clúster es arte para el Hadoop administrador. Tendremos profundos buceo en el nivel de sistema operativo pre-requisito y endurecimiento de seguridad en el próximo artículo.