Cómo instalar CDH y configurar las ubicaciones de servicio en CentOS/RHEL 7 - Parte 4

En un artículo anterior, hemos explicado la instalación de Cloudera Manager, en este artículo, aprenderá cómo instalar y configurar CDH (Distribución de Cloudera Hadoop) en RHEL/CENTOS 7.

Al instalar el paquete CDH, tenemos que garantizar el Gerente de Cloudera y CDH compatibilidad. La versión de Cloudera tiene 3 partes - ... Cloudera Manager Mayor y la versión menor debe ser la misma que la versión de CDH Major y Minor.

Por ejemplo, estamos usando Gerente de Cloudera 6.3.1 y CDH 6.3.2. Aquí 6 es importante y 3 es la versión menor. Mayor y menor debe ser lo mismo para evitar problemas de compatibilidad.

Requisitos

• Las mejores prácticas para implementar el servidor Hadoop en CentOS/RHEL 7 - Parte 1
• Configuración de requisitos previos y endurecimiento de seguridad de Hadoop - Parte 2
• Cómo instalar y configurar el administrador de Cloudera en CentOS/RHEL 7 - Parte 3

Tomaremos los siguientes 2 nodos para instalar CDH. Ya hemos instalado Cloudera Manager en maestro1, También estamos usando maestro1 Como servidor de repos.

maestro1.tecmenta.com trabajador1.tecmenta.comunicarse 

Paso 1: Descargue las parcelas CDH en el servidor maestro

1. Primero, conéctese a maestro1 servidor y descargar Parcelas de CDH archivos en el /var/www/html/Cloudera-Repos/CDH directorio . Tenemos que descargar a continuación 3 archivos mencionados que deberían ser compatibles con RHEL/CENTOS 7.

CDH-6.3.2-1.CDH6.3.2.P0.1605554-el7.paquete CDH-6.3.2-1.CDH6.3.2.P0.1605554-el7.parcela.SHA1 manifiesto.json 

2. Antes de descargar estos archivos, asegúrese de crear un CDH directorio bajo /var/www/html/Cloudera-Repos/ ubicación.

$ cd/var/www/html/Cloudera-Repos/$ sudo mkdir cdh $ cd cdh 

3. A continuación, descargue los 3 archivos mencionados anteriormente usando el siguiente comando wget.

$ sudo wget https: // Archive.cloudera.com/cdh6/6.3.2/parcelas/CDH-6.3.2-1.CDH6.3.2.P0.1605554-el7.paquete $ sudo wget https: // Archive.cloudera.com/cdh6/6.3.2/parcelas/CDH-6.3.2-1.CDH6.3.2.P0.1605554-el7.parcela.Sha1 $ sudo wget https: // Archive.cloudera.com/cdh6/6.3.2/parcelas/manifiesto.json 

Paso 2: Configuración de repositorio del gerente de Cloudera en clientes de trabajadores

4. Ahora, conéctate a obrero servidores y copiar el archivo de repo (gerente de nubeal.repositorio) del servidor de repo (maestro1) a todo el servidor de trabajadores restantes. Este archivo de repo garantiza los servidores que se descargarán todas las parcelas y RPMS requeridas desde el servidor de repos.

Cat>/etc/yum.repositar.d/manager de cloudera.repositorio < 
5. Una vez que se agregó el repositorio, enumere los repositorios habilitados para asegurarse de que el gerente de nubeal El repositorio está habilitado.
 
$ yum repolista 
  Verifique los Repos habilitados 
Paso 3: Instale Cloudera Manager Daemons y agente en servidores de trabajadores
 
6. Ahora necesitamos instalar CLOUDERA-MANAGER-DAEMONS y cloudera-manager-agente En todos los servidores restantes.
 
$ sudo yum instalación Cloudera-Manager-Demons Cloudera-Manager-Agent 
  Instale Cloudera Manager Daemons and Agent 
7. A continuación, debe configurar el Gerente de Cloudera agente para informar el Gerente de Cloudera servidor.
 
$ sudo vi/etc/cloudera-scm-agent/config.ini 
 
Reemplace la hostil con Gerente de Cloudera dirección IP del servidor.
  Configurar Cloudera Manager 
8. Comenzar Gerente de Cloudera Agente y verificar el estado.
 
$ sudo systemctl iniciar cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent 
  Verifique el estado del administrador de Cloudera 
Paso 4: Instalar y configurar CDH
 
Tenemos CDH parcelas en maestro1 - servidor de repo. Asegúrese de que todos los servidores tengan un archivo de repositorio de Cloudera Manager en /etc/yum.repositar.d/ Si sigue la instalación automática utilizando Gerente de Cloudera.
 
9. Inicie sesión en Cloudera Manager utilizando la URL a continuación en el puerto 7180 y use el nombre de usuario y la contraseña predeterminados de Gerente de Cloudera.
 
http: // 104.211.95.96: 7180/cmf/Nombre de usuario de inicio de sesión: Contraseña de administrador: Admin 
  Cloudera Manager Iniciar sesión 
10. Una vez que inicie sesión, será recibido con la página de bienvenida. Aquí puede encontrar notas de versión, nuevas características de Cloudera Manager.
  Bienvenido al gerente de Cloudera 
11. Aceptar la licencia y continuar.
  Licencia de gerente de Cloudera 
12. Seleccione la edición. La versión de prueba se ha seleccionado de forma predeterminada, podemos continuar con eso.
  Edición de Cloudera Manager 
13. Ahora, siga los pasos de instalación del clúster. Continuar la página de bienvenida.
  Instalación de clúster de Cloudera Manager 
14. Nombra el clúster y continúa, hemos nombrado como "tecmenta". Hay 2 tipos de clúster que puedes definir. Estamos procediendo con un clúster regular.
 
 
Clúster regular: Consistirá en nodos de almacenamiento, nodos de cómputo y otros servicios necesarios.
 
Clúster de calcular: Consistirá solo en nodos de cómputo. El almacenamiento externo se puede utilizar para almacenar datos.
 
  Nombre del clúster de Cloudera Manager 
15. Ya hemos instalado Agentes gerentes de Cloudera En todos los servidores. Puedes encontrar esos servidores en "Anfitriones gestionados actualmente". Para la instalación automática, debe ingresar el FQDN o IP de los servidores en el "Nuevos anfitrionesOpción y búsqueda. Cloudera Manager detectará automáticamente los hosts en los que necesitamos instalar CDH.
 
Aquí, haga clic en el "Anfitriones gestionados actualmente", Seleccione todos los hosts seleccionando 'Nombre de host'Y continuar.
  Anfitriones gestionados actualmente 
dieciséis. Seleccionar repositorio - usando Parcela es la forma recomendada. Haga clic 'Mas opciones'Para configurar el repositorio.
  Seleccionar repositorio 
17. Ingrese la URL del repositorio local como se menciona a continuación. Elimine todos los repositorios públicos restantes que apuntan a la web (Repositorios de Cloudera).
  Configuración del repositorio de paquetes 
Este es el CDH URL de repositorio local que estamos teniendo en maestro1.
 
http: // 104.211.95.96/Cloudera-Repos/CDH/ 
  Repositorio 
18. Una vez que ingresó la URL del repositorio, esta página solo mostrará parcelas disponibles. Continuar con este paso.
  Seleccione Configuración del repositorio 
19. Ahora las parcelas están siendo descargadas, distribuidas, desempaquetadas y activadas en todos los servidores disponibles.
  Instalar paquetes 
20. Una vez el Parcelas de CDH están activados, inspeccionar el Grupo. Este paso hará un chequeo de salud del clúster. Aquí estamos saltando y continuando.
  Inspeccionar el clúster 
Paso 5: Configuración del clúster
 
21. Aquí necesitamos seleccionar el Servicios para ser instalado en Grupo. Algunas combinaciones empaquetadas estarán disponibles de forma predeterminada, vamos con Servicios personalizados.
  Configuración de clúster 
22. En Servicios personalizados, Solo estamos instalando Componentes centrales (HDFS y HILO) para este propósito de demostración.
  Instalación de servicios 
23. Asignar los roles al servidor. Podemos personalizar de acuerdo con nuestros requisitos. Encuentre el cuadro a continuación que describe el recomendado Distribución de roles Para un clúster pequeño básico con 5 a 20 nodos con alta disponibilidad.
  Asignar roles  Distribuciones de roles recomendadas 
24. Seleccione el tipo de base de datos, el nombre de host, el nombre de DB, el nombre de usuario y la contraseña. Como estamos utilizando PostgreSQL integrado, se seleccionará de forma predeterminada. Prueba la conexión, debe tener éxito.
  Base de datos de configuración 
25. Esta página mostrará los parámetros de configuración predeterminados de HDFS y Hilo, incluyendo directorios de datos. Revise todos los detalles de configuración y puede hacer cambios si es necesario. Entonces continúa con esto.
  Revisar los parámetros de configuración 
26. Esta página mostrará los detalles del 'Primer intento' dominio. Puede expandirlo para ver los detalles de la ejecución de comandos. Si hay problemas de red o permiso en el clúster, este paso obtendrá un fracaso. Por lo general, este paso decide la instalación suave del edificio de clúster.
  Primero ejecuta comandos  Ejecutando comandos 
27. Una vez que se haya completado el paso anterior, haga clic ''Finalizar'Para completar la instalación. Este es el tablero de Cloudera Manager después de instalar CDH.
 
http: // 104.211.95.96: 7180/cmf/hogar 
  Panel de control del gerente de Cloudera 
Conclusión
 
Hemos completado el Gerente de Cloudera y CDH instalación con éxito. En el Panel de control del gerente de Cloudera, Puede encontrar un conjunto predefinido de gráficos donde puede monitorear la CPU de clúster, el disco IO, etc. Podemos administrar todo el clúster usando este Gerente de Cloudera. Veremos todas las operaciones administrativas en los próximos artículos.