Cómo instalar y configurar Cloudera Manager en CentOS/RHEL 7 - Parte 3

En este artículo, describimos el proceso paso a paso para instalar Gerente de Cloudera Según las prácticas industriales. En la Parte 2, ya hemos pasado por los requisitos previos de Cloudera, asegúrese de que todos los servidores estén preparados perfectamente.

Requisitos

• Las mejores prácticas para implementar el servidor Hadoop en CentOS/RHEL 7 - Parte 1
• Configuración de requisitos previos y endurecimiento de seguridad de Hadoop - Parte 2

Aquí vamos a tener 5 clúster de nodo donde 2 maestros y 3 trabajadores. He usado 5 AWS EC2 instancias para demostrar el procedimiento de instalación. He nombrado esos 5 servidores como a continuación.

maestro1.tecmenta.com maestro2.tecmenta.com trabajador1.tecmenta.com trabajador2.tecmenta.com trabajador3.tecmenta.comunicarse 

Gerente de Cloudera es una herramienta administrativa y de monitoreo para todo CDH. El administrador generalmente lo llamamos una herramienta de administración para Cloudera Hadoop. Podemos implementar, monitorear, controlar y realizar cambios de configuración con el uso de esta herramienta. Esto es muy esencial para administrar todo el clúster.

A continuación se muestran los usos importantes de Cloudera Manager.

• Implementar y configurar los grupos de Hadoop de manera automatizada.
• Monitorear la salud del clúster
• Configurar alertas
• Solución de problemas
• Informes
• Informe de utilización de clúster
• Configuración de recursos dinámicamente

Paso 1: Instalación del servidor web Apache en CentOS

Vamos a usar el maestro1 Como servidor web para repositorios de Cloudera. Además, Cloudera Manager es webui, por lo que necesitamos tener apache instalado. Siga los pasos a continuación para instalar el servidor web Apache.

# yum -y install httpd 

Una vez instalado httpd, inicie y habilite para que se inicie en el arranque.

# SystemCTL Start Httpd # SystemCTL Habilitar httpd 

Después de comenzar httpd, asegúrese del estado.

# SystemCTL Status httpd 

Check-apache-status

Después de comenzar HTTPD, abra un navegador en su sistema local y pegue la dirección IP de maestro1 En la barra de búsqueda, debe obtener esta página de prueba para asegurarse de que httpd esté funcionando bien.

Verifique la página web de Apache

Paso 2: Configurar DNS locales para resolver IP y nombre de host

Necesitamos tener un servidor DNS o configurar /etc/huéspedes Para resolver IP y nombre de host. Aquí estamos configurando /etc/huéspedes, Pero en tiempo real, un servidor DNS dedicado estará allí para el entorno de producción.

Siga los pasos a continuación para hacer una entrada para todos sus servidores en /etc/huéspedes.

# vi /etc /huéspedes 

Esto debe configurarse en todos los servidores.

13.235.27.144 maestro1.tecmenta.com maestro1 13.235.135.170 Master2.tecmenta.com master2 15.206.167.94 trabajador1.tecmenta.com trabajador1 13.232.173.158 trabajador2.tecmenta.com trabajador2 65.0.182.222 trabajador3.tecmenta.com trabajador3 

Configurar DNS local

Paso 3: Configurar el inicio de sesión sin contraseña SSH

Gerente de Cloudera se está instalando en maestro1 En esta demostración. Necesitamos configurar SSH sin contraseña de maestro1 a todos los demás nodos. Porque el Gerente de Cloudera Utilizará SSH para comunicar todos los demás nodos para instalar paquetes.

Siga los pasos a continuación para configurar SSH sin contraseña desde maestro1 a todos los servidores restantes. Vamos a tener un usuario 'tecmenta'Para continuar.

Crear un usuario 'tecmenta'Los 4 servidores que usan el comando UserAdd como se muestra.

# UserAdd -M TECMINT 

Para dar el privilegio raíz al usuario 'tecmenta', agregue la línea a continuación a /etc/sudoers archivo. Puede agregar esta línea debajo de la raíz como dar en la captura de pantalla.

TecMint todos = (todos) todos 

Agregar usuario a sudo

Cambiar al usuario 'tecmenta'y crear la tecla SSH en el maestro1 Usando el siguiente comando.

# sudo su tecmint $ ssh-keygen 

Ahora copie la tecla creada a los 4 servidores utilizando el SSH-Copy-ID comando como se muestra.

$ ssh-copy-id -i ~/.ssh/id_rsa.Pub [correo electrónico protegido] $ ssh-copy-id -i ~/.ssh/id_rsa.Pub [correo electrónico protegido] $ ssh-copy-id -i ~/.ssh/id_rsa.Pub [correo electrónico protegido] $ ssh-copy-id -i ~/.ssh/id_rsa.Pub [correo electrónico protegido] 

Ahora deberías poder ssh de maestro1 Para restantes todos los servidores sin contraseña como se muestra.

$ ssh master2 $ ssh trabajador1 $ ssh trabajador2 $ ssh trabajador3 

Servidores de inicio de sesión sin contraseña ssh

Paso 4: Instalar y configurar Cloudera Manager

Podemos usar el proveedor (Cloudera) Repositorio para instalar todos los paquetes utilizando las herramientas de administración de paquetes en Rhel/Centos. En tiempo real, crear nuestro propio repositorio es la mejor práctica porque es posible que no tengamos acceso a Internet en los servidores de producción.

Aquí vamos a instalar Gerente de Cloudera 6.3.1 liberar. Dado que vamos a usar maestro1 Como servidor de repo, estamos descargando los paquetes en la ruta a continuación.

Cree los directorios mencionados a continuación en maestro1 servidor.

$ sudo mkdir -p/var/www/html/Cloudera -Repos/cm6 

Podemos usar la herramienta WGet para descargar paquetes a través de HTTP. Entonces, instalar wget Usando el siguiente comando.

$ sudo yum -y instalación wget 

A continuación, descargue el archivo de alquitrán de Cloudera Manager utilizando el siguiente comando wget.

$ wget https: // Archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-REDHAT7.alquitrán.GZ 

Extraer el archivo de alquitrán en /var/www/html/Cloudera-Repos/CM6, Ya hemos hecho maestro1 como servidor web instalando http y hemos probado en el navegador.

$ sudo tar xvfz cm6.3.1-REDHAT7.alquitrán.GZ -C/VAR/WWW/HTML/CLOUDERA-REPOS/CM6--Strip-Components = 1 

Ahora, verifique que todos los archivos de Cloudera RPM estén allí en /var/www/html/Cloudera-Repos/cm6/rpms/x86_64 directorio.

$ cd/var/www/html/Cloudera-Repos/CM6 $ llL 

Lista de archivos de Cloudera

Crear /etc/yum.repositar.d/manager de cloudera.repositorio archivos en todos los servidores en los hosts de clúster con el siguiente contenido, aquí maestro1 (sesenta y cinco.0.101.148) es el servidor web.

[Cloudera-Repo] Name = Cloudera-Manager baseUrl = http: /// Cloudera-Repos/cm6/habilitado = 1 gpgcheck = 0 

Ahora se ha agregado el repositorio, ejecute el siguiente comando para ver los repositorios habilitados.

$ yum repolista 

Lista de repositorio de Cloudera

Ejecute el siguiente comando para ver todos los paquetes relacionados con Cloudera disponibles en el repositorio.

$ yum lista disponible | Grep Cloudera* 

Enumere los paquetes de Cloudera

Instale Cloudera-Manager-Server, Cloudera-Manager-Agent, Cloudera-Manager-Demons Cloudera-Manager-Server-DB-2.

$ sudo yum instalación Cloudera-Manager-Daemons Cloudera-Manager-Agent Cloudera-Manager-Server Cloudera-Manager-Server-DB-2 

Instalar Cloudera en CentOS

Ejecute el siguiente comando a continuación para ver todos los paquetes de Cloudera instalados.

$ yum lista instalada | Grep Cloudera* 

Lista de paquetes de Cloudera instalados

Ejecute el siguiente comando para iniciar el cloudera-scm-server-db que es una base de datos subyacente para almacenar Gerente de Cloudera y otros metadatos de servicios.

Por defecto, Cloudera se le ocurre postgre-sql que está incrustado en el Gerente de Cloudera. Estamos instalando el integrado, en una base de datos externa en tiempo real que se puede utilizar. Puede ser Oráculo, Mysql, o Postgresql.

$ sudo SystemCTL Start Cloudera-SCM-Server-DB 

Ejecute el siguiente comando a continuación para verificar el estado de la base de datos.

$ sudo systemctl status cloudera-scm-server-db 

Verifique el estado de la base de datos de Cloudera

Configurar el db.propiedades Para el Gerente de Cloudera servidor.

$ vi/etc/cloudera-scm-server/db.propiedades 

Configurar el siguiente valor es INCORPORADO para hacer Gerente de Cloudera utilizar el Base de datos incrustada.

comunicarse.cloudera.CMF.db.setuptype = incrustado 

Configurar las propiedades de la base de datos de Cloudera

Ejecute el siguiente comando a continuación para iniciar el servidor Cloudera Manager.

$ sudo SystemCTL Start Cloudera-SCM-Server 

Ejecute el siguiente comando a continuación para verificar el estado del Gerente de Cloudera servidor.

$ sudo systemctl status cloudera-scm-server 

Verifique el estado del administrador de Cloudera

Ejecute el siguiente comando para iniciar y verificar el estado del Gerente de Cloudera agente.

$ sudo systemctl iniciar cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent 

Verifique el estado del agente del gerente de Cloudera

Una vez el Servidor de Manager de Cloudera Exitir en funcionamiento con éxito, puede ver la webui (página de inicio de sesión) en el navegador utilizando la dirección IP y el número de puerto 7180 ¿Cuál es el número de puerto de Gerente de Cloudera.

https: // 65.0.101.148: 7180 

Cloudera Manager Iniciar sesión

Resumen

En este artículo, hemos visto un proceso paso a paso para instalar Gerente de Cloudera en Centos 7. Veremos el CDH y otras instalaciones de servicios en el próximo artículo.