Cómo configurar el clúster multi-nodo Hadoop en Centos 7/6

La biblioteca de software Apache Hadoop es un marco que permite el procesamiento distribuido de grandes conjuntos de datos en grupos de computadoras utilizando modelos de programación simples.

Nuestro artículo anterior sobre Hadoop estaba describiendo cómo configurar el clúster de nodo único. Este artículo lo ayudará a instalar y configurar el clúster de nodos múltiples Hadoop en CentOS/RHEL 6.

Detalles de configuración:

Hadoop Master: 192.168.1.15 (Hadoop-Master)
Hadoop Slave: 192.168.1.16 (Hadoop-slave-1)
Hadoop Slave: 192.168.1.17 (Hadoop-slave-2)

Paso 1. Instalar Java

Antes de instalar Hadoop, asegúrese de tener Java instalado en todos los nodos de Hadoop Cluster Systems.

# Java -version Java versión "1.7.0_75 "Java (TM) SE Runtime Environment (Build 1.7.0_75-B13) Java Hotspot (TM) VM de 64 bits (Build 24.75-B04, modo mixto) 

Si no tiene Java instalado, use el siguiente artículo para instalar Java.

Pasos para instalar Java 7 en CentOS/RHEL 7/6/5

Paso 2. Crear cuenta de usuario

Cree una cuenta de usuario del sistema en los sistemas maestros y esclavos para usar para la instalación de Hadoop

# UserAdd Hadoop # passwd hadoop 

Cambiar contraseña para el usuario Hadoop. Nueva contraseña: repetir nueva contraseña: passwd: todos los tokens de autenticación actualizados correctamente. 

Paso 3: Agregar mapeo FQDN

Editar /etc/huéspedes Archivo en todos los servidores maestros y esclavos y agregue las siguientes entradas.

# vim /etc /hosts 

192.168.1.15 Hadoop-Master 192.168.1.16 Hadoop-Slave-1 192.168.1.17 Hadoop-Slave-2 

Etapa 4. Configuración de inicio de sesión basado en la tecla

Se requiere configurar el usuario de Hadoop para SSH sin contraseña. Use los siguientes comandos para configurar el inicio de sesión automático entre todos los servidores de clúster Hadoop ..

# SU -Hadoop $ ssh -keygen -t rsa $ ssh -copy -id -i ~/.ssh/id_rsa.Pub [correo electrónico protegido] $ ssh-copy-id -i ~/.ssh/id_rsa.Pub [correo electrónico protegido] $ ssh-copy-id -i ~/.ssh/id_rsa.Pub [correo electrónico protegido] $ chmod 0600 ~/.SSH/Authorized_Keys $ Salida 

Paso 5. Descargar y extraer fuente de Hadoop

Descargue la última versión disponible de Hadoop desde su sitio oficial en Hadoop-Master Server solamente.

# mkdir/opt/hadoop # cd/opt/hadoop/ # wget http: // apache.mesi.comunicarse.AR/Hadoop/Common/Hadoop-1.2.0/Hadoop-1.2.0.alquitrán.GZ # TAR -XZF Hadoop -1.2.0.alquitrán.GZ # MV Hadoop-1.2.0 Hadoop # chown -r hadoop/opt/hadoop # cd/opt/hadoop/hadoop/ 

Paso 6: Configurar Hadoop

Primero editar archivos de configuración de Hadoop y realizar los siguientes cambios.
6.1 editar el sitio de núcleo.xml

# vim conf/nore-site.xml 

#Add lo siguiente dentro de la etiqueta de configuración FS.por defecto.nombre hdfs: // hadoop-master: 9000/dfs.Permisos falsos  

6.2 editar el sitio HDFS.xml

# vim conf/hdfs-site.xml 

# Agregue lo siguiente dentro de la etiqueta de configuración DFS.datos.dir/opt/hadoop/hadoop/dfs/name/data verdadero DFS.nombre.dir/opt/hadoop/hadoop/dfs/nombre verdadero DFS.Replicación 1  

6.3 editar el sitio de mapred.xml

# vim conf/mapred-site.xml 

# Agregue lo siguiente dentro de la etiqueta de configuración Mapred.trabajo.rastreador Hadoop-Master: 9001  

6.4 editar hadoop-envv.mierda

# vim conf/hadoop-envv.mierda 

Exportar java_home =/opt/jdk1.7.0_75 Exportar hadoop_opts = -djava.neto.preferIPV4stack = True Export hadoop_conf_dir =/opt/hadoop/hadoop/conf 

Establezca la ruta Java_Home según la configuración de su sistema para Java.

Paso 7: Copie la fuente de Hadoop a los servidores de esclavos

Después de actualizar la configuración anterior, necesitamos copiar los archivos de origen a todos los servidores de esclavos.

# Su-Hadoop $ CD/Opt/Hadoop $ SCP -R Hadoop Hadoop-Slave-1:/Opt/Hadoop $ SCP -R Hadoop Hadoop-Slave-2:/Opt/Hadoop 

Paso 8: Configure solo Hadoop en el servidor maestro

Vaya a la carpeta fuente de Hadoop en Hadoop-Master y haga la siguiente configuración.

# SU - Hadoop $ CD/Opt/Hadoop/Hadoop 

$ vim conf/maestros maestro de hadoop 

$ vim conf/esclavos hadoop-slave-1 hadoop-slave-2 

Formato de nombre del nodo en Hadoop Master

# SU - Hadoop $ CD/Opt/Hadoop/Hadoop $ bin/Hadoop Namenode -Format 

13/07/13 10:58:07 Información Namenode.Namenode: startup_msg: /********************************************** ***************** Startup_msg: iniciar NameNode startup_msg: host = Hadoop-Master/192.168.1.15 startup_msg: args = [-format] startup_msg: versión = 1.2.0 startup_msg: build = https: // svn.apache.org/repos/asf/hadoop/común/ramas/rama-1.2 -R 1479473; Compilado por 'Hortonfo' el lunes 6 de mayo 06:59:37 UTC 2013 startup_msg: java = 1.7.0_25 **************************************************** *************/13/07/13 10:58:08 Información Util.GSET: Capacidad informática para mapa blocksmap 13/07/13 10:58:08 Información Util.GSET: VM Tipo = 32 bit 13/07/13 10:58:08 Información Util.GSET: 2.0% MAME MAX MEMORIA = 1013645312 13/07/13 10:58:08 Info Util.GSET: Capacidad = 2^22 = 4194304 Entradas 13/07/13 10:58:08 Información Util.Gset: recomendado = 4194304, real = 4194304 13/07/13 10:58:08 Información Namenode.Fsnamesystem: fsowner = hadoop 13/07/13 10:58:08 Información Namenode.FSNamesystem: SuperGroup = SuperGroup 13/07/13 10:58:08 INFO NAMENODE.Fsnamesystem: isPermissionEnabled = True 13/07/13 10:58:08 Información Namenode.FSNamesystem: DFS.bloquear.invalidar.límite = 100 13/07/13 10:58:08 Información Namenode.Fsnamesystem: isaccesTokenEnabled = false AccessKeyUpdateInterval = 0 min (s), AccessTokenLifetime = 0 min (s) 13/07/13 10:58:08 Información NameNode.FSEDITLOG: DFS.namenode.ediciones.tolerancia.Longitud = 0 13/07/13 10:58:08 Información Namenode.Namenode: almacenamiento en caché de nombres de archivos más de 10 veces 13/07/13 10:58:08 Información común.Almacenamiento: archivo de imagen del tamaño 112 guardado en 0 segundos. 13/07/13 10:58:08 Información Namenode.FSEDITLOG: Cerrar el registro de edición: posición = 4, editlog =/opt/hadoop/hadoop/dfs/name/actual/edits 13/07/13 10:58:08 Información NameNode.FSEDITLOG: Cerrar éxito: Truncate to 4, editLog =/opt/hadoop/hadoop/dfs/name/actual/edits 13/07/13 10:58:08 Información común.Almacenamiento: el directorio de almacenamiento/opt/hadoop/hadoop/dfs/name se ha formateado correctamente. 13/07/13 10:58:08 Información Namenode.Namenode: shutdown_msg: /******************************************** ***************** SHANTDOWN_MSG: apagar NameNode en Hadoop-Master/192.168.1.15 ************************************************* ***********/ 

Paso 9: Inicie los servicios de Hadoop

Use el siguiente comando para iniciar todos los servicios de Hadoop en Hadoop-Master

$ bin/start-todo.mierda