Instale y configure Apache Oozie Workflow Scheduler para CDH 4.X sobre rhel/centos 6/5

Oozie es un programador de código abierto para Hadoop, Simplifica el flujo de trabajo y la coordina entre trabajos. Podemos definir la dependencia entre los trabajos para los datos de entrada y, por lo tanto, podemos automatizar la dependencia del trabajo utilizando el programador OOZE.

En este tutorial, he instalado Oozie en mi nodo maestro (yo.mi. maestro como nombre de host y donde Namenode/JT se instalan) sin embargo, en el sistema de producción, se debe instalar Oozie en un nodo Hadoop separado.

Las instrucciones de instalación se dividen en dos partes, lo llamamos A y B.

1. A. Instalación de Oozie.
2. B. Configuración de Oozie.

Primero verifiquemos el nombre de host del sistema, utilizando siguientes 'nombre de host' dominio.

[[Correo electrónico protegido]]# Nombre de host maestro

Método A: Instalación de Oozie en Rhel/Centos 6/5

Utilizamos el repositorio oficial de CDH del sitio de Cloudera para instalar CDH4. Vaya a la sección de descarga oficial de CDH y descargue CDH4 (i.mi. 4.6) Versión o también puedes usar siguiendo wget comandar para descargar el repositorio e instalarlo.

En rhel/centos 6

# wget http: // Archive.cloudera.com/CDH4/One-Click-Install/Redhat/6/I386/Cloudera-CDH-4-0.i386.RPM # yum--nogpgcheck localinstall Cloudera-cdh-4-0.i386.rpm # wget http: // Archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.RPM # yum--nogpgcheck localinstall Cloudera-cdh-4-0.x86_64.rpm

En rhel/centos 5

# wget http: // Archive.cloudera.com/CDH4/One-Click-Install/Redhat/5/I386/Cloudera-CDH-4-0.i386.RPM # yum--nogpgcheck localinstall Cloudera-cdh-4-0.i386.rpm # wget http: // Archive.cloudera.com/CDH4/One-Click-Install/Redhat/5/x86_64/Cloudera-CDH-4-0.x86_64.RPM # yum--nogpgcheck localinstall Cloudera-cdh-4-0.x86_64.rpm

Una vez, ha agregado el repositorio de CDH en su sistema, puede usar el siguiente comando para instalar Oozie en el sistema.

[[correo electrónico protegido] ~]# yum install oozie

Ahora, instale Oozie Client (arriba El comando debe cubrir la parte de instalación del cliente, sin embargo, si no, intente el siguiente comando).

[[correo electrónico protegido] ~]# yum install oozie-client

Nota: La instalación anterior también configura el servicio Oozie para ejecutarse al inicio del sistema. Buen trabajo! Hemos terminado con la primera parte de la instalación, ahora pasemos a la segunda parte para configurar Oozie.

Método B: Configuración de Oozie en RHEL/CentOS 6/5

Como Oozie no interactúa directamente con Hadoop, no necesitamos ninguna configuración asignada aquí.

Precaución: Configure todas las configuraciones mientras Oozie no se ejecuta, eso significa que debe seguir los pasos a continuación mientras el servicio Oozie no se está ejecutando.

Oozie tiene 'derby'Sin embargo, como el DB incorporado predeterminado, le recomendaría que use MySQL DB. Entonces, instalemos la base de datos MySQL utilizando el siguiente artículo.

1. Instale la base de datos MySQL en RHEL/CENTOS 6/5

Una vez que haya terminado con la parte de instalación, luego mueva más para crear Oozie DB y otorgar privilegios como se muestra a continuación.

[[correo electrónico protegido] ~]# mysql -uerot -p Ingrese contraseña: bienvenido al monitor mysql. Los comandos terminan con; o \ g. Su ID de conexión MySQL es 3 Versión del servidor: 5.5.38 MySQL Community Server (GPL) por REMI Copyright (c) 2000, 2014, Oracle y/o sus afiliados. Reservados todos los derechos. Oracle es una marca registrada de Oracle Corporation y/o sus afiliados. Otros nombres pueden ser marcas comerciales de sus respectivos propietarios. Escriba 'ayuda;' o '\ h' por ayuda. Escriba '\ c' para borrar la instrucción de entrada actual. mysql> Crear Oozie de la base de datos; Consulta bien, 1 fila afectada (0.00 seg) mysql> otorgar todos los privilegios en Oozie.* a 'Oozie'@'localhost' identificado por 'Oozie'; Consulta bien, 0 filas afectadas (0.00 seg) mysql> otorgar todos los privilegios en Oozie.* a 'Oozie'@'%' identificado por 'Oozie'; Consulta bien, 0 filas afectadas (0.00 seg) mysql> salida Adiós

A continuación, configure las propiedades de Oozie para MySQL. Abierto 'lugar de oozie.xml'Archivo y editar las siguientes propiedades como se muestra.

[[Correo electrónico protegido] ~]# CD/etc/Oozie/conf [[correo electrónico protegido] conf]# vi Oozie-sitio.xml

Ingrese las siguientes propiedades (simplemente reemplace el maestro [mi nombre de host] con tu nombre de host).

 oozie.servicio.Jpaservice.JDBC.conductor com.mysql.JDBC.Conductor Oozie.servicio.Jpaservice.JDBC.url jdbc: mysql: //maestro: 3306/Oozie Oozie.servicio.Jpaservice.JDBC.nombre de usuario Oozie Oozie.servicio.Jpaservice.JDBC.contraseña Oozie 

Descargue y agregue el Mysql jdbc Jar de controlador de conectividad al directorio Oozie lib. Para hacerlo, ejecute el siguiente comando en el terminal.

[[correo electrónico protegido] Oozie]# cd/tmp/[[correo electrónico protegido] tmp]# wget http: // dev.mysql.com/get/downloads/conector-j/mysql-connector-java-5.1.31.alquitrán.GZ [[Correo electrónico protegido] TMP]# TAR -ZXF MySQL-Connector-Java-5.1.31.alquitrán.GZ [[Correo electrónico protegido] TMP]# CD MySQL-Connector-Java-5.1.31 [[correo electrónico protegido] MySQL-Connector-Java-5.1.31]# CP MySQL-Connector-Java-5.1.31 bolas.jar/var/lib/oozie/

Cree el esquema de la base de datos Oozie ejecutando los comandos a continuación y tenga en cuenta que esto debe ejecutarse como usuario de Oozie.

[[correo electrónico protegido] ~]# sudo -u Oozie/usr/lib/oozie/bin/ooziedb.sh crea -run

Salida de muestra

Configuración de Oozie_Config =/etc/Oozie/Conf configuración Oozie_data =/var/lib/oozie configuración Oozie_log =/var/log/oozie setting oozie_catalina_home =/usr/lib/bigtop-tomcat setting catalina_tmpdir =/var/lib/oozie stiting catalina_pid = = = = = = /var/run/oozie/oozie.Configuración PID Catalina_Base =/usr/lib/oozie/Oozie-server-0.20 Configuración de Catalina_opts = -xmx1024m Configuración Oozie_HTTPS_PORT = 11443… Se ha creado Oozie DB para la versión Oozie '3.3.2-CDH4.7.0 'Los comandos SQL se han escrito en: /TMP/OOZIEDB-8250405588513665350.sql

Necesitas descargar Extjs lib Desde Internet para habilitar la consola web Oozie. Vaya a la página oficial de CDH extjs y descargue Extjs versión 2.2 bibliotecas o puede descargar el paquete usando el siguiente comando.

[[Correo electrónico protegido] ~]# CD/TMP/[[Correo electrónico protegido] TMP]# wget http: // Archive.cloudera.com/gplextras/misc/ext-2.2.zip [[correo electrónico protegido] tmp]# unzip ext-2.2.zip [[correo electrónico protegido] tmp]# mv ext-2.2/var/lib/oozie/

Finalmente, inicie el servidor Oozie, ejecutando los siguientes comandos.

[[correo electrónico protegido] TMP]# Servicio El estado de Oozie no se ejecuta. [[Correo electrónico protegido] TMP]# Servicio Oozie Start [[Correo electrónico protegido] TMP]# Servicio Estado de Oozie Ejecutando [[Correo electrónico protegido] TMP]# Oozie Admin -oozie http: // Localhost: 11000/Oozie -Status System Mode: Normal normal

Abra Oozie UI usando su navegador favorito y apunte a su dirección IP. En este caso, mi IP es 192.168.1.129.

http: // 192.168.1.129: 11000

Ahora si ves esta interfaz de usuario. Felicidades!! Has configurado con éxito Oozie.

Este procedimiento se ha probado con éxito en Rhel/CentOS 6/5. En mis próximos artículos, voy a compartir cómo configurar y programar trabajos de Hadoop a través de Oozie. Manténgase conectado por más y no olvide comentar sus comentarios.