Hadoop comandos para administrar archivos en HDFS

Este tutorial le ayuda a aprender a administrar nuestros archivos en HDFS en Hadoop. Aprenderá a crear, cargar, descargar y listar contenido en HDFS. Los comandos a continuación lo ayudarán a crear una estructura de directorio en HDFS, copiar archivos del sistema de archivos local a HDFS y descargar archivos de HDF a archivos locales. También cómo hacer administrar archivos en HDFS.

Crear directorio en HDFS

Toma la ruta Uri es como un argumento y crea un directorio o directorios múltiples.

HDFS DFS -MKDIR  

Recuerde que debe crear un directorio de inicio en HDFS con el nombre de usuario de su sistema. Por ejemplo, ha iniciado sesión como HDUSER en su sistema, por lo que primero crea /user /hduser en otro lugar, obtendrá este error, ahora crea una estructura de directorio dentro de él

HDFS DFS -MKDIR/USER/HDUSER HDFS DFS -MKDIR/USER/HDUSER/INPUT HDFS DFS -MKDIR/USER/HDUSER/Output HDFS DFS -MKDIR/USER/HDUSER/INTER/Texto/Usuario/HADOOP/INTER/XML 

Copiar archivos a HDFS

Después de crear una estructura de directorio, ahora coloque algunos archivos en HDFS desde su sistema de archivos local.

hdfs dfs -put local_file hdfs_path 

Por ejemplo tienes prueba1.TXT en el directorio actual y /tmp/test2.xml En su sistema de archivos local.

HDFS DFS -put Text1.txt/user/hduser/input/text/hdfs dfs -put/tmp/text2.XML/usuario/hduser/input/xml/ 

Lista de archivos de HDFS

Use los siguientes comandos de ejemplo para enumerar el contenido del directorio en HDFS.

HDFS DFS -LS/USER/HDUSER HDFS DFS -LS/USER/HDUSER/INPUT/HDFS DFS -LS/USER/HDUSER/INTER/Text/ 

Use -r para enumerar archivos recursivamente dentro de directorios. Por ejemplo:

HDFS DFS -LS -R/User/Hadoop/Input/ 

Descargar archivos de HDFS

En este punto, ha aprendido a copiar y enumerar archivos a HDFS. Ahora use los siguientes comandos de ejemplo para descargar/copiar archivos de HDFS al sistema de archivos local.

HDFS DFS -get/User/Hduser/Input/Text/Test1.txt/tmp/hdfs dfs -get/user/hadoop/dir1/xml/test2.XML /TMP / 

aquí /TMP está en el sistema de archivos local del sistema.

Copiar archivos entre directorios HDFS

Puede copiar fácilmente archivos entre el sistema de archivos HDFS utilizando la opción DISTCP.

HDFS DISTCP/USER/HDUSER/INPUT/XML/Text2.XML/USER/HDUSER/Output HDFS Distcp/user/hduser/input/text/text1.XML/usuario/hduser/salida