大数据 | HDFS 常用操作命令
共 7021字，需浏览 15分钟
· 2021-11-08
早期文章
HDFS 是 Hadoop Distributed File System 的简写，即 Hadoop 分布式文件系统。它是 Hadoop 项目的核心子项目，它为大数据分布式计算提供了海量数据的存储与管理。
既然 HDFS 是文件系统，那么它必然有一套对文件管理的命令，这里介绍一下 HDFS 常用的文件管理命令。
一、HDFS 命令前缀
所有操作 HDFS 的命令都需要前缀，它的前缀有两种，分别是 hadoop fs 或 hdfs dfs 两种。可以通过 hadoop fs -help 或 hdfs dfs -help 来查看其帮助文件。比如：
$ hadoop fs -help ls-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [...] : List the contents that match the specified file pattern. If path is notspecified, the contents of /user/will be listed. For a directory a list of its direct children is returned (unless -d option is specified).Directory entries are of the form:permissions - userId groupId sizeOfDirectory(in bytes)modificationDate(yyyy-MM-dd HH:mm) directoryNameand file entries are of the form:permissions numberOfReplicas userId groupId sizeOfFile(in bytes)modificationDate(yyyy-MM-dd HH:mm) fileName-C Display the paths of files and directories only.-d Directories are listed as plain files.-h Formats the sizes of files in a human-readable fashionrather than a number of bytes.-q Print ? instead of non-printable characters.-R Recursively list the contents of directories.-t Sort files by modification time (most recent first).-S Sort files by size.-r Reverse the order of the sort.-u Use time of last access instead of modification fordisplay and sorting.
或者使用 hdfs dfs 来查看帮助，命令如下：
$ hdfs dfs -help ls-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [...] : List the contents that match the specified file pattern. If path is notspecified, the contents of /user/will be listed. For a directory a list of its direct children is returned (unless -d option is specified).Directory entries are of the form:permissions - userId groupId sizeOfDirectory(in bytes)modificationDate(yyyy-MM-dd HH:mm) directoryNameand file entries are of the form:permissions numberOfReplicas userId groupId sizeOfFile(in bytes)modificationDate(yyyy-MM-dd HH:mm) fileName-C Display the paths of files and directories only.-d Directories are listed as plain files.-h Formats the sizes of files in a human-readable fashionrather than a number of bytes.-q Print ? instead of non-printable characters.-R Recursively list the contents of directories.-t Sort files by modification time (most recent first).-S Sort files by size.-r Reverse the order of the sort.-u Use time of last access instead of modification fordisplay and sorting.
二、ls 命令
ls 命令用来查看 HDFS 系统中的目录和文件，命令如下：
hadoop fs -ls / 也可以通过给 ls 添加 -R 参数来递归列出要查看目录下的所有目录和文件，命令如下：
hadoop fs -ls -R / 由于目前在 HDFS 中并没有任何文件和目录，因此这里没有显示任何的结果。
三、put 命令
put 命令用于将本地文件上传到 HDFS 系统中，命令如下：
$ hadoop fs -put test.txt /$ hadoop fs -ls /Found 1 items-rw-r--r-- 2 hadoop supergroup 5 2021-11-07 13:22 /test.txt
通过 -put 命令将本地当前目录下的 test.txt 文件上传到了 HDFS 的 / 目录下，通过 -ls 命令可以看到文件已经上传到 HDFS 系统中了。
四、moveFromLocal 命令
将本地文件移动到 HDFS 文件系统中，并将本地的文件进行删除，命令如下：
ll总用量 84804-rw-rw-r--. 1 hadoop hadoop 5 11月 7 13:27 abc.txthadoop fs -moveFromLocal abc.txt /hadoop fs -ls /Found 2 items-rw-r--r-- 2 hadoop supergroup 5 2021-11-07 13:27 /abc.txt-rw-r--r-- 2 hadoop supergroup 5 2021-11-07 13:22 /test.txt
将本地的 abc.txt 文件上传到 HDFS 的 / 目录下，通过 -ls 命令查看 / 目录下已经有了 abc.txt 文件，再来查看本地文件，本地的 abc.txt 文件已经被移除。
五、get 命令
get 命令用来将 HDFS 文件系统中的文件下载到本地，下载时的文件名不能与本地文件相同，否则会提示文件已存在。命令如下：
$ hadoop fs -get /abc.txt /home/hadoop/$ ll总用量 84804-rw-r--r--. 1 hadoop hadoop 5 11月 7 13:42 abc.txt
下载文件时确保文件不重名，否则提示文件已存在，命令如下：
$ hadoop fs -get / /home/hadoop/get: `/home/hadoop/abc.txt': File existsget: `/home/hadoop/test.txt': File exists
六、rm 命令
rm 命令用来删除 HDFS 系统中的文件或文件夹，每次可以删除多个文件或目录，命令如下：
$ hadoop fs -rm /test.txtDeleted /test.txt$ hadoop fs -ls /Found 1 items-rw-r--r-- 2 hadoop supergroup 5 2021-11-07 13:27 /abc.txt
七、mkdir 命令
mkdir 命令用来在 HDFS 系统中创建目录，可以使用 -p 参数创建多级目录，即当父目录不存在时，则自动创建，若不使用 -p 参数，当父目录不存在时则会提示文件或目录不存在。命令如下：
$ hadoop fs -mkdir /test$ hadoop fs -mkdir /abc/abcmkdir: `/abc/abc': No such file or directory$ hadoop fs -mkdir -p /abc/abc
八、cp 命令
cp 命令在 HDFS 文件系统中用于文件的复制，命令如下：
$ hadoop fs -ls /Found 3 itemsdrwxr-xr-x - hadoop supergroup 0 2021-11-07 13:47 /abc-rw-r--r-- 2 hadoop supergroup 5 2021-11-07 13:27 /abc.txtdrwxr-xr-x - hadoop supergroup 0 2021-11-07 13:47 /test$ hadoop fs -cp /abc.txt /abc/$ hadoop fs -ls -R /drwxr-xr-x - hadoop supergroup 0 2021-11-07 13:49 /abcdrwxr-xr-x - hadoop supergroup 0 2021-11-07 13:47 /abc/abc-rw-r--r-- 2 hadoop supergroup 5 2021-11-07 13:49 /abc/abc.txt-rw-r--r-- 2 hadoop supergroup 5 2021-11-07 13:27 /abc.txtdrwxr-xr-x - hadoop supergroup 0 2021-11-07 13:47 /test
通过 cp 命令将 /abc.txt 文件复制到了 /abc/ 目录下，然后使用 ls -R 来递归查看目录。
九、mv 命令
mv 命令用来在 HDFS 文件系统下完成移动的功能，也可以用来进行重命名。命令如下：
hadoop fs -mv /abc/abc.txt /test/[hadoop@centos01 ~]$ hadoop fs -ls -R /drwxr-xr-x - hadoop supergroup 0 2021-11-07 13:52 /abcdrwxr-xr-x - hadoop supergroup 0 2021-11-07 13:47 /abc/abc-rw-r--r-- 2 hadoop supergroup 5 2021-11-07 13:27 /abc.txtdrwxr-xr-x - hadoop supergroup 0 2021-11-07 13:52 /test-rw-r--r-- 2 hadoop supergroup 5 2021-11-07 13:49 /test/abc.txt
从上面的命令中可以看出，/abc/abc.txt 文件被移动到了 /test/ 目录下。再来看下它的重命名功能：
$ hadoop fs -mv /test/abc.txt /test/abcabc.txt$ hadoop fs -ls /test/Found 1 items-rw-r--r-- 2 hadoop supergroup 5 2021-11-07 13:49 /test/abcabc.txt
通过 ls 命令可以看到，abc.txt 已经被重命名为了 abcabc.txt。
十、cat 命令
cat 命令用来输出 HDFS 文件系统中某个文件的所有内容，命令如下：
$ hadoop fs -cat /test/abcabc.txt1234$ hadoop fs -cat /abc.txt1234
十一、appendToFile 命令
将单个或多个文件的内容从本地系统追加到 HDFS 系统的文件中，命令如下：
$ hadoop fs -appendToFile abc.txt /abc.txt$ hadoop fs -cat /abc.txt12341234
可以看到，/abc.txt 的内容已经发生了改变。
十二、总结
HDFS 关于文件的基本操作与 Linux 系统命令的基本是一样的，只是 HDFS 命令增加了 hadoop fs 这样的前缀。如果对 Linux 系统命令有些了解，那么 HDFS 的基本操作命令也会非常容易的上手。
公众号内回复 【mongo】 下载 SpringBoot 整合操作 MongoDB 的文档。
之前整理的关于 Redis 的文章：