掌握HDFS的常用基础操作命令,HDFS设计思想:大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析;在大数据系统中作用:为各类分布式运算框架(如:mapreduce,spark)提供数据存储服务;重点概念:文件切块,副本存放,元数据
HDFS基础常用命令
1.1 ls命令
功能:显示目录信息
操作1:显示hdfs根目录的信息
[root@hadoop1]# hdfs dfs -ls /
由于我们的现在的环境中没有数据,所以显示空白是正常的
1.2 mkdir命令
功能:在hdfs上创建目录
操作1:在hdfs上创建名为test1的目录
[root@hadoop1]# hdfs dfs -mkdir /test1
操作2:查看刚创建的test1目录
[root@hadoop1]# hdfs dfs -ls /
操作2执行后可以看到我们刚刚创建的test1目录
1.3 rm命令
功能:删除文件或文件夹
注意:如果删除的文件夹下面还有文件就必须先把子文件删除,否则删除不成功
操作1:删除根目录下的test1目录,并查看是否删除
[root@hadoop1]# hdfs dfs -rm -r /test1
[root@hadoop1]# hdfs dfs -ls /
1.4 mv命令
功能:在hdfs目录中移动文件或重命名文件
操作1:创建stu1目录、stu2目录,并查看创建好的目录
[root@hadoop1 ~]# hdfs dfs -mkdir /stu1
[root@hadoop1 ~]# hdfs dfs -mkdir /stu2
[root@hadoop1 ~]# hdfs dfs -ls /
操作1执行截图:
操作2:在stu1中创建一个名为q.txt的文件并查看stu1的文件信息
[root@hadoop1 ~]# hdfs dfs -mkdir /stu1/q.txt
[root@hadoop1 ~]# hdfs dfs -ls /stu1
操作3:将stu1目录中的q.txt文件移动到stu2目录下,执行后查看stu2目录下的文件信息
[root@hadoop1 ~]# hdfs dfs -mv /stu1/q.txt /stu2
[root@hadoop1 ~]# hdfs dfs -ls /stu2
操作4:将stu2下的q.txt重命名为qqq.txt,执行后查看stu2目录下的文件信息验证是否重命名成功
[root@hadoop1 ~]# hdfs dfs -mv /stu2/q.txt /stu2/qqq.txt
[root@hadoop1 ~]# hdfs dfs -ls /stu2
1.5 cp命令
功能:从hdfs的一个路径复制hdfs的另一个路径
操作1:将stu2目录中的qqq.txt文件复制到hdfs根目录下,并查看根目录下是否有qqq.txt的文件
[root@hadoop1 ~]# hdfs dfs -cp /stu2/qqq.txt /
[root@hadoop1 ~]# hdfs dfs -ls /
1.6 get命令
功能:从hdfs复制到本地
操作1:将hdfs上stu2目录下的qqq.txt文件复制到hadoop1本地的/opt目录下,并进入/opt下查看是否复制成功
[root@hadoop1 ~]# hdfs dfs -get /stu2/qqq.txt /opt/
[root@hadoop1 ~]# cd /opt/
[root@hadoop1 opt]# ll
1.7 put命令
功能:从本地文件系统中复制文件到hdfs文件系统中
操作1:将本地文件系统中/opt下的qqq.tt复制到hdfs根目录下,并查看是否复制成功
[root@hadoop1 ~]# hdfs dfs -put /opt/qqq.txt/ /
[root@hadoop1 ~]# hdfs dfs -ls /
1.8 df 命令
功能:统计文件系统的可用空间信息
操作1:统计hdfs文件系统的可用信息
[root@hadoop1 ~]# hdfs dfs -df -h /
1.9 du命令
功能:统计一个指定目录下的文件节点数量
操作1:统计hdfs文件系统中stu2目录下的文件节点数量
[root@hadoop1 ~]# hdfs dfs -du /stu2
2.HDFS其它常用命令
2.1 查看帮助
功能:输出这个命令的参数
[root@hadoop1]# hdfs dfs -help/
[root@hadoop1]# hdfs dfs -usage/
2.2 文件权限管理
功能:文件权限管理
操作1:将hdfs根目录下的qqq.txt文件权限修改为777,并查看修改结果
[root@hadoop1 ~]# hdfs dfs -chmod 777 /qqq.txt
[root@hadoop1 ~]# hdfs dfs -ls /
2.3 查看具体文件
功能:查看文件内容
操作1:将/root目录下的anaconda-ks.cfg复制到hdfs文件系统的根目录中,并查看是否复制成功
[root@hadoop1 ~]# hdfs dfs -put ~/anaconda-ks.cfg /
[root@hadoop1 ~]# hdfs dfs -ls /
操作2:查看hdfs文件系统根目录下anaconda-ks.cfg的内容
[root@hadoop1 ~]# hdfs dfs -cat /anaconda-ks.cfg