• 欢迎访问本站网站,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站,如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

大数据开发环境HDFS基础常用命令

大数据技术与原理 admin 6个月前 (10-21) 267次浏览 已收录 0个评论 扫描二维码

掌握HDFS的常用基础操作命令,HDFS设计思想:大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析;在大数据系统中作用:为各类分布式运算框架(如:mapreduce,spark)提供数据存储服务;重点概念:文件切块,副本存放,元数据

HDFS基础常用命令

1.1 ls命令

功能:显示目录信息

操作1:显示hdfs根目录的信息

[root@hadoop1]# hdfs dfs -ls /

大数据开发环境HDFS基础常用命令

由于我们的现在的环境中没有数据,所以显示空白是正常的

1.2 mkdir命令

功能:在hdfs上创建目录

操作1:在hdfs上创建名为test1的目录

[root@hadoop1]# hdfs dfs -mkdir /test1

大数据开发环境HDFS基础常用命令

操作2:查看刚创建的test1目录

[root@hadoop1]# hdfs dfs -ls /

大数据开发环境HDFS基础常用命令

操作2执行后可以看到我们刚刚创建的test1目录

1.3 rm命令

功能:删除文件或文件夹

注意:如果删除的文件夹下面还有文件就必须先把子文件删除,否则删除不成功

操作1:删除根目录下的test1目录,并查看是否删除

[root@hadoop1]# hdfs dfs -rm -r /test1
[root@hadoop1]# hdfs dfs -ls /

大数据开发环境HDFS基础常用命令

1.4 mv命令

功能:在hdfs目录中移动文件或重命名文件

操作1:创建stu1目录、stu2目录,并查看创建好的目录

[root@hadoop1 ~]# hdfs dfs -mkdir /stu1
[root@hadoop1 ~]# hdfs dfs -mkdir /stu2
[root@hadoop1 ~]# hdfs dfs -ls /

操作1执行截图:

大数据开发环境HDFS基础常用命令

操作2:在stu1中创建一个名为q.txt的文件并查看stu1的文件信息

[root@hadoop1 ~]# hdfs dfs -mkdir /stu1/q.txt
[root@hadoop1 ~]# hdfs dfs -ls /stu1

大数据开发环境HDFS基础常用命令

操作3:将stu1目录中的q.txt文件移动到stu2目录下,执行后查看stu2目录下的文件信息

[root@hadoop1 ~]# hdfs dfs -mv /stu1/q.txt /stu2
[root@hadoop1 ~]# hdfs dfs -ls /stu2

大数据开发环境HDFS基础常用命令

操作4:将stu2下的q.txt重命名为qqq.txt,执行后查看stu2目录下的文件信息验证是否重命名成功

[root@hadoop1 ~]# hdfs dfs -mv /stu2/q.txt /stu2/qqq.txt
[root@hadoop1 ~]# hdfs dfs -ls /stu2

大数据开发环境HDFS基础常用命令

1.5 cp命令

功能:从hdfs的一个路径复制hdfs的另一个路径

操作1:将stu2目录中的qqq.txt文件复制到hdfs根目录下,并查看根目录下是否有qqq.txt的文件

[root@hadoop1 ~]# hdfs dfs -cp /stu2/qqq.txt /
[root@hadoop1 ~]# hdfs dfs -ls /

大数据开发环境HDFS基础常用命令

1.6 get命令

功能:从hdfs复制到本地

操作1:将hdfs上stu2目录下的qqq.txt文件复制到hadoop1本地的/opt目录下,并进入/opt下查看是否复制成功

[root@hadoop1 ~]# hdfs dfs -get /stu2/qqq.txt /opt/
[root@hadoop1 ~]# cd /opt/
[root@hadoop1 opt]# ll

大数据开发环境HDFS基础常用命令

1.7 put命令

功能:从本地文件系统中复制文件到hdfs文件系统中

操作1:将本地文件系统中/opt下的qqq.tt复制到hdfs根目录下,并查看是否复制成功

[root@hadoop1 ~]# hdfs dfs -put /opt/qqq.txt/ /
[root@hadoop1 ~]# hdfs dfs -ls /

大数据开发环境HDFS基础常用命令

1.8 df 命令

功能:统计文件系统的可用空间信息

操作1:统计hdfs文件系统的可用信息

[root@hadoop1 ~]# hdfs dfs -df -h /

大数据开发环境HDFS基础常用命令

1.9 du命令

功能:统计一个指定目录下的文件节点数量

操作1:统计hdfs文件系统中stu2目录下的文件节点数量

[root@hadoop1 ~]# hdfs dfs -du /stu2

大数据开发环境HDFS基础常用命令

2.HDFS其它常用命令

2.1 查看帮助

功能:输出这个命令的参数

[root@hadoop1]# hdfs dfs -help/
[root@hadoop1]# hdfs dfs -usage/

大数据开发环境HDFS基础常用命令大数据开发环境HDFS基础常用命令

2.2 文件权限管理

功能:文件权限管理

操作1:将hdfs根目录下的qqq.txt文件权限修改为777,并查看修改结果

[root@hadoop1 ~]# hdfs dfs -chmod 777 /qqq.txt
[root@hadoop1 ~]# hdfs dfs -ls /

大数据开发环境HDFS基础常用命令

2.3 查看具体文件

功能:查看文件内容

操作1:将/root目录下的anaconda-ks.cfg复制到hdfs文件系统的根目录中,并查看是否复制成功

[root@hadoop1 ~]# hdfs dfs -put ~/anaconda-ks.cfg /
[root@hadoop1 ~]# hdfs dfs -ls /

大数据开发环境HDFS基础常用命令

操作2:查看hdfs文件系统根目录下anaconda-ks.cfg的内容

[root@hadoop1 ~]# hdfs dfs -cat /anaconda-ks.cfg

大数据开发环境HDFS基础常用命令


本站的文章和资源来自互联网或者站长的原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:大数据开发环境HDFS基础常用命令
喜欢 (2)
[]
分享 (0)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址