威尼斯人线上娱乐

HDFS中的命令行,0命令手册

5 11月 , 2019  

正文介绍了HDFS以命令行运维的时候,多少个常用的命令行的功效和怎么着使用~

1.      FS Shell

HDFS 文件系统提供了一对后生可畏多的shell
操作命令,大大有利了技士和系统管理职员翻开、改正HDFS
上的文书。进一层,HDFS 的操作命令和Unix/Linux
的下令名称和格式万分意气风发致,因此学习HDFS 命令的资本也颇为降低。

  1. fs

1.1    简介

HDFS 的中坚命令格式如下:

fs是运维命令行动作,该命令用于提供风度翩翩体系子命令。

调用文件系统(FS)Shell命令应选取bin/Hadoop fs
<args>的款型。 全部的的FS
shell命令使用U宝马7系I路径作为参数。U路虎极光I格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对该羊眼半夏件系统,scheme是file。此中scheme和authority参数都以可选的,假如未加钦定,就能动用布署中钦点的暗许scheme。二个HDFS文件或目录举个例子/parent/child能够象征成hdfs://namenode:namenodeport/parent/child,或许更简约的/parent/child(若是你安插文件中的暗许值是namenode:namenodeport卡塔尔国。大大多FS
Shell命令的表现和呼应的Unix
Shell命令相像,区别之处会在下边介绍各命令使用详细的情况时提议。出错音讯会输出到stderr,其余新闻输出到stdout。

bin/Hadoop dfs–cmd
<args>

行使方式为Hadoop fs
–cmd <args>

Ubuntu
13.04上搭建Hadoop环境
http://www.linuxidc.com/Linux/2013-06/86106.htm

此间cmd 正是实际的下令,记住cmd 前边的短线“–”千万不要忽略。

里面,cmd是子命令,args是维妙维肖的授命操作。

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置
http://www.linuxidc.com/Linux/2013-09/90600.htm

威尼斯人线上娱乐 1

例如hadoop fs –help

Ubuntu上搭建Hadoop境况(单机方式+伪布满方式卡塔尔国
http://www.linuxidc.com/Linux/2013-01/77681.htm

1.ls

可能说fs是别的子命令的生父,别的都以在“-cmd”的方式下的!

Ubuntu下Hadoop景况的布置
http://www.linuxidc.com/Linux/2012-11/74539.htm

hadoop fs -ls /

  1. –cat 输出

单机版搭建Hadoop景况图像和文字化教育程详明
http://www.linuxidc.com/Linux/2012-02/53927.htm

列出hdfs文件系统根目录下的目录和文书

hadoop fs –cat URI

搭建Hadoop意况(在Winodws情形下用编造机虚构四个Ubuntu系统开展搭建卡塔尔国
http://www.linuxidc.com/Linux/2011-12/48894.htm

hadoop fs -ls -R /

将路径内定的文本输出到荧屏

1.2    常用命令使用

列出hdfs文件系统有着的目录和文书

  1. –copyFromLocal 将当和姑件复制到HDFS中

1)  cat

2.put

hadoop fs -copyFromLocal <localsrc> URI

使用方法:hadoop fs -cat UMuranoI [URI …]

hadoop fs -put < local file > < hdfs file >

hadoop fs –copyFromLocal /usr/localFile.txt sample.txt

将路线钦命文件的内容输出到stdout。

hdfs file的父目录一定要设有,不然命令不会实行

能够兑现当羊眼半夏件上传来HDFS中,何况指标路线是简化过的

示例:

hadoop fs -put < local file or dir >…< hdfs dir >

  1. -cp 复制

hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2

hdfs dir 一定要留存,不然命令不会施行

hadoop fs –cp /usr/file1 /usr/files /user/dir

hadoop fs -cat file:///file3 /user/hadoop/file4

hadoop fs -put – < hdsf file>

源路线的文书复制到指标路线中,源路线能够有多个,可是对象路径只好有三个

返回值:

从键盘读取输入到hdfs file中,按Ctrl+D甘休输入,hdfs
file无法存在,不然命令不会施行

  1. –du 呈现目录中全数文件的深浅,大概叁个文件的轻重

立业成家重返0,失利重回-1。

2.1.moveFromLocal

hadoop fs –du /usr/dir1

2)  chgrp

hadoop fs -moveFromLocal < local src > … < hdfs dst >

  1. –dus 展现文件大小

  2. –expunge 清空回笼站

接纳方式:hadoop fs -chgrp [-R]

与put相相符,命令实行后源文件 local src
被删除,也得以从从键盘读取输入到hdfs file中

hadoop fs –expunge

变动文件所属的组。使用-Tiguan将使更改在目录结构下递归举办。命令的使用者必需是文本的持有者大概一流客户。越来越多的音信请参见HDFS权限顾客指南。

2.2.copyFromLocal

  1. –get 复制本件到地头系统

3)  chmod

hadoop fs -copyFromLocal < local src > … < hdfs dst >

行使方法为:hadoop fs –get <locaodst>

使用方式:hadoop fs -chmod [-R] <MODE[,MODE]… | OCTALMODE>
URI [URI …]

与put附相同,也得以从从键盘读取输入到hdfs file中

hadoop fs –get /usr/file localfile

校订文件的权力。使用-福睿斯将使改造在目录结构下递归进行。命令的使用者必须是文件的持有者也许一流客户。越来越多的新闻请参见HDFS权限顾客指南。

3.get

  1. –put 当三步跳件复制到目的文件系统

4)  chown

hadoop fs -get < hdfs file > < local file or dir>

接收办法:hadoop fs –put <localsrc> <dst>

动用方法:hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

local file不可能和 hdfs
file名字不可能平等,不然会提示文件已存在,未有重名的公文少禽复制到本地

hadoop fs –put localfile hadfs://host:port/usr/file

退换文件的具有者。使用-兰德Koleos将使改动在目录结构下递归举行。命令的使用者必需是精品客户。更加的多的新闻请参见HDFS权限客户指南。

hadoop fs -get < hdfs file or dir > … < local dir >

  1. –ls 浏览本羊眼半夏件

5)  copyFromLocal

拷贝多少个公文或目录到地面时,本地要为文件夹路线

利用方式:hadoop fs –ls <arg>

运用方式:hadoop fs -copyFromLocal <localsrc> UENCOREI

注意:借使客商不是root, local
路线要为客户文件夹下的路线,不然汇合世权力难题,

归来新闻:

除开限制源路线是七个地面文件外,和put命令相仿。

3.1.moveToLocal

文件名<别本数> 文件大小 校勘日期 权限 客商 ID/组 ID

6)  copyToLocal

时下版本中还没兑现此命令

  1. –lsr 递归地查看文件内容

  2. HDFS中的命令行,0命令手册。–mkdir 创设对应的文件目录

运用办法:hadoop fs -copyToLocal [-ignorecrc] [-crc] URI
<localdst>

3.2.copyToLocal

hadoop fs –mkdir /usr/dir1/dir2/dir3/file

而外约束指标路径是二个当麻芋果件外,和get命令相仿。

hadoop fs -copyToLocal < local src > … < hdfs dst >

  1. –mv 移动

7)  cp

与get相类似

将源文件移动到目的路线,指标路线能够有几个

动用方式:hadoop fs -cp U奥迪Q5I [URI …] <dest>

4.rm

hadoop fs –mv /usr/file1 /usr/file2

将文件从源路线复制到指标路线。那几个命令允许有多个源路线,那个时候指标路线必得是一个索引。

hadoop fs -rm < hdfs file > …

  1. –rm 删除

示例:

hadoop fs -rm -r < hdfs dir>…

hadoop fs –rm URI

hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2

历次能够去除多个公文或目录

  1. –rmr 递归删除

  2. –Setrep 改换三个别本的复制份数

hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir

5.mkdir

hadoop fs –setrep –w 3 –R /usr/file

返回值:

hadoop fs -mkdir < hdfs path>

  1. –Test 检查文件

水到渠成再次来到0,战败重临-1。

唯其如此一流一流的建目录,父目录不设有的话使用那一个命令会报错

使用ezd对文件举办检讨

8)  du

hadoop fs -mkdir -p < hdfs path>

-e:检查文件是不是留存,若存在重回0;

行使方法:hadoop fs -du U猎豹CS6I [URI …]

所开创的目录假若父目录空中楼阁就成立该父目录

-z:检查文件是不是为0字节,假设是重临0;

突显目录中颇负文件的大大小小,也许当只钦点一个文本时,展现此文件的尺寸。

6.getmerge

-d:检查路线是或不是为目录,假如是重回1;

示例:

hadoop fs -getmerge < hdfs dir > < local file >

  1. –text 将源文件输出为文本格式

hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1
hdfs://host:port/user/hadoop/dir1

将hdfs内定目录下具备文件排序后联合到local内定的公文中,文件空中楼阁时会自动创设,文件存在时会覆盖里面包车型客车内容

hadoop fs –text <src> 运转的格式是zip以致Text类

返回值:

hadoop fs -getmerge -nl < hdfs dir > < local file >

————————————–分割线

将当三步跳件拷到HDFS中
http://www.linuxidc.com/Linux/2013-05/83866.htm

从HDFS下载文件到地头
http://www.linuxidc.com/Linux/2012-11/74214.htm

将地面文件上传至HDFS
http://www.linuxidc.com/Linux/2012-11/74213.htm

HDFS基本文件常用命令
http://www.linuxidc.com/Linux/2013-09/89658.htm

Hadoop中HDFS和MapReduce节点基本简单介绍
http://www.linuxidc.com/Linux/2013-09/89653.htm

《Hadoop实战》中文版+意大利语文字版+源码【PDF】
http://www.linuxidc.com/Linux/2012-10/71901.htm

Hadoop: The Definitive Guide【PDF版】
http://www.linuxidc.com/Linux/2012-01/51182.htm

马到成功重返0,战败重临-1。

累积nl后,归拢到local file中的hdfs文件之间会空出生龙活虎行

————————————–分割线

更加多Hadoop相关新闻见Hadoop 专项论题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永恒更新链接地址:http://www.linuxidc.com/Linux/2014-12/110510.htm

威尼斯人线上娱乐 2

9)  dus

7.cp

应用方法:hadoop fs -dus <args>

hadoop fs -cp < hdfs file > < hdfs file >

呈现文件的轻重。

对象文件不能够存在,不然命令不可能实施,也就是给文件重命名并保存,源文件还留存

10)  expunge

hadoop fs -cp < hdfs file or dir >… < hdfs dir >

利用方法:hadoop fs -expunge

对象文件夹要存在,不然命令不能够实行

清空回笼站。请参见HDFS设计文书档案以得到更加多关于回笼站性子的音讯。

8.mv

11)  get

hadoop fs -mv < hdfs file > < hdfs file >

运用办法:hadoop fs -get [-ignorecrc] [-crc] <src>
<localdst>

指标文件无法存在,不然命令不能够施行,约等于给文件重命名并保存,源文件官样文章

复制文件到当半夏件系统。可用-ignorecrc选项复制CRC校验战败的文本。使用-crc选项复制文件以至CRC音讯。

hadoop fs -mv < hdfs file or dir >… < hdfs dir >

示例:

源路线有多个时,指标路线必须为目录,且必需存在。

hadoop fs -get /user/hadoop/file localfile

专心:跨文件系统的移动(local到hdfs只怕反过来卡塔尔都以分歧意的

hadoop fs -get hdfs://host:port/user/hadoop/file localfile

9.count

返回值:

hadoop fs -count < hdfs path >

马到功成重返0,退步重返-1。

总结hdfs对应路线下的目录个数,文件个数,文件总结大小

12)  getmerge

显示为目录个数,文件个数,文件计算大小,输入路线

选拔方法:hadoop fs -getmerge <src> <localdst> [addnl]

10.du

收受三个源目录和三个对象文件作为输入,何况将源目录中有着的文书接二连三开支地目的文件。addnl是可选的,用于钦赐在种种文件结尾增加八个换行符。

hadoop fs -du < hdsf path>

13)  ls

展现hdfs对应路线下每种文件夹和文书的轻重

动用方法:hadoop fs -ls <args>

hadoop fs -du -s < hdsf path>

大器晚成经是文件,则依据如下格式重回文件信息:

展现hdfs对应路线下具备文件和的大小

文本名 <副本数> 文件大小 修改日期 改善时间 权限 客户ID 组ID

hadoop fs -du – h < hdsf path>

倘诺是目录,则赶回它直接子文件的一个列表,好似在Unix中平等。目录再次来到列表的音讯如下:

呈现hdfs对应路线下各种文件夹和文书的轻重,文件的轻重用方便阅读的款型表示,举例用64M代表 
  67108864

目录名 <dir> 修改日期 更正时间 权限 客商ID 组ID

11.text

示例:

hadoop fs -text < hdsf file>

hadoop fs -ls /user/hadoop/file1 /user/hadoop/file2
hdfs://host:port/user/hadoop/dir1 /nonexistentfile

将文件文件或少数格式的非文本文件通过文本格式输出

返回值:

12.setrep

水到渠成重返0,战败再次回到-1。

hadoop fs -setrep -R 3 < hdfs path >

14)  lsr

转移一个文书在hdfs中的别本个数,上述命令中数字3为所设置的别本个数,-奥迪Q7选项可以对一位目录下的装有目录+文件递归实行更改别本个数的操作

应用情势:hadoop fs -lsr <args>

13.stat

ls命令的递归版本。形似于Unix中的ls -Odyssey。

hdoop fs -stat [format] < hdfs path >

15)  mkdir

归来对应路线的气象音信

应用方法:hadoop fs -mkdir <paths>

[format]可选参数有:%b(文件大小卡塔尔,%o(Block大小卡塔 尔(英语:State of Qatar),%n(文件名卡塔尔,%r(别本个数卡塔尔,%y(最终一回修改日期和岁月卡塔 尔(阿拉伯语:قطر‎

收受路线钦定的uri作为参数,创制那么些目录。其一言一动看似于Unix的mkdir
-p,它会创设路线中的各级父目录。

能够这么书写hadoop fs -stat %b%o%n < hdfs path
>,可是不提议,那样种种字符输出的结果不是太轻松分清楚

示例:

14.tail

hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2

hadoop fs -tail < hdfs file >

hadoop fs -mkdir hdfs://host1:port1/user/hadoop/dir
hdfs://host2:port2/user/hadoop/dir

在行业内部输出中展现文件末尾的1KB数据

返回值:

15.archive

大功告成再次回到0,退步再次回到-1。

hadoop archive -archiveName name.har -p < hdfs parent dir > <
src >* < hdfs dst >

16)  movefromLocal

命令中参数name:压缩文件名,自个儿跋扈取;< hdfs parent dir >
:压缩文件所在的父目录;< src >*:要减少的文书名;< hdfs dst
>:压缩文件贮存路线

运用情势:dfs -moveFromLocal <src> <dst>

示例:hadoop archive -archiveName hadoop.har -p /user 1.txt 2.txt /des

出口八个”not implemented“音信。

示范团长hdfs中/user目录下的公文1.txt,2.txt压缩成三个名为hadoop.har的文件贮存在hdfs中/des目录下,假设1.txt,2.txt不写便是将/user目录下具备的目录和文件压缩成三个叫做hadoop.har的公文存放在hdfs中/des目录下

17)  mv

彰显har的剧情能够用如下命令:

行使办法:hadoop fs -mv U奥德赛I [URI …] <dest>

hadoop fs -ls /des/hadoop.jar

将文件从源路径移动到指标路线。这几个命令允许有五个源路线,这时目的路线必需是叁个索引。不容许在分化的文件系统间移动文件。

展现har压缩的是那一个文件能够用如下命令

示例:

hadoop fs -ls -R har:///des/hadoop.har

hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2

**注意:**har文件不能够进行三次减少。即使想给.harGavin件,只可以找到原本的文书,重新创建三个。har文件中本来文件的多寡并不曾生成,har文件真正的机能是减少NameNode和DataNode过多的半空中浪费。

hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2
hdfs://host:port/file3 hdfs://host:port/dir1

16.balancer

返回值:

hdfs balancer

成功重临0,失利重返-1。

假诺助理馆员开掘一些DataNode保存数据过多,有些DataNode保存数据相对非常少,能够应用上述命令手动运营内部的均衡进程

18)  put

17.dfsadmin

行使方法:hadoop fs -put <localsrc> … <dst>

hdfs dfsadmin -help

从本土文件系统中复制单个或七个源路线到对象文件系统。也援救从规范输入中读取输入写入目的文件系统。

领队能够透过dfsadmin管理HDFS,用法能够由此上述命令查看

hadoop fs -put localfile /user/hadoop/hadoopfile

hdfs dfsadmin -report

hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir

展现文件系统的着力数据

hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile

hdfs dfsadmin -safemode < enter | leave | get | wait >

hadoop fs -put – hdfs://host:port/hadoop/hadoopfile

enter:走入安全情势;leave:离开安全方式;get:得悉是还是不是张开安全情势;

从专门的职业输入中读取输入。

wait:等待离开安全方式

返回值:

18.distcp

马到功成重返0,战败再次回到-1。

用来在四个HDFS之间拷贝数据

19)  rm

注意事项

选择方法:hadoop fs -rm UCR-VI [URI …]

局地下令(如mkdir 等卡塔尔必要文件\ 目录名作为参数,参数日常都以U奥迪Q7I
格式,args 参数的中坚格式是:scheme:// authority/path

去除钦点的文书。只删除非空目录和文件。请仿照效法rmr命令领悟递归删除。

scheme 指现实的文件系统,假设是当羊眼半夏件,那么scheme 便是file
;假如是HDFS 上的文本,那么scheme 正是hdfs。authority
就是机械的地点和呼应的端口。当然,正如Linux文件有相对路线和相对路线相似,这里的UENVISIONI
参数也得以做一定程度省略。当对应的设置为hdfs://namenode:namenodeport
时,若是路线参数为/parent/child,那么它对应的骨子里文件为:hdfs://namenode:namenodeport/parent/child

示例:

而是有少数要注意,HDFS 未有所谓当前工作目录的概念。前边说过,HDFS
全体文件元数据都是存在NameNode 节点上的,具体文件的存放由NameNode
掌控,某多个文书或许被分拆放到区别的机械上,也会有可能为了升高效能将路线区别的文本也置于同黄金年代台机器上。所以,为HDFS
提供cd、pwd 操作,都以不具体的。

hadoop fs -rm hdfs://host:port/file /user/hadoop/emptydir

Hadoop怎么样改善HDFS文件存款和储蓄块大小 
http://www.linuxidc.com/Linux/2013-09/90100.htm

返回值:

将地面文件拷到HDFS中
http://www.linuxidc.com/Linux/2013-05/83866.htm

成家立业重临0,退步重临-1。

从HDFS下载文件到地点
http://www.linuxidc.com/Linux/2012-11/74214.htm

20)  rmr

将当麻芋果件上传至HDFS
http://www.linuxidc.com/Linux/2012-11/74213.htm

选用方法:hadoop fs -rmr UPAJEROI [URI …]

HDFS基本文件常用命令
http://www.linuxidc.com/Linux/2013-09/89658.htm

delete的递归版本。

Hadoop中HDFS和MapReduce节点基本简单介绍
http://www.linuxidc.com/Linux/2013-09/89653.htm

示例:

《Hadoop实战》普通话版+英语文字版+源码【PDF】
http://www.linuxidc.com/Linux/2012-10/71901.htm

hadoop fs -rmr /user/hadoop/dir

Hadoop: The Definitive Guide【PDF版】
http://www.linuxidc.com/Linux/2012-01/51182.htm

hadoop fs -rmr hdfs://host:port/user/hadoop/dir

越来越多Hadoop相关音信见Hadoop 专项论题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

返回值:

正文永世更新链接地址:http://www.linuxidc.com/Linux/2016-04/129743.htm

瓜熟蒂落再次回到0,失利重临-1。

威尼斯人线上娱乐 3

21)  setrep

接纳情势:hadoop fs -setrep [-R] <path>

退换多个文本的别本周到。-牧马人选项用于递归改动目录下有所文件的别本周详。

示例:

hadoop fs -setrep -w 3 -R /user/hadoop/dir1

返回值:

成功再次回到0,失利重回-1。

22)  stat

行使方法:hadoop fs -stat U索罗德I [URI …]

回到钦命路径的计算新闻。

示例:

hadoop fs -stat path

返回值:

打响重临0,败北重回-1。

23)  tail

运用办法:hadoop fs -tail [-f] URI

将文件尾巴部分1K字节的剧情输出到stdout。辅助-f选项,行为和Unix中意气风发致。

示例:

威尼斯人线上娱乐 ,hadoop fs -tail pathname

返回值:

中标再次回到0,失利再次来到-1。

24)  test

行使办法:hadoop fs -test -[ezd] URI

选项:

-e 检查文件是还是不是存在。纵然存在则重回0。

-z 检查文件是不是是0字节。要是是则再次来到0。

-d 若是路线是个目录,则赶回1,不然再次来到0。

示例:

hadoop fs -test -e filename

25)  text

应用办法:hadoop fs -text <src>

将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。

26)  touchz

动用办法:hadoop fs -touchz U锐界I [URI …]

开创贰个0字节的空文件。

示例:

hadoop -touchz pathname

返回值:

成家立业重回0,失败重临-1

2.      jar

运作jar文件。顾客能够把她们的Map
Reduce代码捆绑到jar文件中,使用这一个命令实施。

用法:hadoop jar <jar> [mainClass] args…

比如大家付出wordcount mapreduce的时候:

hadoop jar hadoop-examples.jar wordcount input output

 

3.      archive

bin/hadoop archive

始建二个hadoop档案文件。参谋 Hadoop Archives.

用法:hadoop archive -archiveName NAME <src>* <dest>

-archiveName NAME  要开创的档案的名字。

src文件系统的路线名,和经常含正则表达的同样。

越多详细的情况见请继续阅读下生机勃勃页的精粹内容
http://www.linuxidc.com/Linux/2014-10/107730p2.htm

威尼斯人线上娱乐 4


相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图