分布式第二次实验。
首先
使用master节点进行操作,另外两个节点也要开机。
先进入root账户
将bin目录和sbin目录里的命令配入环境变量
按下i
,在最后添加一行:
1
| export PATH=$PATH:/usr/local/hadoop/hadoop-2.8.5/sbin:/usr/local/hadoop/hadoop-2.8.5/bin
|
然后按下esc
,输入:wq
写入文件。
启动Hadoop
HDFS命令
查看HDFS上当前目录下所有文件
递归查看HDFS上当前目录下所有文件
这条命令会递归进入每个文件夹,展示出所有文件。
在HDFS上新建文件夹
方式1 逐个建立文件夹
1 2
| hadoop fs -mkdir /user hadoop fs -mkdir /user/hadoop-user/
|
方式2 递归建立文件夹
这种方式下,如果要建立的文件夹父目录不存在则同时建立父目录的文件夹。
1
| hadoop fs -mkdir -p /user/hadoop-user/
|
本地准备一份文件
1 2 3 4 5
| cd /tmp/ mkdir charles1 mkdir charles2 # 为后续操作做准备 cd charles1 vim ds2019.txt
|
写入:
1
| Distributed System 2019Spring
|
然后按下esc
,输入:wq
写入文件。
向HDFS上传文件
1
| hadoop fs -put /tmp/charles1/ds2019.txt /user/hadoop-user/
|
查看是否上传成功
在Terminal显示文件内容
1
| hadoop fs -cat /user/hadoop-user/ds2019.txt
|
下载HDFS上的文件
1
| hadoop fs -get /user/hadoop-user/ds2019.txt /tmp/charles2
|
删除HDFS上的文件
方式1 删除某个文件
1
| hadoop fs -rm /user/hadoop-user/ds2019.txt
|
方式2 递归删除文件夹
若被删除的文件夹下还有文件,则一同删除