hadoop-hdfs命令基本操作
python打印数据
import pandas as pd
df = pd.read_csv("../data/hotel_comment.csv", encoding="gbk")
print(df)
print(df.info())
|
常用的HDFS命令选项
1.上传 -put
hdfs -dfs -put /根目录文件路径 /上传到hdfs路径
|
2.下载 -get
hdfs dfs -get /hdfs文件路径 /下载到根目录什么哪个链接
|
3.查看文件和目录 -ls （/是直接查全部或者后面可以指定文件路径）
4.新建 -mkdir 表示如果当前路径下不存在该目录(文件夹)，则新建该目录(文件夹)
hdfs dfs -mkdir /文件名称或者目录名称
|
5.修改权限 -chmod 权限 777
hdfs dfs -chmod 777 /文件或者目录路径
|
6.查看数据内容 -cat:查看内容
| head -n 10 (打印十条数据)
hdfs dfs -cat /文件数据路径 | head -n 10
|
7.删除 -rm -r （多一个r是强制删除）
hdfs dfs -rm -r /文件或者目录或者文件数据
|
8.查看计算文本或目录大小 （要是不可以在**-du后面加一个-h**）
hdfs dfs -du /文件或者目录或者文件数据
|
9.移动文件或者目录
hdsf dfs -mv /想要移动的文件或者目录 /移动到哪个目录或者文件
|
10.以文本格式显示文件的内容
11.显示文件末尾内容
12.统计文件和目录的数量
hdfs dfs -count /文件或者目录也可以直接/查看全部
|
13.设置文本的副本数
hdfs dfs -setrep 文本数量 /文件或者目录或者文本数据路径
|
14.在HDFS上创建一个空文件
15.更改文件或目录的权限
hdfs dfs -chown 所有者名称 /被修改的文件或目录名称
|
16.更改文件或目录的所属组
hdfs dfs -chown 所有者名称 /被修改的文件或目录名称
|
HDFS常用命令用法
1. 列出指定路径下的文件和目录。
hdfs dfs -ls /user/hadoop
|
这将列出 /user/hadoop 目录下的文件和目录。
2. 将本地文件或目录上传到 HDFS。
hdfs dfs -put local_file.txt /user/hadoop/
|
这将把本地文件 local_file.txt 上传到 /user/hadoop/ 目录中。
3. 创建一个新的目录。
hdfs dfs -mkdir /user/hadoop/new_directory
|
这将把本地文件 local_file.txt 上传到 /user/hadoop/ 目录中。
4. 从 HDFS 下载文件或目录到本地文件系统。
hdfs dfs -get /user/hadoop/file.txt local_directory/
|
这将从 HDFS 的 /user/hadoop/file.txt 下载文件，并将其保存到本地文件系统的 local_directory/ 目录中。
5. 删除 HDFS 中的文件或目录。
hdfs dfs -rm /user/hadoop/file.txt
|
这将删除 HDFS 中的 /user/hadoop/file.txt 文件。
6. 移动文件或目录。
hdfs dfs -cat /user/hadoop/file.txt
|
这将把 /user/hadoop/file.txt 移动到 /user/hadoop/new_location/。
7. 显示文件的内容。
hdfs dfs -cat /user/hadoop/file.txt
|
这将显示 HDFS 中 /user/hadoop/file.txt 文件的内容。
8. 更改文件或目录的权限。
hdfs dfs -chmod 755 /user/hadoop/file.txt
|
这将把 /user/hadoop/file.txt 的权限更改为 755。
9. 计算文件或目录的大小。
hdfs dfs -du /user/hadoop/file.txt
|
将计算 /user/hadoop/file.txt 文件的大小。
10. 显示文件的末尾内容。
hdfs dfs -tail /user/hadoop/file.txt
|
这将显示 HDFS 中 /user/hadoop/file.txt 文件的末尾内容。
11. 以文本格式显示文件的内容。
hdfs dfs -text /user/hadoop/file.txt
|
这将以文本格式显示 HDFS 中 /user/hadoop/file.txt 文件的内容。
12. 统计文件和目录的数量。
hdfs dfs -count /user/hadoop/
|
这将统计 /user/hadoop/ 目录下的文件和目录的数量。
13. 设置文件的副本数。
hdfs dfs -setrep -w 3 /user/hadoop/file.txt
|
这将把 /user/hadoop/file.txt 文件的副本数设置为 3。
14. 在 HDFS 上创建一个空文件。
hdfs dfs -touchz /user/hadoop/empty_file.txt
|
这将在 HDFS 的 /user/hadoop/ 目录下创建一个名为 empty_file.txt 的空文件。
15. 更改文件或目录的所有者。
hdfs dfs -chown hadoop_user /user/hadoop/file.txt
|
这将把 /user/hadoop/file.txt 的所有者更改为 hadoop_user。
16. 更改文件或目录的所属组。
hdfs dfs -chgrp hadoop_group /user/hadoop/file.txt
|
这将把 /user/hadoop/file.txt 的所属组更改为 hadoop_group。
