Lazy loaded image
🐘HDFS常见运维命令组合
字数 1555阅读时长 4 分钟
2025-8-11
2025-8-13
type
status
date
slug
summary
tags
category
icon
password
如下是项目时间中常见的一些生产环境常用组合示例,每个代码段落就是一段可落地的运维招式,开箱即用。

1) 首次建库 & 目录权限一键搞定

涉及:mkdir chown chmod ls

2) 每日落地:本地→HDFS(覆盖/幂等)

涉及:put copyFromLocal

3) “剪切式”落地(落地后清空本地)

涉及:moveFromLocal

4) 入仓前置校验+移动到staging

涉及:ls du mv

5) ETL 结果合并下载给下游

涉及:getmerge

6) 线上快速排障:查看/跟随日志

涉及:tail

7) 压缩文本快速预览(无需先解压)

涉及:text

8) 运行中日志追加(分片上传后拼接)

涉及:appendToFile

9) 历史归档 & 清理(两段式安全删除)

涉及:mkdir mv rm

10) HDFS→本地 获取样本/落地成果

涉及:get copyToLocal

11) 副本数运维(热点/冷数据分层)

涉及:setrep

12) 空间巡检与容量核对

涉及:df du count

13) 回收站管理(紧急回收空间)

涉及:expunge

14) 目录内复制与备份(保留权限)

涉及:cp

15) 批量校验/自愈小文件(示意)

涉及:ls du get put

16) 线上快速查阅(cat + grep)

涉及:cat

17) 目录存在性/幂等防呆

(-test 也是 hdfs dfs 的子命令,常被忽略;你那份 25 条没列,但生产脚本非常常用)

18) 敏感区只读保护 & 临时开放

涉及:chmod

19) 产线替换/回滚(原子移动)

涉及:mkdir put mv

20) 临时区→正式区(覆盖写)

涉及:cp

21) 清理临时目录(保留回收站 vs 直接抹掉)

涉及:rm

22) 大目录递归清单 & 基数统计

涉及:lsr count

23) 故障转储:HDFS→本地+快照式保全

涉及:get

24) 诊断容量异常(df/du 结合)

涉及:df du

25) 回收站周期性压缩 & 清空(空间紧张应急)

涉及:rm expunge
上一篇
阿里大数据之路-数据模型
下一篇
Hadoop背景知识