type
status
date
slug
summary
tags
category
icon
password
如下是项目时间中常见的一些生产环境常用组合示例,每个代码段落就是一段可落地的运维招式,开箱即用。
1) 首次建库 & 目录权限一键搞定
涉及:mkdir chown chmod ls
2) 每日落地:本地→HDFS(覆盖/幂等)
涉及:put copyFromLocal
3) “剪切式”落地(落地后清空本地)
涉及:moveFromLocal
4) 入仓前置校验+移动到staging
涉及:ls du mv
5) ETL 结果合并下载给下游
涉及:getmerge
6) 线上快速排障:查看/跟随日志
涉及:tail
7) 压缩文本快速预览(无需先解压)
涉及:text
8) 运行中日志追加(分片上传后拼接)
涉及:appendToFile
9) 历史归档 & 清理(两段式安全删除)
涉及:mkdir mv rm
10) HDFS→本地 获取样本/落地成果
涉及:get copyToLocal
11) 副本数运维(热点/冷数据分层)
涉及:setrep
12) 空间巡检与容量核对
涉及:df du count
13) 回收站管理(紧急回收空间)
涉及:expunge
14) 目录内复制与备份(保留权限)
涉及:cp
15) 批量校验/自愈小文件(示意)
涉及:ls du get put
16) 线上快速查阅(cat + grep)
涉及:cat
17) 目录存在性/幂等防呆
(-test 也是 hdfs dfs 的子命令,常被忽略;你那份 25 条没列,但生产脚本非常常用)
18) 敏感区只读保护 & 临时开放
涉及:chmod
19) 产线替换/回滚(原子移动)
涉及:mkdir put mv
20) 临时区→正式区(覆盖写)
涉及:cp
21) 清理临时目录(保留回收站 vs 直接抹掉)
涉及:rm
22) 大目录递归清单 & 基数统计
涉及:lsr count
23) 故障转储:HDFS→本地+快照式保全
涉及:get
24) 诊断容量异常(df/du 结合)
涉及:df du
25) 回收站周期性压缩 & 清空(空间紧张应急)
涉及:rm expunge
- 作者:tacjin
- 链接:http://jin.wiki/article/24be55fd-4dcc-801c-91e6-f7a03d4a04d6
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。