今日份问题:
思维进度:
- 需要清空一个文件夹里的内容,文件夹中内容数量预估上亿条,324G
- 考虑:第一反应就是rm -rf *
- 担心:思考了一下,324G的话,数据量这么大,rm -rf *会不会出问题
- 结论:肯定是会出问题的,很慢,进程会挂起,消耗很长时间
- 解决办法: 咨询了公司运维同学,得出了rsync命令
- 效果:成功解决,消耗时常 5分钟。处理过程中,服务器很卡顿,但是基本还是能够访问,能够操作,延时较大。
rsync命令学习
1、建立一个空目录
mkdir -p /tmp/rsync_blank
2、确立需要清空的目标目录
/data/web/vip/htdocs/tuan
3、使用rsync同步删除(注意目录后面的“/”),整体效率会快一个数量级的样子。
rsync --delete-before -a -H -v --progress --stats /tmp/rsync_blank//data/web/vip/htdocs/tuan/
选项说明:
–delete-before 接收者在传输之前进行删除操作
–progress 在传输时显示传输过程
-a 归档模式,表示以递归方式传输文件,并保持所有文件属性
-H 保持硬连接的文件
-v 详细输出模式
-stats 给出某些文件的传输状态
一般我们不需要显示进度,使用以下命令即可
rsync --delete-before -a -H /tmp/rsync_blank//data/web/vip/htdocs/tuan/
把某个文件删掉
1 建立空文件/tmp/empty.txt
2 rsync --delete-before -a -H -v --progress --stats /tmp/empty.txt /opt/bre/xuanji.xiao/test/app.log
3 这样置为空后就可以快速删掉
原理:把文件系统的目录与书籍的目录做类比,rm删除内容时,将目录的每一个条目逐个删除(unlink),需要循环重复操作很多次;rsync删除内容时,建立好新的空目录,替换掉老目录,基本没开销。