linux环境大文件切割

172 阅读1分钟

本文已参与「新人创作礼」活动,一起开启掘金创作之路。

1.分割

split -b800M -d -a 2 textdiff.tar part

-b:每一输出文档的大小,单位为byte; -d:使用数字作为后缀; -a:数字后缀的位数为n位; -d -a 2 part表示生成的文件名:part00,part01,part02等;

如果是流式文档类型,可以按照行数切分

split -l 10000 baidu.txt -d -a 4 part

-l:按照指定行数切分文档;

2.合并

cat part* > textdiff.tar

3.MD5

linux

md5sum textdiff.tar

mac

md5 textdiff.tar

windows

certutil -hashfile textdiff.tar md5