(1条消息)4G内存怎么读取一个5G的数据(附代码、指令)_嵌入式_学习、记录、分享-CSDN博客

689 阅读1分钟
原文链接: blog.csdn.net

4G内存怎么读取一个5G的数据:

方法一:
可以通过生成器,分多次读取,每次读取数量相对少的数据(比如500MB)进行处理,处理结束后
在读取后面的 500MB的数据。

def get_lines():  # 生成器
    with open('123.py', 'r') as f:
        while True:
            data = f.readlines(100)
            if data:
                yield data
            else:
                break

f = get_lines()  # 迭代器对象
print(next(f))
print(next(f))
print(next(f))


方法二:
可以通过linux命令split切割成小文件,然后再对数据进行处理,此方法效率比较高。可以按照行
数切割,可以按照文件大小切割

使用语法: split [–help][–version][-<行数>][-b <字节>][-C <字节>][-l <行数>][要切割的文件][输出文件名]

 python@ubuntu:~/Desktop$ split -l 2 requirements.txt re.txt 
 意思:按照两行切割requirements.txt文件,切割后的文件名叫re.txt。
 回车后会生成好多re文件,里面都是两行代码

 

沧海一株莲 发布了154 篇原创文章 · 获赞 160 · 访问量 34万+ 他的留言板 关注