当文件超大的时候,读取数据不能采用直接读的方式,要采用块chunk
读取的方式,每次只取一小块。
示例:读取单行 10G 文件并根据分隔符进行分割
1 | def read_bigfile(f, seq): |
文件示例:
1 | 123{|}234123{|}234123{|}234123{|}234123{|}234123{|}234123{|}234123{|}234123{|}23412312 |
返回结果:
1 | 123 |
当文件超大的时候,读取数据不能采用直接读的方式,要采用块chunk
读取的方式,每次只取一小块。
示例:读取单行 10G 文件并根据分隔符进行分割
1 | def read_bigfile(f, seq): |
文件示例:
1 | 123{|}234123{|}234123{|}234123{|}234123{|}234123{|}234123{|}234123{|}234123{|}23412312 |
返回结果:
1 | 123 |