全球通讯!一文教会你如何用 Python 分割合并大文件
2022-08-26 09:01:02来源:Python七号
有时候,我们需要把一个大文件发送给别人,但是限于传输通道的限制,比如邮箱附件大小的限制,或者网络状况不太好,需要将大文件分割成小文件,分多次发送,接收端再对这些小文件进行合并。今天就来分享一下用 Python 分割合并大文件的方法。
【资料图】
思路及实现如果是文本文件,可以按行数分割。无论是文本文件还是二进制文件,都可以按指定大小进行分割。
使用 Python 的文件读写功能就可以实现文件的分割与合并,设置每个文件的大小,然后读取指定大小的字节就写入一个新文件,接收端依次读取小文件,把读取到的字节按序写入一个文件,就可以完成合并。
分割
size = 1024 * 1000 * 10 # 10MBwith open("bigfile", "rb") as reader: part = 1 while True: part_content = reader.read(size) if not part_content: print("split done.") break with open(f"bigfile_part{part}","wb") as writer: writer.write(part_content)
合并
total_parts = 5with open("bigfile","wb") as writer: for i in range(5): with open(f"bigfile_part{i}", "rb") as reader: writer.write(reader.read())使用第三方库
虽然可以自己写,但是别人写好了,为什么不节省点时间直接用呢?直接 pip 安装就可以了:
pip install filesplit
分割
from filesplit.split import Splitsplit = Split("./data.rar", "./output")split.bysize(size = 1024*1000*10) # 每个文件最多 10MB
执行之后,我们就可以在 output 文件夹里看到分割好的文件:
你也可以按照文件行数进行分割:
split.bylinecount(linecount = 10000) # 每个文件最多 10000 行
合并
合并需要对文件夹里的小文件进行合并,该工具要求文件夹内必须有 manifest 文件,其格式如下:
filename,filesize,headerdata_1.rar,10000000,Falsedata_2.rar,10000000,Falsedata_3.rar,10000000,Falsedata_4.rar,10000000,Falsedata_5.rar,1304145,False
合并文件的代码只需要指定要合并的目录,目标目录,合并后的文件名,代码如下:
from filesplit.merge import Mergemerge = Merge(inputdir = "./output", outputdir="./merge", outputfilename = "merged.rar")merge.merge()
执行之后就可以在 merge 目录内看到合并后的文件: