Python实现130w+张图片的检索,你手动下载需要多久?

143 阅读2分钟

任务说明:

130w+张图片,8张excel表里记录了需要检索图片的文件名,现在需要找出对应的图片,将找出的图片按不同的excel分别保存,并且在excel里能够直接打开图片。

任务分析:

如果数据量不大的话,可以直接读取excel表里的文件名进行搜索保存,但这次的任务显然不合适,因为图片实在太多,所以考虑后按照以下步骤:

1、遍历图片文件夹,读取文件名和文件路径,写入到csv文件中;

2、使用pandas的merge函数,实现8张原始excel表与csv文件根据图片文件名的对碰;

3、使用shutil的copy函数,读取文件路径进行保存。

代码分析:

1、文件遍历

import os

import pandas as pd

file_list = []

path_list = []

path = r"此处添加图片路径"

print("任务开始")

for root,dirs,files in os.walk(path):

for file in files:

file_list.append(file.split('.')[0])

path_list.append(os.path.join(root,file))

print("文件遍历结束")

file_dic = dict(zip(file_list,path_list))

df = pd.DataFrame.from_dict(file_dic,orient='index', columns=['图片1路径']).reset_index().rename(columns={'index':'图片1'})

df.to_csv("图片1.csv")

df = pd.DataFrame.from_dict(file_dic,orient='index', columns=['图片2路径']).reset_index().rename(columns={'index':'图片2'})

df.to_csv("图片2.csv")

df = pd.DataFrame.from_dict(file_dic,orient='index', columns=['图片3路径']).reset_index().rename(columns={'index':'图片3'})

df.to_csv("图片3.csv")

print("文件目录导出成功")

2、表格对碰

import pandas as pd

frame1 = pd.read_excel(r'excel表1.xlsx', 'sheet名')

frame2 = pd.read_csv(r'图片1.csv', sep=',')

frame3 = pd.read_csv(r'图片2.csv', sep=',')

frame4 = pd.read_csv(r'图片3.csv', sep=',')

frame5 = pd.merge(frame1, frame2, on = ['图片1'], how = 'left')

frame6 = pd.merge(frame5, frame3, on = ['图片2'], how = 'left')

frame7 = pd.merge(frame6, frame4, on = ['图片3'], how = 'left')

col = ['图片1','图片2','图片3']

frame7[col] = frame7[col].fillna('未找到')

frame7.to_excel('excel表1合并后.xlsx')

3、图片复制

import shutil

target = '此处为excel表1导出图片路径'

copylist1 = frame7['图片1']

for src in copylist1:

if src != '未找到':

shutil.copy(src, target)

copylist2 = frame7['图片2']

for src in copylist2:

if src != '未找到':

shutil.copy(src, target)

copylist3 = frame7['图片3']

for src in copylist3:

if src != '未找到':

shutil.copy(src, target)

print('复制完毕')

4、excel里打开图片,可以使用excel自带的hyperlink函数。

近期有很多朋友通过私信咨询有关Python学习问题。为便于交流,点击蓝色自己加入讨论解答资源基地