需求
最近有个需求,客户端需要像git或者p4v那样 高效的判断文件的变化,文件数按照百万级考虑。
做法
现在客户端用的是python,做法是 保存所有文件快照到本地,通过比较新旧快照差异,得到哪些文件产生了变化。
但是因为文件太多了,每次产生新快照的时候,就会等待很长的时间,用了线程,在我的电脑上,也要等待接近1分钟,这还没有算比较差异的时间。
关键问题
用户关闭客户端,随便对几个文件进行修改,当下次再打开客户端的时候,如何能从这100W个文件中快速定位到,用户在关闭客户端的时候,修改了哪些文件,这也是我每次都获取所有文件快照去做对比的原因。
刚做客户端不久的菜鸡,寻求大佬们的帮助,有什么好点的办法吗?