前言
大家好，又到了Python辦公自動化系列。
今天分享一個系統層面的自動化案例：
「給定一個文件夾，使用Python檢查給定文件夾下有無文件重復，若存在重復則刪除」
主要涉及的知識點有：
-
os模塊綜合應用 -
glob模塊綜合應用 -
利用
filecmp模塊比較兩個文件
步驟分析
該程序實現的邏輯可以具化為：
遍歷獲取給定文件夾下的所有文件，然后通過嵌套循環兩兩比較文件是否相同，如果相同則刪除后者。
實現問題的關鍵就變成了?
如何判斷兩個文件是否相同？
在這里我們可以使用filecmp模塊，來看看官方的介紹文檔：
- filecmp.cmp(f1, f2, shallow=True)
-
比較名為f1和f2的文件，如果它們似乎相等則返回
True，否則返回False -
如果
shallow為真，那么具有相同os.stat()簽名的文件將會被認為是相等的。否則，將比較文件的內容。
所以可以這樣使用?
|
1
2
3
|
# 假設x和y兩個文件是相同的print(filecmp.cmp(x, y))# True |
解決了這個問題，我們就可以開始寫代碼了！
Python實現
導入需要的庫并設置目標文件夾路徑
|
1
2
3
4
5
|
import osimport globimport filecmpdir_path = r'C:\\xxxx' |
接著遍歷獲取所有文件的絕對路徑，我們可以利用glob模塊的通配符結合recursive參數即可完成，框架如下：
|
1
2
|
for file in glob.glob(path + '/**/*', recursive=True): pass |
由于遍歷獲取每一個文件或者文件夾后，需要判斷是否是文件，如果是文件則可能將絕對路徑存放到列表中，這里需要再完成兩個事情：
-
首先創建一個空列表，后面用
list.append(i)添加文件路徑 -
接著利用
os.path.isfile(i)判斷是否是文件，返回True則執行添加元素的操作
具體代碼如下
|
1
2
3
4
5
|
file_lst = []for i in glob.glob(dir_path + '/**/*', recursive=True): if os.path.isfile(i): file_lst.append(i) |
上一步我們獲取了目標文件夾下的所有文件路徑，接下來就可以嵌套遍歷這個路徑列表，其中filecmp.cmp進行文件判斷，os.remove進行文件刪除
|
1
2
3
4
5
|
for x in file_lst: for y in file_lst: if x != y: if filecmp.cmp(x, y): os.remove(y) |
這里的代碼已經實現了大致邏輯，但有一個細節需要考慮到：有可能循環到文件已經被前面的判斷刪除了，導致os.remove(file)由于文件不存在而報錯
因此，可以用os.path.exists對文件存在進行判斷，如下所示：
|
1
2
3
4
5
|
for x in file_lst: for y in file_lst: if x != y and os.path.exists(x) and os.path.exists(y): if filecmp.cmp(x, y): os.remove(y) |
這樣，一個簡易的文件去重小程序就完成了，完整代碼如下：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
import osimport globimport filecmpdir_path = r'C:\xxxx'file_lst = []for i in glob.glob(dir_path + '/**/*', recursive=True): if os.path.isfile(i): file_lst.append(i)for x in file_lst: for y in file_lst: if x != y and os.path.exists(x) and os.path.exists(y): if filecmp.cmp(x, y): os.remove(y) |
寫在最后
通過本文的Python自動化腳本制作過程，我們可以再次體會Python辦公自動化的強大，同時本次實現的功能可以和之前自動整理文件的腳本結合使用！
以上就是python實現自動清理重復文件的詳細內容，更多關于python清理重復文件的資料請關注服務器之家其它相關文章！
原文鏈接：https://cloud.tencent.com/developer/article/1683712
