s3cmd 研究

分享

最近有一個需求要做到同步把 S3 檔案抓下來,去找了一點資料找到一個工具可以做到這件事情,以下是研究結果跟踩到的問題,跟大家分享

基礎設定

因為需要抓 S3 檔案,所以需要 AWS API Key,這個部分可以在下指令的時候帶入或是使用設定檔,這邊已設定檔為範例:

首先建立一個檔案 ~/.s3cfg 如下:

# Setup endpoint
bucket_location = us-east-1
use_https = True

# Setup access keys
access_key = Q3AM3UQ867SPQQA43P2F
secret_key = zuf+tfteSlswRu7BJ86wekitnifILbZam1KYY3TG

# Enable S3 v4 signature APIs
signature_v2 = False

設定完之後後面的指令就可以正常使用了!

使用 –dry-run 測試指令

每次下載檔案需要用到流量,所以如果只是要測試指令的話可以使用 --dry-run 就不會每次都下載檔案了,在前期 Debug 的時候很好用

使用 –exclude 排除檔案

通常在 S3 上面的檔案非常多,有時候並不想要全部都下載下來,這時候就可以使用 –exclude,設定規則排除檔案,如下範例排除所有 jpg 副檔名的檔案

s3cmd sync --exclude '*.jpg' --skip-existing s3://clarence/ clarence/

使用 –include 加入檔案

加入 exclude 後可能也想要把某些特別的檔案加入,就可以再用 include 把檔案加入

s3cmd sync --exclude 'folder1/*' --include 'folder1/*.mp4' --skip-existing s3://clarence/ clarence/

如果想要加入資料夾也是可以的

s3cmd sync --exclude '*' --include 'folder1/*' --include '*.mp4' --skip-existing s3://clarence/ clarence/

使用 –skip-existing

在使用 skip-existing 的時候遇到了一個問題,怎樣都不會動,不能用的指令如下:

s3cmd sync --skip-existing s3://clarence clarence

上面指令是錯的請注意!

後來去找了一下 issue 發現是指令錯誤,修正後的指令如下

s3cmd sync --exclude '*' --include 'folder1/*' --include '*.mp4' --skip-existing s3://clarence/ clarence/

參考資料

https://s3tools.org/usage