seotaro / raw-download-from-cloud-storage

raw-download-from-cloud-storage

Google Cloud Storage でメタデータに Content-Encoding:gzip があるオブジェクトを展開しないで gzip のままダウンロードする。

gsutil cp コマンドや他言語のクライアント ライブラリでは展開してしまうが、Python のクライアント ライブラリではオプションを指定（raw_download=True）することで可能。

参考

• gzip 圧縮ファイルのトランス コーディング
• download_to_filename

Install

pip install -r requirements.txt

create .evn, and set GOOGLE_APPLICATION_CREDENTIALS

example)

GOOGLE_APPLICATION_CREDENTIALS=key.json

Run

python download.py {bucket_name} {prefix} {download_folder}