21. IT

Pythonでgcsからcsvを読み書きする

Google Cloud StorageでPandasのDataFrameを読み書きする方法です。

from io import BytesIO
import pandas as pd
from google.cloud import storage

def read_csv_from_gcs():
    # クライアントをインスタンス化
    client = storage.Client()
    # バケットを取得
    # BUCKET_NAMEは、Cloud Storageのバケット名を指定
    bucket = client.get_bucket("bucket-name")
    # BLOB(Binary Large OBject)を構成
    # FILE_PATHは、オブジェクトのファイルパスを指定
    blob = bucket.blob("sample.csv")
    # オブジェクトのデータを取得
    content = blob.download_as_bytes()
    # バイナリオブジェクトに変換し、データフレームを作成
    df = pd.read_csv(BytesIO(content))

def save_dataframe_to_gcs():
    # クライアントをインスタンス化
    client = storage.Client()
    # バケットを取得
    # BUCKET_NAMEは、Cloud Storageのバケット名を指定
    bucket = client.get_bucket("meditation-tools")
    df = pd.DataFrame({'a':[1,2,3]})
    bucket.blob('sample2.csv').upload_from_string(df.to_csv(index=False), 'text/csv')

Meditation Tools開発者
絹田 雅
複数の瞑想を学ぶことができるMeditation Toolsの開発者。 売上は人権段階を通じた寄附により社会をより良くすることに使われます。 利用はこちら
twitter-timeline