【スクレイピング講座（４）】Google Cloud FunctionからGoogleドライブにファイルを保存する方法(Python)

from selenium import webdriver 
import os

# GoogleDirveにファイル格納のための設定追加
from io import StringIO
import csv
from pydrive2.auth import GoogleAuth 
from pydrive2.drive import GoogleDrive
from oauth2client.service_account import ServiceAccountCredentials


def hello_pubsub(event, context):


        # ブラウザーを起動
        global driver
        options = webdriver.ChromeOptions()
        # 以下は各種オプションを設定 なくても動作するものがほとんどです
        options.add_argument('--headless')                         
        options.add_argument('--disable-gpu')                      
        options.add_argument('--disable-extensions')               
        options.add_argument('--single-process')               
        options.add_argument('--proxy-server="direct://"')         
        options.add_argument('--proxy-bypass-list=*')              
        options.add_argument('--blink-settings=imagesEnabled=false')
        options.add_argument('--lang=ja')                          
        options.add_argument('--no-sandbox')
        options.add_argument('--disable-dev-shm-usage')
        options.add_argument("--log-level=3")
        options.add_argument("--disable-logging")
        options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36')
        options.add_experimental_option("excludeSwitches", ["enable-automation"])
        options.add_experimental_option('useAutomationExtension', False)
        options.page_load_strategy = 'eager'
        
        # WEBブラウザとWEBドライバの場所を指定（GoogleCloudFunction用）
        options.binary_location=os.getcwd()+"/headless-chromium"
        driver = webdriver.Chrome(os.getcwd()+"/chromedriver",options=options)
        # ↑2行をコメントアウトして以下1行に置き換えるとWindowsPC等他の環境でも動きます。
        #driver = webdriver.Chrome(options=options)
        
        # WEBページを取得
        driver.get("https://hobby.somnia.jp")
        driver.implicitly_wait(5)  # 結果取得に5秒まで待つ
        page_source = driver.page_source
        
        # WEBページのタイトルを取得、7文字分表示
        len=page_source.find("<title>")
        print(page_source[len+7:len+14])
        
        # ドライバのClose
        driver.close()
        driver.quit()

        # ↓今回新たに追加した部分 
        #credentials.jsonを利用してGoogleDriveの認証情報の取得
        gauth = GoogleAuth()
        scope = ["https://www.googleapis.com/auth/drive"]
        gauth.credentials = ServiceAccountCredentials.from_json_keyfile_name('credentials.json', scope)

        # 認証情報を利用してGoogleドライブにアクセス
        global g_drive # GoogleDrive
        g_drive = GoogleDrive(gauth)
        
        # CSVファイルの中身（今回は固定値）
        out_all = [["aaa","bbbbb","12345"],["11","12","13"]]

        # メモリ上にCSVファイルを作成
        si = StringIO()
        cw = csv.writer(si, quoting=csv.QUOTE_ALL)# csvの値にダブルクオートを付与。
        cw.writerows(out_all)
        
        # Googleドライブの操作
        # ファイル名の指定
        file1 = g_drive.CreateFile({'title': 'test.csv'})
        # 内容の設定
        file1.SetContentString(si.getvalue())
        # 保存するフォルダの指定
        file1['parents'] = [{'id': '【共有フォルダIDで置き換え】'}]
        # Googleドライブへアップロード
        file1.Upload()

if __name__ == "__main__":
    hello_pubsub(None,None)

#prjフォルダに同じファイル名がある場合は以下のコマンドで削除しましょう
rm main.py
rm credentials.json
rm requirements.txt