【王道の情報集め】Python×SeleniumでWebスクレイピング

$ pip install selenium
  # 省略
$ pip list | grep selenium
	# selenium 4.4.0

# シェル起動時に.bashrcを読み込むよう設定
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi

# 環境変数にシークレット情報を格納
export MAIL_ADDRESS='foo@bar.com'
export PASSWORD='abcdefghijk'
export KEYWORD='lmopqrstu'

C:.　　　　　　　　　　　　←任意の作業ディレクトリ
│  chromedriver.exe 　　　←上記手順でダウンロードしたやつ
│  main.py 　　　　　　　　←処理を記述するファイル
│
└─store 　　　　　　　　　　←所望のmhtmlファイルを保存するフォルダ
    ├─folder1 　　　　　　　←mhtmlファイルをお好みの階層に分けて保存
			folder2 
			...

from IPython import embed
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.action_chains import ActionChains
from tkinter import messagebox
from tkinter import filedialog
import os
import time
#ファイル保存パスをダイアログボックスで指定
save_folder_path = filedialog.askdirectory(initialdir = './store')
#目的のサイトに移動
driver = webdriver.Chrome(executable_path='.\chromedriver.exe')
driver.get('https://www.fooooooo.com)
#環境変数を読み込み
xPath_mail = os.environ.get('MAIL_ADDRESS')
xPath_Password = os.environ.get('PASSWORD')
#ログイン処理
driver.find_element(By.XPATH, "/html/body/div/div/foooooooo").send_keys(xPath_mail)
driver.find_element(By.XPATH, "/html/body/div/div/barrrrrrrrr").send_keys(xPath_Password)
login_button = driver.find_element(By.XPATH, "/html/body/div/div/horrrrrrrrrrrrr")
ActionChains(driver)\
  .click(login_button)\
  .perform()

time.sleep(5)

count = 0
#aタグ要素を取得
elements = driver.find_elements(By.TAG_NAME, "a")
for e in elements:
  count += 1
  #任意のキーワードが含まれている場合のみページ遷移
  if "KEY_WORD" in e.get_attribute("href") :
    ActionChains(driver)\
      .click(e)\
      .perform()
    time.sleep(3)
    #サブタイトル取得
    try:
      e_sub_title = driver.find_element(By.XPATH, "//*[@id='__foo']/div/div/foooooo")
      sub_title = e_sub_title.get_attribute('innerHTML').replace('/', '')
    except:
      sub_title = ''
    #ページ保存処理
    res = driver.execute_cdp_cmd('Page.captureSnapshot', {})
    file_path = f'{save_folder_path}/{count}_{sub_title}.mhtml'
    with open(file_path, 'w', newline='') as f:
      f.write(res['data'])
    #ページを戻る
    time.sleep(1)
    driver.back()
    time.sleep(3)
messagebox.showinfo('通知','作業完了！')