This is Web-Scrapeing Tool for Japan EC site.
これは日本の販売サイト向けのスクレイピングツールです。
- python3実行環境
- インターネット接続環境
- LINE Developerの登録とアクセス鍵の取得
- Google Cloud Platformの登録とアクセス鍵の取得
- Googleスプレッドシートへのアクセス許可およびワークブックキーの取得
プログラム実行に必要なモジュールをインストールします。
cd WebScraper
pip3 install -y -r requirements.txt
以下のようにGoogleスプレッドシートの検索ワード用シートに検索したい商品のキーワードと条件を記入します。
ターミナルから以下のようにしてスクレイピングツールのプログラムを実行します。
(以下はメルカリサイトを検索対象とした場合の例)
cd WebScraper/app/MercariPriceMonitor
python3 mercariPriceMonitor.py
もし検索ワードにマッチした商品が見つかりますと以下のようにLINEへ通知します。
また、以下のようにGoogleスプレッドシートの検索結果用シートに検索したアイテムの情報が記載されます。
ツールが検索ワードを全て検索し終われば、設定ファイルに指定した秒数でインターバルを置いてまた検索ワードにマッチした商品を再検索しにいきます。
その際、情報を重複なくするために再検索しても検索結果用シートに記載済みのアイテムであればLINE通知とシート記載はされません。