terisuke / scrapingkit

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Scraping kit

紹介と使い方

  • scraping_from_url.py は、Bing Image Search APIを使って画像をスクレイピングするスクリプトです。
  • 使い方は、python scraping_from_url.py で実行します。
  • 画像の保存先は、save_dir_path で指定します。
  • 検索ワードは、search_word で指定します。
  • 画像の枚数は、max_count で指定します。
  • 画像のサイズは、image_size で指定します。
  • scraper.pyは、ChromeDriverを使ってスクレイピングするスクリプトです。
  • gspreadを使って、Googleスプレッドシートに書き込みます。
  • 使い方は、python scraper.py で実行します。

工夫した点

  • それぞれ別のAPIを使い、片方はフォルダに、もう片方はGoogleスプレッドシートに保存するようにしました。

苦戦した点

  • APIごとに使うライブラリが違い、それぞれのライブラリの使い方を調べるのに時間がかかりました。

参考にした web サイトなど

About


Languages

Language:Jupyter Notebook 91.3%Language:Python 8.7%