Junwu0615 / Web-Crawler-News

Web Crawler : 抓取資訊存成csv檔 ( Crawler / CSV / Python )

STEP.1 CLONE

git clone https://github.com/Junwu0615/Web-Crawler-News.git

STEP.2 INSTALL PACKAGES

pip install -r requirements.txt

STEP.3 RUN

python Web-Crawler-News.py -h

#If you encounter the following problems :

ModuleNotFoundError: No module named 'python'.
ModuleNotFoundError: No module named 'pip'.

1. 去檢查 C:\Users\xxx\AppData\Local\Programs\Python 是否有檔案。
2. 若無，則去 Python 官網下載並安裝。
3. 接著再次執行該指令；若一樣出現同樣錯誤，去 系統環境變數 當中新增 2 個路徑 ( Path ) 即可 :
   • C:\Users\ xxx \AppData\Local\Programs\Python\ Python版本
   • C:\Users\ xxx \AppData\Local\Programs\Python\ Python版本 \Scripts

STEP.4 HELP

• -h Help: Show this help message and exit.

• -t Type: Give a type | ex :

  • 台灣水庫 | 空氣品質 | 天氣預報 | 牌告匯率
  • 台灣股票 | 世界指數 | 世界股票 | 虛擬貨幣
  • ETF 市場 | 外匯市場 | 期貨市場

• -p PathandFilename: Give a path and file name | ex : ./filename.csv

STEP.5 EXAMPLE

I. 查詢台灣水庫現況

至 台灣水庫 網頁，將其內容抓下來到當前目錄，並命名 台灣水庫當前現況.csv 。

• -t 台灣水庫
• -p ./台灣水庫當前現況.csv

python Web-Crawler-News.py -t 台灣水庫 -p ./台灣水庫當前現況.csv

• 台灣水庫當前現況.csv
• 

II. 查詢台灣股票現況

至 台灣股票 網頁，將其內容抓下來至當前目錄的檔案夾 ( 股票 ) ，並命名 台灣股票.csv 。

• -t 台灣股票
• -p ./股票/台灣股票.csv

python Web-Crawler-News.py -t 台灣股票 -p ./股票/台灣股票.csv

• 台灣股票.csv
• 

抓取資訊來源

• 台灣水庫即時水情
• 台灣銀行牌告匯率
• 氣象資料開放平台
• 政府資料開放平台
• TrandingView

參考來源

• STEAM 教育學習網 | 爬取臺灣銀行牌告匯率 | 爬取天氣預報