mlouielu / twstock

台灣股市股票價格擷取 (含即時股票資訊) - Taiwan Stock Opendata with realtime

Home Page:http://twstock.readthedocs.io/

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

取得資料和預期的不一致(證交所問題)

TienShangHsiu opened this issue · comments

感謝作者分享了這個專案,這個回報不是專案的 bug 而是分享證交所潛在的問題。

簡單的來說就是 twse 有不高的機率會出現,你問的資料和回傳的日期不一致,例如我問了代碼 2330 11月份的資料,
結果回傳了其它月份的資料回來,是不是同一個代碼的不確定。

本以為是 twstock 專案的問題,爬了一下 source code 覺得可能性不大,但自己有需求需要近一步處理 exception,所以我自己重寫了一份 fetcher,增添了一些自己的 log 才確認此事。

建議想要抓取的朋友們,可以對收到的 data 日期與自己送出的代碼與 query 日期進行比對,也要檢查 http 回傳 code 是不是 200,做更多檢查與 Exception 的處理,然後出現 excpetion 時,每個 retry 之間最好要有 delay 避免被 twse block 住幾個小時。