在資料爆炸的年代,我們卻沒有容易取得 data 的管道,因此提供一個共享 data 的平台,一個人爬蟲力量有限,合作爬蟲力量無限。各位可以在這上面,update 自己爬到的 data ,download 其他人分享的 data。
公開密碼,權限為:可自由取得 SQL 中的 data,該程式中已將格式轉為 dataframe ,利於分析。
- sql.py 提供 python 連接 MYSQL 教學,有中英註解,如果不清楚再 email 詢問我。
- craw_ptt.py 提供爬取 PTT 文章,並且上傳到 MYSQL code,附上中文註解,不過 code 中並沒有設定密碼,會有 ERROR,需要密碼請寄信給我。
以下提供單純瀏覽下載的帳密,如想分享自己 data 的朋友,請 email 給我,我會提供另一組帳密。
由於這是我個人架設的平台,資源有限,請不要進行惡意攻擊。另外同一時間使用人數過多,速度上可能會降低,請多包涵。
e-mail : samlin266118@gmail.com
連接網址為 : https://linsam.servehttp.com/phpmyadmin/
user : guest
password : 123
歡迎有同樣熱情的朋友協助我,共同合作,由於我是資料分析( 數學系 )出身,並沒有 PHP、SQL 等專業知識,目前只是個雛形,沒有前端,後端部分也只是剛開始,因此需要這方面的夥伴,歡迎 email 討論。未來朝 open 的方向進行,目前資源不足,請多包涵。
SQL name | 中文名 | DATA 筆數 | other |
---|---|---|---|
appledaily | 蘋果日報 | 15000 | 每日更新 |
cw_magazine | 天下雜誌 | 40000 | 每日更新 |
ptt_car | PTT 汽車版 | 73000 | 爬蟲中 |
ptt_e_shopping | PTT 網路購物版 | 71000 | 爬蟲中 |
ptt_Finance | PTT 金融業版 | 18000 | 爬蟲中 |
ptt_Food | PTT 食物版 | 21000 | 每日更新 |
ptt_happy | PTT 開心版 | 27000 | 每日更新 |
ptt_HardwareSale | PTT 硬體買賣版 | 80000 | 爬蟲中 |
ptt_Hate | PTT 黑特版 | 76000 | 每日更新 |
ptt_HomeTeach | PTT 家教版 | 27000 | 每日更新 |
ptt_Japan_Travel | PTT 日本旅遊版 | 100000 | 爬蟲中 |
ptt_job | PTT 工作版 | 7000 | 每日更新 |
ptt_JOB_Hunting | PTT 工作求職版 | 20000 | 每日更新 |
ptt_Lifeismoney | PTT 省錢版 | 37000 | 爬蟲中 |
ptt_MacShop | PTT apple產品買賣版 | 140000 | 爬蟲中 |
ptt_movie | PTT 電影 | 111000 | 每日更新 |
ptt_Oversea_Job | PTT 海外工作版 | 10000 | 每日更新 |
ptt_part_time | PTT part time 版 | 130000 | 每日更新 |
ptt_prozac | PTT 憂鬱版 | 8000 | 爬蟲中 |
ptt_Soft_Job | PTT 軟體工作版 | 20000 | 每日更新 |
ptt_Stock | PTT 股票版 | 68000 | 爬蟲中 |
ptt_TaiwanJobs | PTT 台灣工作版 | 6000 | 每日更新 |
ptt_Tech_Job | PTT 科技工作版 | 50000 | 每日更新 |
ptt_toberich | PTT 創業版 | 24000 | 爬蟲中 |
ptt_WomenTalk | PTT 女性聊天 | 100000 | 爬蟲中 |