ifzm / fiction-crawler

🕷️fiction crawler for uctxt site

一个简单的小说爬虫

目前仅采集了排行榜里面的小说 ( 数据源：uc书盟 )

说明：仅供学习使用, 欢迎PR, 如有侵权通知我删除

Usage

# install via yarn

yarn install
yarn run start
# or
yarn run test

原来写的版本太烂, 也丢了很久了, 这次用 TypeScript + typeorm + mongodb 尝试一波，借机学习 ts 😊

预计分为四个子模块：

• 新书入库 ( 包含初始化 )
• 资源静态化
• 书籍更新 ( 定时任务，可选方案 Bull、Kue、Agenda )
• 网页阅读 ( Nest、 Vue + Vuetify )

TODO

• 写好 README
• 性能优化
• 代理 IP 池