john-chow / spider

spider

网页爬虫，可用于爬有明显分页情况的网站，如论坛、博客等 网络io方面是同步请求，页面量很多时候，时间会比较长