一个通用的爬虫封装,同时支持按页码分页和按游标分页。
npm i @youmoo/generic-crawler
import {Crawler, Page} from '@youmoo/generic-crawler';
略。
见项目源码: crawl-by-cursor.template.ts
A generic paginating web crawler
一个通用的爬虫封装,同时支持按页码分页和按游标分页。
npm i @youmoo/generic-crawler
import {Crawler, Page} from '@youmoo/generic-crawler';
略。
见项目源码: crawl-by-cursor.template.ts
A generic paginating web crawler
https://mp.weixin.qq.com/s/WstMSwIs6XvF8R1d5AMirg