Youmoo / generic-crawler

A generic paginating web crawler

Home Page:https://mp.weixin.qq.com/s/WstMSwIs6XvF8R1d5AMirg

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

generic-crawler

一个通用的爬虫封装,同时支持按页码分页和按游标分页。

使用

npm i @youmoo/generic-crawler
import {Crawler, Page} from '@youmoo/generic-crawler';

分页示例

按页码分页示例

略。

按游标分页示例

见项目源码: crawl-by-cursor.template.ts

About

A generic paginating web crawler

https://mp.weixin.qq.com/s/WstMSwIs6XvF8R1d5AMirg


Languages

Language:TypeScript 100.0%