hwlcode / node_spider

node定向爬取

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

node_spider

node定义爬取

需要实现的功能

  • User-Agent模拟,降低网站被拒绝的机率(done)
  • UTF-8编码处理(iconv-lite解码)(done)
  • 超时控制(done)
  • 异步并发控制(done)
  • IP代理(done)
  • 模拟cookie
  • 存储
  • 分析

About

node定向爬取


Languages

Language:JavaScript 100.0%