lqqyt2423 / wechat_spider

微信爬虫,获取文章内容、阅读量、点赞量、评论等,获取公众号所有历史文章链接。

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

能否增加黑名单、白名单模式?

opened this issue · comments

proxy开启常驻情况下,会爬取只是用来浏览的公众号。希望增加

  • 黑名单:除名单内ID外,其余全部爬取
  • 白名单:除名单内ID外,其余都不爬取。

谢谢。

wechat_spider/config.js

Lines 94 to 96 in a1c396b

// 抓取公众号 biz 范围 [string]
// 为空表示不限制范围
targetBiz: [],

天呐,完美。谢谢!

我这样填了公号A和B的biz值targetBiz: ['MzczTY0wMIxMNg==', 'Mz1NTINzk3czNw=='],
但是在浏览公号C的时候,还是会抓取数据,请问是格式不对吗?

浏览了当然就会抓取