darkweb_spider 本爬虫使用scrapy框架开发，是面向暗网交易站的定制化爬虫。 三大特性 多账户cookie请求，防止针对cookie的请求频率限制。 增量爬取分类版块自定义页数的交易主题内容，目的是为了提高爬虫效率、绕反爬策略。 使用redis去重url，提高爬虫效率。