gocrawler
There are 2 repositories under gocrawler topic.
projectdiscovery / katana
A next-generation crawling and spidering framework.
Language:Go 8917golang-collection / go-crawler-distributed
分布式爬虫项目，本项目支持个性化定制页面解析器二次开发，项目整体采用微服务架构，通过消息队列实现消息的异步发送，使用到的框架包括：redigo, gorm, goquery, easyjson, viper, amqp, zap, go-micro，并通过Docker实现容器化部署，中间爬虫节点支持水平拓展。
Language:Go 43- Language:Go 0
