webmagic

There are 3 repositories under webmagic topic.

• zifangsky / WeatherSpider

  天气爬虫（全国城镇天气自动定时抓取更新，并开放RESTful查询接口），附带代理IP池定时更新并检测其可用性

  javaspringspiderweatherwebmagicspringbootrestful-api
  Language:Java 364

• hemin1003 / java-spider

  一个基于webmagic框架二次开发的java爬虫框架实战，已实现能爬取腾讯，搜狐，今日头条（单独集成功能）等资讯内容，配合elasticsearch框架用法，实现了自动爬虫，已投入线上生产使用。

  elasticsearchscraperspiderwebmagic
  Language:Java 336

• jinhx128 / springboot-demo

  基于SpringBoot 2.x整合各种常用开发工具，包括但不限于Redis，MyBatisPlus，RocketMQ，RabbitMQ，Elasticsearch，Quartz，Xxl-Job，Kafka等。

  aopdockereasyexcelelasticsearchkafkaknife4jlogbackmailmybatis-plusquartzrabbitmqredisrocketmqsmsspringbootswaggerthymeleafwebmagicwebsocketxxl-job
  Language:Java 190

• CR553 / Project01

  基于springboot+mybatis+echarts+webmagic 的疫情数据可视化网站

  springbootwebmagicechartsmybatisdata-visualizationjava-8novice
  Language:Java 107

• liyifeng1994 / webmagic-csdnblog

  基于WebMagic写的一个csdn博客小爬虫

  javawebmagic
  Language:Java 92

• soberqian / Java-Carwler-Technology

  网络数据采集技术—Java网络爬虫 (书稿完整代码，涉及网络爬虫的各种技术和知识点)

  javacrawlercrawler4jwebmagicwebcollectorhttpclientjsoupmysqlthreadthread-poolurlconnectionokhttp
  Language:Java 61

• v5tech / solrj-example

  solrj示例

  solrsolrjwebmagicselenium
  Language:Java 55

• 99246255 / SpringBoot-Solr

  SpringBoot+Solr + webmagic JD商品爬取数据，放入solr中做搜索，学习下solr使用

  javaspringbootsolrwebmagic
  Language:Java 43

• casolxia / TwitterCrawler

  抓取twitter数据，可根据时间、话题、用户名等条件抓取数据，twitter爬虫

  javatwitterwebmagicspringboot2crawler
  Language:Java 36

• zhaoweilong007 / zhihuCrawler

  基于webMagic爬取知乎数据，并按天定时归档

  javaspiderwebmagiczhihu
  Language:Java 33

• shangjing105 / spray-module

  spray模块架构分离

  javaspring-bootquartzwebmagic
  Language:Java 24

• wxynihao / baidu-search-result-crawler

  一个百度搜索结果内容获取爬虫。

  baidu-searchcrawlerwebmagichttpclientjava-8
  Language:Java 11

• FrankCy / spring-boot-frank-spider

  Java 电商爬虫，动态代理请自行更换！爬取目标：京东、考拉、丝芙兰；使用工具：HtmlUnit（单线程，大部分网站通过代理可以获取，但是反爬多层JS的无法取到）、ChromeDriver（多进程，需要考虑销毁机制）等（其它的不咋好用）（此项目只为研究各个工具的优劣，并不支持商用）

  htmlunitchromedriverspiderseleniumjsoupwebmagic
  Language:Java 10

• juda-zhang / av-spider

  解析司机网站获取帖子车牌详情的爬虫

  adultsspiderwebmagic
  Language:HTML 9

• Jasonandy / Skeleton-X

  :tada:基于Springboot的SSM脚手架,目前已整合spring-scurity,websocket,docker,echarts,mybatis,elsticSearch.logback,ehcache,redis,kafka,jwt等,旨在开箱即用,简化搭建流程.集成了爬虫项目,OpenCV项目.WebSocket项目.

  elasticsearchkafkaelasticsearch6redisjwtcrawlerwebmagicecharts
  Language:JavaScript 8

• leon66666 / financehelper

  基于webmagic实现的网络爬虫。主要抓取各大财经网站数据，生成自定义图表

  webmagiccrawler
  Language:Java 8

• leonGravel / ip-spider

  一个爬虫小程序，使用webmagic+springboot抓取代理IP网站的数据，并持久化到本地

  springbootwebmagic
  Language:Java 8

• TGhoul / spider914j

  91 web spider for java.

  crawler91pornspring-bootwebmagic
  Language:Java 6

• casolxia / ctripcrawler

  抓取携程航班数据，此数据来源于飞常准，使用webmagic框架

  crawlerwebmagicctripjar
  Language:Java 5

• fengsam6 / webmagic-learn

  使用springboot、spring-data-jpa、webmagic等技术，定时爬取爱奇艺视频、360视频

  spiderwebmagicspring-data-jpaspring-boot
  Language:Java 5

• hooyantsing / webmagic-job

  基于 springboot 底座、webmagic 爬虫内核、xxl-job 任务定时调度实现的分布式爬虫平台

  crawlerwebmagicwebsitexxl-job
  Language:Java 5

• lc291215654 / searchutil

  网络文本采集/存储/索引查询

  webmagicelasticsearchhbase
  Language:Java 5

• phinehasz / bilibiliCrawl

  a spider for bilibili based on WebMagic 基于WebMagic的b站视频爬虫

  webmagicjava
  Language:Java 4

• xiaoyvyv / AndroidCrawlerEngine

  A dynamic crawler plug-in for the Android platform based on Dex dynamic loading, which can dynamically load and execute the dex plug-in package, and can realize real-time updates of crawler and other functions.

  androidapkclasscrawlerdexdynamicexecutejavajsoupjvmkotlinmoduleokhttppakpluginreflectionscrapyspiderwebwebmagic
  Language:Kotlin 4

• casolxia / 12306TrainCrawler

  获取12306全国未来30天车次详细数据，12306爬虫

  java12306crawlerwebmagic
  Language:Java 3

• gglinux / doucha

  校园招聘信息服务平台，数据来源于湖南五所高校的全部校园招聘信息

  webmagicspidercampusphpjava
  Language:PHP 3

• her-cat / novel-spider

  基于 webmagic 的小说爬虫

  webmagicnovelnovel-spider
  Language:Java 3

• woyumen4597 / crawler

  Java 爬虫

  javawebmagicpixivillustapiguicrawler
  Language:Java 3

• JiongZhu / evanaly

  基于社会事件的民航客流量分析系统

  springmvcmavenbootstraphanlpwebmagicmybatisqrcode
  Language:Java 2

• jumpjumpbean / FoodsSpider

  Webmagic+Springboot+Mybatis爬虫抓取食材数据

  webmagicspringbootmybatis
  Language:Java 2

• wangdamu / SpiderApplication

  webmagicjsoup
  Language:Java 2

• FelixMundial / simple-crawler

  Crawler on Zhihu/Bilibili/Weibo/Baidu/Douban trending items, powered by WebMagic

  webmagicspringboot2-xredisjpa
  Language:Java 1

• gsabbih6 / GHNewsCrawler

  A crawling and scraping project for news content build on top of Webmagic

  webmagicjavacrawlingaggregator
  Language:Java 1

• JhonatanIT / cl-generator-ai-service

  Cover letter generator with Generative AI

  javalangchain4jspring-bootwebmagic
  Language:Java 1

• leonGravel / musicSpider

  ✏️ webmagic+springboot 爬取网易云音乐的歌曲评论

  webmagicspringboot
  Language:Java 1

• Yodeser / Crawler

  爬虫（诗词、歌曲）

  crawlerjava-8webmagic
  Language:Java 1