yi250 / Python3-Spider-Practice

Python3 各种爬虫实战练习，JS 逆向、反反爬、验证码处理、登录签到抽奖、数据可视化，Python 3 practice of various spiders.

Python3 Spider Practice —— Python3 爬虫实战练习

  

              

---

关于 💡

• ❗ 主要保存了本人在学习爬虫过程中写的代码，稍微复杂一点的在我博客里面有写分析过程，比较简单的项目，分析思路会直接写在 README 里面。

• ❗ 项目中部分代码可能已失效，原因可能是反爬措施更新、页面结构发生变化等，失效的可以提 issue，有时间会更新代码。

• ❗ 本仓库中所有内容仅供学习交流，严禁用于商业用途、非法用途，否则由此产生的一切后果均与作者无关，在本仓库中下载的文件学习完毕之后请于 24 小时内删除。

分类 🏷️

• AutomationTool：使用自动化工具进行数据采集、验证码处理等；

• BasicTraining：基础训练，一般是比较简单的爬虫；

• CommentPlugin：针对各大评论插件的爬虫，如 Facebook 评论插件等；

• FightAgainstSpider：针对常见的反爬虫手段的爬虫，如字体加密等；

• JSReverse：JS 加密解密、JS 逆向相关，重点关注逆向解密过程；【可以关注 K 哥爬虫 同步更新】

• SignIn：针对各种签到、抽奖的爬虫；

• SpiderDataVisualization：爬虫与数据可视化，如 COVID-19 数据可视化等。

目录 📑

BasicTraining 基础训练

• 安居客武汉二手房

• 豆瓣电影TOP250

• 瓜子全国二手车

• 虎扑论坛步行街

• 猫眼电影TOP100

AutomationTool 自动化工具

• 模拟登陆哔哩哔哩 【滑动验证码、Selenium】

• 模拟登陆12306 【点触验证码、Selenium】

SpiderDataVisualization 数据可视化

• 前程无忧招聘信息 【MongoDB、Numpy、Pandas、Matplotlib】

• COVID-19 肺炎疫情数据实时监控 【openpyxl、pyecharts、wordcloud】

SignIn 签到抽奖

• CSDN 自动签到抽奖 【GitHub Actions、钉钉、企业微信机器人】

CommentPlugin 评论插件

• Facebook 评论插件、留言外挂程序

• Vuukle 评论插件

FightAgainstSpider 反反爬

• 58同城武汉出租房【网站加密字体、MySQL】

JSReverse JS 逆向

• 百度翻译

• 有道翻译

• 建筑市场监管服务平台

• 当乐网登录

• 房天下登录

• 华强电子网登录

• 学易云登录

• 天凤麻将网页数据

• 天安保险登录

• 宁波大学登录

• 航班管家人口流动大数据

• 微博登录

• 惠金所登录

• 咪咕视频登录

• 企名片创业项目数据

• 中烟新商盟登录

• 三河市政务网数据

• **移动掌上门户登录

• **联通网上营业厅登录

• 37网游登录