yemenr / Z-Spider

一些爬虫开发的技巧和案例

Welcome to Z-Spider 👋

Z-Spider:一些爬虫开发的技巧和案例

🏠 Homepage

目录

• 抓包工具
  • Fiddler
  • Charles
  • mitmproxy
  • Wireshark
• 正则
  • 基础知识
  • 元字符和简写字符集
  • 贪婪模式,懒惰模式和独占模式
• xpath
  • 基础知识
• jsoup
  • 基础知识
• 构建js解析器
  • rhino+envjs
  • htmlunit+jsp
• cookie管理
  • 分布式爬虫cookie管理
  • 多域名cookie管理
• 滑块验证码
  • 拼图类滑块验证码
  • 拖动类滑块验证码
• 图形验证码
  • 数字英文类图形验证码
• 反编译
  • jadx-gui
• 中间人(mitm)
  • littleproxy
  • mitmproxy
  • servlet反向代理
• xposed
  • xposed插件
  • xposed脱壳
  • hook
  • virtualXposed(免root xposed)
• selenium
  • headlessChrome
  • phantomjs(版本已不再更新,一般不考虑使用)
• appium
  • appium环境搭建
• ActiveX控件(一般是银行的数据会采用ActiveX控件反爬,不建议分析了解即可)

---

正文

🛠️ 抓包工具

Fiddler

• 官方文档

Charles

• 官方文档

mitmproxy

• 官方文档

Wireshark

• 官方文档
• Wireshark 捕捉本地数据 --WinPcap切换NPcap
• 如何用 wireshark 抓包 TLS 封包

---

👻 正则

基础知识

• 正则学习

元字符和简写字符集

• 元字符
• 简写字符集

---

🛸 xpath

基础知识

• xpath语法
• xpath语法验证

---

🕸️ jsoup

基础知识

• jsoup语法
• jsoup语法验证

---

🌀 滑块验证码

拼图类滑块验证码

• 移动图片和另一张图片拼完整得到x轴坐标差(java版)
• 移动图片和另一张图片拼完整得到x轴坐标差(python版)

拖动类滑块验证码

• 拖动滑块至最右侧类滑块验证码

---

♠️ 图形验证码

数字英文类图形验证码

• 无干扰线无扭曲无交叠数字英文类图形验证码

---

📯 反编译

jadx-gui

• jadx-gui的高级技巧

---

🕴️ 中间人

littleproxy

• 官方文档

mitmproxy

• 官方文档
• 使用mitmproxy+python做拦截代理
• 使用mitmproxy突破网站对selenium的屏蔽

servlet反向代理

• 使用教程

---

🏴 xposed

xposed插件

• Xposed+JustTrustMe关闭SSL证书验证

xposed脱壳

• 使用Xposed+FDex2插件脱壳

hook

• XPosed入门与登陆劫持演示

virtualXposed

• 官方文档
• 使用VirtualXposed进行hook

---

🧹 selenium

headlessChrome

• java使用headless chrome
• java远程调用headless chrome

---

🗺️ appium

appium环境搭建

• java使用appium
• appium相关教程

---

Author

👤zdg <[e-mail]>

• Github: @zdg39

🤝 Contributing

Contributions, issues and feature requests are welcome!
Feel free to check issues page.

Show your support

Give a ⭐️ if this project helped you!

📝 License

Copyright © 2019 zdg.
This project is MIT licensed.

---

This README was generated with ❤️ by readme-md-generator