jiawei666 / xiaohongshu_app_crawler

小红书app爬虫实现

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

小红书app爬虫实现

一、整体思路图

整体思路图

手机控制端

通过airTestIDE连接手机,生成poco树后就可识别出小红书上的搜索框以及按钮节点

参考swiper.py(具体节点需要通过airTestIDE识别,每台设备都不一样,此脚本仅供参考,不能实际运行)

运行python swiper.py即可实现模拟操作手机

airtest连接安卓手机教程

通过执行swiper.py,实现自动搜索、下滑获取下一页等操作

http代理端

使用mitmproxy开启http代理,同时监听http_handle.py,手机接入代理后产生的http请求都会经过会http_handle.py进行处理

mitmproxy启动命令参考 mitmweb -s http_handle.py -p 8085

mitmproxy官方文档

About

小红书app爬虫实现


Languages

Language:Python 100.0%