chanway0602 / PythonSpiderDemo

PythonSpiderDemo

Python spider lesson learn demo

python spider 基本步骤：

1. 判断网页类型（静态网页？动态网页？）
2. 静态网页 -> html -> dada 动态网页 -> 抓包 -> 分析 -> data
3. 保存数据

技术：requests + (re, xpath); 复杂动态页面用selenium

ref:http://c.biancheng.net/python_spider/what-is-spider.html