er-mao / spider

使用 Python 编写一个网站爬虫程序

spider

使用 Python 编写的一个网站爬虫程序，来自知道创宇信息技术有限公司的面试题

使用 python3 执行，使用方法如下：

python spider.py -u url -d deep -f logfile -l loglevel(1-5)  --testself -thread number --dbfile=filepath  --key="HTML5"

参数说明：

• -u 指定爬虫开始地址

• -d 指定爬虫深度

• --thread 指定线程池大小，多线程爬取页面，可选参数，默认10

• --dbfile 存放结果数据到指定的数据库（sqlite）文件中

• --key 页面内的关键词，获取满足该关键词的网页，可选参数，默认为所有页面

• -l 日志记录文件记录详细程度，数字越大记录越详细，可选参数，默认spider.log

• --testself 程序自测，可选参数

功能描述：

• 指定网站爬取指定深度的页面，将包含指定关键词的页面内容存放到sqlite3数据库文件中

• 程序每隔10秒在屏幕上打印进度信息

• 支持线程池机制，并发爬取网页

• 代码需要详尽的注释，自己需要深刻理解该程序所涉及到的各类知识点

• 需要自己实现线程池