tiku_sprider
帮别人写的一个题库爬虫,包括抓取试题,抓取答案,图像识别答案,抓取分类,导入数据库
- category.py 运行可在当前目录下生成分类数据 cate.txt
- 单线程运行 速度较慢
- sprider.py 运行可在当前目录下生成 某个分类的 试题数据 data.txt
- 单线程运行 速度较慢
- sprider2.py 运行可在data文件夹下创建以每个分类编号命名的 试题数据
- 线程池 + 队列 + 消费者生产者模型 速度较快
- sprider_qustion 运行可抓取data文件夹内所有问题的答案数据,生成ans_all.txt
- 线程池 + 队列 + 消费者生产者模型 速度较快
- 自动识别图像类型的答案
- dbsave.py 运行可将所有数据导入数据库
- 线程池 + 队列 + 消费者生产者模型 速度较快