lsq960124 / storycrawler

一个可以爬童话故事到本地的网页小爬虫

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

storycrawler

一个可以爬童话故事到本地的网页小爬虫

具体网址:http://tool.xdf.cn/th/ 种类包括安徒生故事,格林童话到亲子游戏为止.
会进入每个种类故事下的每一个故事,将每一页内容集中保存为一个故事txt
可以修改保存本地的路径,默认路径为c://爬虫数据2
测试可用,总共爬取8000多个文件
在主函数直接启用workstart()函数 就可以开始啦!
跟storySearch 前端项目 可以搭配使用 完成全文搜索

About

一个可以爬童话故事到本地的网页小爬虫


Languages

Language:Python 100.0%