kongtianyi / heartsong

A simple spider power by scrapy, aimed to crawl forums power by discuz .

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

因阿里云腾讯云加强监管,我个人搭建的供此项目配套练习的论坛不得不停止服务,大家可以参考此项目套用到其它Discuz模板的论坛上。

Summary

A simple spider power by scrapy, aimed to crawl forums power by discuz .

This project aimed to teach people who want to learn scrapy.

You can find supporting course in my blog http://www.kongtianyi.cn

If you want to learn more function of scrapy, you can find an extend version later.I'll create branches for them.

Any question can proposed in my blog.

Hope this project can help you.

简介

这是一个用Scrapy写的定向爬虫,爬取目标是使用Discuz框架的论坛。

希望这个项目能帮助新手上手Scrapy。

我的博客里有配套教程,博客地址:http://www.kongtianyi.cn

如果你想学习Scrapy更多的功能,请等待我更新,我会把各种扩展功能做成不同的分支。

有什么问题,欢迎去我的博客留言讨论。

希望这个项目能对你有所帮助

10月14日

创建新分支useMongoDB,与mast分支不同的是,此分支将爬取到的数据存入到MongoDB数据库中。

10月15日

创建新分支useCookie,此分支介绍如何配置cookie。

11月5日

创建新分支reply,此分支介绍如何发起表单请求,在discuz框架中用来回复主题贴,也可用来模拟用户登录。

About

A simple spider power by scrapy, aimed to crawl forums power by discuz .


Languages

Language:Python 100.0%