0qiqi0 / Crawler

My Crawler Program

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

这是一个基于node.js的爬虫项目

1、task文件夹下的代码实现:获取网页信息(百度小说)并将所爬内容存入mysql数据库的功能

数据库中有两张表①小说分类表category;②所有分类中的小说的汇总表:articles

2、准备路由,当访问根目录时候,使用async.parallel方法并行读取数据库中的两张表

3、将爬取的内容显示在网页上,使用jade模板

4、部署:

A 将工程通过git命令pull到部署好的阿里云服务器上

B 安装pm2模块,防止node进程down掉

C 安装nginx,配置。启动项目。

5、展望:丰富web页面,增加查询功能、点击文章加入贴吧功能、点击分类切换文章

About

My Crawler Program


Languages

Language:JavaScript 92.2%Language:HTML 6.6%Language:CSS 1.1%