这是一个基于node.js的爬虫项目 1、task文件夹下的代码实现:获取网页信息(百度小说)并将所爬内容存入mysql数据库的功能 数据库中有两张表①小说分类表category;②所有分类中的小说的汇总表:articles 2、准备路由,当访问根目录时候,使用async.parallel方法并行读取数据库中的两张表 3、将爬取的内容显示在网页上,使用jade模板 4、部署: A 将工程通过git命令pull到部署好的阿里云服务器上 B 安装pm2模块,防止node进程down掉 C 安装nginx,配置。启动项目。 5、展望:丰富web页面,增加查询功能、点击文章加入贴吧功能、点击分类切换文章