s890506 / LuLuCrawler

[node] a web crawler.

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

#LuLu Crawler LuLu Crawler 是結合 MakeeAPISimpleCrawlerCheerio 的爬蟲應用程式,它將會爬取指定網域,並將欲擷取之資料存入資料庫中。

安裝 (Install)

  1. 安裝使用套件
$ cd <directory-to-your-lulucrawler>
$ cp config.example.js config.js
$ npm i
  1. 設定 config.js
exports.getThisUrl = '<URL>';
  1. 修改爬取內容於 spider.js

  2. 請啟動 app.js

$ node app.js

How to Install Homebrew (Mac)

$ ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

How to Install Node

$ brew install nodejs

How to Install MongoDB

$ brew install mongodb

版本資訊

  • Node:0.10.38

License

MIT

About

[node] a web crawler.

License:MIT License


Languages

Language:JavaScript 95.5%Language:HTML 3.1%Language:Makefile 1.3%