swdmw / work_crawler

小說漫畫批量下載工具:腾讯漫画 哦漫画 看漫画 漫画台 汗汗酷漫 爱漫画 网易漫画 快看漫画 733动漫网 动漫之家 古风漫画网;アルファポリス カクヨム ハーメルン 小説家になろう 八一中文网 顶点小说 卡提諾論壇→epub. Download online novels, comics.

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

CeJS 線上小說漫畫下載工具 online novels / comics downloader

  • [en] Download novels → epub and comics with command line interface.
  • [TW] 批量下載小說 → epub、漫畫網站的工具。命令行界面。
  • [CN] 批量下载小说 → epub、漫画网站的工具。命令行界面。
  • [ja] ウェブ小説 → epub、ウェブ漫画作品を一括ダウンロードツール。コマンドラインインターフェース。

Features 特點

  • 可自動下載小說封面以及章節中的插圖。
  • 採用 CeJS 線上作品程式庫來製作 crawler,可自行配置與設定。

Supported sites 已完成之網站工具

  • For novels, please install 7-Zip command line version first. 請注意:小說之下載必須先安裝 7Zip,這樣才能製作 .epub 電子書。

已撰寫完的各大小說漫畫網站工具包括:

Japanese web fictions / Japanese light novels ライトノベル 日本輕小說 日本のオンライン小説

novel.ja-JP/*.js, web pages → epub

Site Tool file Note
アルファポリス AlphaPolis.js レンタルする話は取得できません
カクヨム kakuyomu.js
ハーメルン Hameln.js
小説を読もう! yomou.js 小説家になろう
ノクターンノベルズ noc.js 小説家になろう男性読者向けの18禁部門サイト

Chinese web fictions / novels **内地小说 **のオンライン小説

novel.cmn-Hans-CN/*.js, web pages → epub

Site Tool file Note
八一中文网 81xsw.js PTCMS系统
顶点小说 23us.js PTCMS
顶点小说 archive/23us.com.js PTCMS,限制了取得頁面的數量和頻率,暫時放棄。
八八读书网 88dushu.js 88读书网,PTCMS?
恋上你看书网 630book.js
飘天文学 piaotian.js NOT PTCMS
卡提諾論壇 小說頻道 ck101.js Discuz! X3
  • 中國大陸之小說文字常常會被審查而消失、變造。例如黑名單關鍵字轉為拉丁字母或是打星號,以及數字 0 改成 o、9 改成 q 等等。有時需要多下載幾個網站的文件再做比較。

Chinese webcomics **内地漫画 **のウェブコミック

comic.cmn-Hans-CN/*.js, web pages → epub

  • 本工具無法下載需VIP付費、已屏蔽或刪除的內容。
Site Tool file Note
腾讯漫画 qq.js 本工具無法下載VIP付費內容 2017/8/15 起取消了今日限免
看漫画 manhuagui.js 漫画柜爱看漫
哦漫画 omanhua.js
漫画台 manhuatai.js
汗汗酷漫 hhcool.js
爱漫画 2manhua.js 許多作品似乎從2017/9/3起就沒有更新。
古风漫画网 gufengmh.js
网易漫画 163.js 2017/7/13 本工具無法下載VIP付費內容
快看漫画 kuaikanmanhua.js
733动漫网 733dm.js 僅處理漫畫。
733漫画网 733mh.js 有時會無法讀取。733mh與733dm其實是一樣的東西...
动漫之家 dmzj.js 僅處理漫畫。有時會無法讀取。
热漫吧 archive/remanba.js 自 2016/12/27 14:42 最後一次成功連接後,下午起就持續 404 至 2017/10/19 未復原。
三七阅读 archive/37yue.js 自 2017/6/9 下午最後一次連接後,2017/6/10 9時起就持續 404 至 2017/10/19 未復原。

Installation 安裝

Lazy installation 懶人安裝法

為了想趕快嘗鮮的您~(已經做過的步驟可以跳過)

  1. 先安裝 Node.js7-Zip
  2. 下載本工具壓縮檔並解壓縮,應能得到 work_crawler-master 目錄;這將是本工具將安裝的標的目錄,若有需要亦可將之改名。
  3. 下載 CeJS 安裝檔 _CeL.updater.node.js,另外儲存到本工具將安裝的標的目錄下。

本工具安裝的目錄看起來的樣子

  1. 命令行界面下,進到本工具安裝的目錄,執行命令以下載 CeJS 程式庫:
    node _CeL.updater.node.js
  2. 然後就能開始試用囉。
  3. 您可設定 work_crawler_loder.configuration.js 以指定下載的檔案要放置的標的目錄。
  4. 每次要更新到最新 CeJS 程式庫時,只要重新執行一次 CeJS 安裝檔即可。

GUI 設定視窗型態介面

若是您希望使用視窗型態介面,那麼您還需要安裝 Electron

  1. 請在命令行界面下,進到本工具安裝的目錄,執行命令以安裝 Electron 程式庫:
    npm install electron
  2. 在本工具安裝的目錄下,執行 start_gui_electron.shstart_gui_electron.bat

視窗型態介面

Normal installation 一般正常安裝方法

  1. Please see Node.js usage section at CeJS for detail.
  2. Setup _CeL.path.txt if necessary.
  3. Setup work_crawler_loder.configuration.js (see work_crawler_loder.js). 最後設定好設定檔 work_crawler_loder.configuration.js。例如指定 global.data_directory

Execution 執行

所有操作都必須進到工具檔所在的目錄,在命令行界面下執行。

  1. 確認要下載的網站名與作品名。之後在命令行界面下,執行:

    node 工具檔名.js "作品名" [option=true]

    e.g.,

    cd comic.cmn-Hans-CN && node qq.js 狐妖小红娘 skip_error=true
    cd novel.cmn-Hans-CN && node 23us 斗罗大陆Ⅲ龙王传说
    cd comic.cmn-Hans-CN && node 2manhua 大主宰 recheck=true
    cd comic.cmn-Hans-CN && node ikanman l=ikanman.txt recheck=true
    cd novel.cmn-Hans-CN && echo "via id" && node 630book 267
    cd novel.ja-JP       && node yomou 転生したらスライムだった件
  2. 下載的檔案將放在設定檔 work_crawler_loder.configuration.jsglobal.data_directory 所設定的目錄下。若採懶人安裝法,則預設放在解壓縮後工具檔所在的目錄下。

  3. 若是下載出錯,重新執行即可接續下載

Workflow 工作流程

本工具將把所指定的漫畫下載至特定目錄中(預設為工具檔名,如 manhuatai),每套漫畫一個目錄。 folder

folder inside work

folder inside chapter

接續下載時,將從上次的進度(最後下載的章節)接著下載。

接續下載

若是下載小說,最後將包裝成 可匯入 calibre 的 epub。

小說 → epub list

小說 → epub

Note 附注

  • 熟練後,一般約需2至4小時新增或更新一網站的下載工具,以達初步可用狀態。
  • 小說作品採用單線程下載,以避免對網站造成過度的負荷。漫畫作品則以章節為單位多線程下載,每個章節的圖片下載完畢之後,再接著下一個章節。

Purpose 公開目的

  • 示範如何使用 CeJS線上作品程式庫 (module) 批量下載各線上小說漫畫網站。
  • 展示程式撰寫當時,各線上小說漫畫網站之網站資料結構。
  • 提供離線瀏覽小說漫畫功能,以利個人化閱覽方式。增進閱覽體驗、掌控閱覽環境。
  • 增加對閱讀權的掌控能力,預防數十年後找不到記憶中閱覽過的作品。

非常歡迎提供使用意見與改善建議

Announce 聲明

  • 本工具僅供同好學習和研究,嚴禁傳播或用於任何商業、非法用途!請小心利用本工具。所下載或備分之內容版權屬原作者所有,請勿公開散布傳播。利用本工具可能引起的任何糾紛或損失損害,本人恕不負責。
  • 各線上作品網站往往不時更改結構,同時造成本工具無法作動;因此若是有無法正常運作的情況請見諒,這通常得要更改原始碼方能回復正常。

Uninstallation 移除

  • 要移除本工具,只需將解壓縮後工具檔所在的目錄整個刪除即可。
  • 作品下載的標的目錄(存放圖片檔與紀錄檔的目錄)需另外手動刪除。

About

小說漫畫批量下載工具:腾讯漫画 哦漫画 看漫画 漫画台 汗汗酷漫 爱漫画 网易漫画 快看漫画 733动漫网 动漫之家 古风漫画网;アルファポリス カクヨム ハーメルン 小説家になろう 八一中文网 顶点小说 卡提諾論壇→epub. Download online novels, comics.


Languages

Language:JavaScript 97.6%Language:CSS 1.4%Language:HTML 0.6%Language:Batchfile 0.3%Language:Shell 0.1%