Lodour / Weibo-Album-Crawler

A multiprocessing crawler for weibo albums.

Weibo Album Crawler

基于 Scrapy 的新浪微博爬虫，支持相册、视频等。

设置环境

conda create -n weibo python=3.10
conda activate weibo
pip install scrapy

配置爬虫

• weibo/settings.py

  • 并发请求数 CONCURRENT_REQUESTS
  • 视频下载目录 FILES_STORE

• weibo/configs.py

  • 生成配置文件 cp weibo/configs.example.py weibo/configs.py
  • 手动复制粘贴登录后的 cookies 至 COOKIES
  • 目标主页 TARGETS
  • 下载目录 STORE_PATH

运行

scrapy crawl image
scrapy crawl video