thekips / media-crawler

A crawler to download pictures and video from popular sites, such as acfun, bilibili, instgram, karaoke, twitter and weibo. 一些常用社交网站的视频、图片的爬取脚本，支持A站、哔哩哔哩、图享、全民K歌、推特和新浪微博。

Media Crawler

一些常用社交网站的媒体资源（视频，图片）的爬取脚本

Support

英文名	中文名	爬取范围
acfun	A站	支持播放页URL的单视频爬取
bilibilii	哔哩哔哩	支持单个账号的所有视频爬取，支持单个bv号的所有视频爬取
instgram	图享	支持单个账号的所有图片和视频爬取
karaoke	全民K歌	支持单个账号的所有歌曲爬取
twitter	推特	支持单个账号的所有图片和视频爬取
weibo	新浪微博	支持单个账号的所有图片和视频爬取

Usage

• Python依赖：

  pip install -r requirements.txt

• 其他依赖：

  定位到想要爬取的网站对应的文件夹，填写该文件夹下的config.yaml中列举的所有字段。

  英文名	字段	额外依赖
  acfun		ffmpeg（添加到环境变量）
  bilibilii	cookie	ffmpeg（添加到环境变量）
  instgram	cookie
  karaoke
  twitter	cookie, x-csrf-token, authorization
  weibo	cookie

  提示：打开浏览器的开发者工具，在网络面板里查找与目标网站通信时的包记录，多找几个，可能在Request Headers中找到这些字段；填写字段的时候，填至冒号的一个空格后即可，不需要加双引号，如：

  cookie: you_cookie_str_without_quotation_mark

• 执行程序，根据提示输入想要爬取的账号ID或URL即可。

  # 将*替换成网站对应的英文名
  python *.py