1、重构Sublist3r,优化原API模块中的缺陷,添加常用接口以及删除无用接口, 并使用Django框架写了个web可视化页面。
2、对搜索引擎的模块进行优化,在原有的进程中增加多线程,提高爬取效率。
本程序共集成以下API接口以及第三方搜索引擎:
- 网页搜索引擎(Bing,Baidu,Google(镜像))
- DNS历史记录查询 (bufferover,threatcrowd)
- 空间搜索引擎(Shodann,zoomeye,virustotal,threatminer)
- SSL证书(crt.sh,)
- 第三方查询接口 (ce.baidu.com,site.ip138.com)
3、集成lijiejie前辈的subDomainsBrute子域名爆破,优化协程兼容本程序。
4、对获取的子域名提取网页标题,添加masscan对获取子域名进行端口扫描。
~~5、将任务结果信息进行输出并使用SSL邮件服务器进行通知(部分vps限制smtp协议)。
自动化安装脚本(使用root权限运行):
bash update.sh
启动项目:
python3 manage.py runserver 0:0:0:0:8888
访问地址:http://ip:8888/index
# 安装环境爬坑记录:
yum install python3-devel
yum install gcc-c++
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
# 安装chrome-browser
wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm --no-check-certificate
sudo yum install google-chrome-stable_current_x86_64.rpm
# 安装chromedriver:一个用来和chrome交互的接口
sudo yum install chromedriver
如果系统没有这个安装包,则使用以下方法:
wget https://chromedriver.storage.googleapis.com/2.35/chromedriver_linux64.zip
unzip chromedriver_linux64.zip & mv chromedriver /usr/bin/ & chmod +x /usr/bin/chromedriver
# 安装masscan:
项目地址:https://github.com/robertdavidgraham/masscan
yum install git gcc make libpcap-devel
cd masscan && make &&cp /root/masscan/bin/masscan /bin
或者修改config.ini 中PATH的masscan_p 对应masscan绝对路径