シェルスクリプト書かれた主要省庁と都道府県のWebサイトを収集し分類するシステム
このスクリプトを実行するとかなりのディスク容量を消費します
sudo apt install make wget jq nginx fcgiwrap squid
cp nginx_config /etc/nginx/site-available/
ln -s /etc/nginx/site-available/nginx_config /etc/nginx/site-enabled/nginx_config
sudo service nginx restart
cp -f squid.conf /etc/squid/
sudo service squid restart
cp .wgetrc ~/
brew install wget jq nginx fcgiwrap squid
$ brew install findutils
$ export PATH="/usr/local/opt/findutils/libexec/gnubin:$PATH"
$ brew install grep
$ export PATH="/usr/local/opt/grep/libexec/gnubin:$PATH"
$ brew install gnu-sed
$ export PATH="/usr/local/opt/gnu-sed/libexec/gnubin:$PATH"
$ make test
cd docker
docker build -t vscovid-crawler .
cd ..
docker run --rm -d -p 8080:80 -v $(pwd):/home/ubuntu/vscovid-crawler --entrypoint /home/ubuntu/vscovid-crawler/docker/entrypoint.sh -it vscovid-crawler