Add robots.txt

Question

lord63 opened this issue 9 years ago · comments

lord63 · Answer 1 · Mon Oct 26 2015 10:52:55 GMT+0800 (China Standard Time)

主要原因是因为网站的图片都是缓存在自己 redis 那里的，不希望被爬虫爬，担心被玩坏 _(:3

lord63 · Answer 2 · Mon Oct 26 2015 10:54:33 GMT+0800 (China Standard Time)

在 nginx 配置文件里设置下就行了。

location /robots.txt {
    alias /Directory-containing-robots-file;
}

lord63 · Answer 3 · Mon Oct 26 2015 10:57:49 GMT+0800 (China Standard Time)

使用robots.txt阻止对网址的访问,还可以使用 G 娘提供的测试你的 robots.txt 规则的效果。