FantasticLBP / Anti-WebSpider

Web 端反爬技术方案

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

404错误

HackBraid opened this issue · comments

你好,git下您的项目后,本地按照步骤搭建起来,发现报错了:

Server is runnig at http://127.0.0.1:8080/
url->/
404 undefined

你好,我想问下,这样的反爬虫技术。会影响搜索引擎的收录吗?

好的,谢谢您。

你好,git下您的项目后,本地按照步骤搭建起来,发现报错了:

Server is runnig at http://127.0.0.1:8080/
url->/
404 undefined

我代码偷懒了,未设置 index.html 页面,你可以运行 Node 服务后在浏览器输入 http://127.0.0.1:8080/Spider-develop/views/solution1.html 进行访问。进入开发者模式查看数据

你好,我想问下,这样的反爬虫技术。会影响搜索引擎的收录吗?

你说的影响是什么方面?这个反爬虫方案是对一些内容的安全控制。搜索引擎的做的事情是处理网站内容做一些预处理工作才可以提供检索服务。这些预处理工作是根据 网页内容、作者信息、描述、关键词等信息,而这些信息都是在 Header 里面的 meta 下。并不会影响搜索引擎的收录