联系电话：
0551-62838121 / 18256961507
电子邮箱：
xgx0551@126.com
公司地址：
安徽省合肥市蜀山区春天大厦2403

庐阳区庐阳中科大校友创新园1号楼319室

多一份参考，总有益处

告诉我们您的需求，免费获得专属《策划方案》及报价

因为您的信任，最终我们成为了朋友

怎么称呼？
您的手机？
您的邮箱？
您的需求？

感知行业变化
真正洞悉社会需求

首页 > 资讯 > 常见问题

公司新闻

行业观点

常见问题

重复收录新闻栏目页，是蜘蛛抓取的链接是重复累加的链接吗？

发布时间：2024-10-12

1、蜘蛛一直抓取的URL，是否有通道，如果有通道，这就是URL规划存在问题；

2、如果这个URL，是不存在URL，那么势必是需要返回码变404，做死链接提交删除，返回码404，后期蜘蛛也不会再抓取；

3、Robots封禁，只能是用robots文件，再网页里面写的代码不管用，用robots，你封禁那个页面，写好就行，能测试是否已封禁，如果害怕误封禁某个页面，可以在站长平台robots哪里进行测试，随时可调整；

4、屏蔽admin，，这种无影响；

5、首先要确保前端没有给蜘蛛留不想被抓取爬行的页面URL通道，其次robots问题，可操作后去检测下。

上一篇

返回

下一篇

最新资讯

多一份参考，总有益处

告诉我们您的需求，免费获得专属《策划方案》及报价

因为您的信任，我们成为了朋友

服务热线

18256961507

获取定制化专属方案

微信在线咨询