如何降低谷歌蜘蛛的抓取频率和速度

SEO 蜘蛛谷歌文章 2022-09-13 22:29 1028  0 全屏看文

AI助手支持GPT4.0

今天又被蜘蛛把CPU和内存抓到了100%

我在nginx里限制蜘蛛后，发现adsense又报错了。

无奈又放开蜘蛛。

一下子又来了8488个。

无奈之下。我只能设置抓取频率了。

设置很简单。

打开网址（如果能访问）

https://www.google.com/webmasters/tools/settings

选择网址

点击“限制 Google 的最大抓取速度”

设置下频率，保存下即可

-EOF-

AI助手支持GPT4.0

原文出处:http://www.sanshu.cn/a/75799.html

您还可能感兴趣的文章

国内超级便宜服务器

摸鱼人热门新闻聚合

点我查看热门新闻聚合

钻级赞助商我要加入

开发者在线工具

开发者在线工具

第三方支付技术请加QQ群

开发工具

开发者工具 Java程序员常用链接

相关文章: 网站静态化和伪静态的区别; 网站最好给哪几个搜索引擎提交链接sitemap; 谷歌广告联盟(adsense)付款周期; 怎么判断请求是蜘蛛还是恶意的（附爬虫IP段）; Java调用百度push推送代码

随便看看: 教育科技公司申请微信支付被拒绝？ 4798; 微信公众号免300认证教程 5892; 小程序已经上线，作为管理员无法在小程序数据助手查看数据？ 5299; 小程序广告组件通过审核，但是小程序内没有显示广告？ 5067; 企业微信通讯录账号被管理员误/恶意删除，怎么办？ 9568; 问题？ 9047; 如何快速搭建抽奖助手小程序(无需代码知识) 6177; 许涛大哥在吗, 要解冻小程序的时候提示信息主体不一致, 能帮忙看下吗? 7471; 小程序搜一搜全称搜索不显示麻烦解决一下！谢谢 6792; 我的小程序广告收款主体是个体工商户，每个月邮寄两次发票很是麻烦，我年底的时候打包邮寄一次可以么？ 6126

友情链接

