WordPress网站太卡?试试屏蔽拦截垃圾蜘蛛抓取

- 作者:小小课堂网 - 阅 398

WordPress网站太卡怎么办?WordPress是动态的网站,用户每次访问都需要消耗服务器资源,导致很多WordPress网站流量做起来之后,就会变得非常卡顿,耗费CPU和内存的量比较大,服务器经常爆红。今天,小小课堂SEO自学网(xxkt.og.cn)分享的内容为《WordPress网站太卡?试试屏蔽拦截垃圾蜘蛛抓取》。希望对大家有所帮助。

一、WordPress性能

为了提高WordPress性能,小小课堂网做过很多尝试总结一下:

1、服务器

服务器为4核8G5M,流量只要不是太集中,对于日均万ip足够了,服务器是最重要的基础,如果是2核4G3M的服务器感觉可能就有点不够用了,大家可以根据自己网站的流量情况选择一个比较合适的服务器。

2、服务器系统

如果是流量较高的话,大家比较建议的都是选用linux系统,windows系统采用iis的话会比较慢,而且就资源占用方面,linux系统更是比较好,虽然很多人说,取消windows图形界面会跟linux性能差不都,但是没几个真正去取消的。

3、web服务器

linux比较建议的是nginx,延迟比较短。

4、gzip压缩

开启gzip开启压缩传输。

5、主题

WordPress主题优化其实就是网站代码优化,页面布局不能过多,否则可能会影响加载速度,尽量精简网站代码,只要对网站无疑的代码全部精简掉。

6、CDN

CDN是大网站基本都要用的东西,可以让网站速度更快。但是一般小网站就没必要用了,因为用了反而网站加载速度会变慢。

7、对象存储OSS

对象存储OSS可以把错误博客的所有的图片放到OSS上,其实就是服务商的服务器上,速度非常快,但是使用起来太贵了不建议,之前也提过,这种图片还可以放到另外一台服务器上,可能速度慢一点,但是省钱。

8、升级配置与负载均衡

不管是腾讯云,还是阿里云,升级配置的价格都太高。至于负载均衡的费用就更高了,没什么收益的小破站点还是别用了。

二、拦截垃圾蜘蛛抓取

对于蜘蛛抓取这块,小小课堂网发现还有人想通过robots.txt协议来控制蜘蛛抓取,别天真了,这玩意没几个蜘蛛会遵守,尤其是那些垃圾蜘蛛。正常情况下都是采用web服务器来控制,比如nginx的防止垃圾蜘蛛抓取的代码如下:

#禁止垃圾蜘蛛抓取
if ($http_user_agent ~* (SemrushBot|python|Linespider|crawler|DingTalkBot|simplecrawler|ZoominfoBot|zoombot|Neevabot|coccocbot|Facebot|YandexBot|Adsbot|DotBot|Applebot|DataForSeoBot|MJ12bot|BLEXBot|trendictionbot0|trendictionbot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup)) { return 444;
}

WordPress网站太卡

代码里面的这些蜘蛛基本上都是无用蜘蛛,很多事营销型蜘蛛如AhrefsBot,还有一些是对网站没啥用的蜘蛛如Facebot、Applebot等。但是一些搜索引擎蜘蛛千万不要屏蔽了,不然就别想网站被收录了。

头条:Bytespider头条蜘蛛

谷歌:Googlebot搜索引擎http://www.google.com/bot.html

神马:YisouSpider搜索引擎https://zhanzhang.sm.cn/open/spider

百度:Baiduspider搜索引擎http://www.baidu.com/search/spider.htm

头条:Bytespider 头条引擎

搜狗:sogou spider 搜索引擎 http://www.sogou.com/docs/help/webmasters.htm#07

必应:bingbot搜索引擎http://www.bing.com/webmaster/help/which-crawlers-does-bing-use-8c184ec0

360:360Spider搜索引擎http://www.haosou.com/help/help_3_2.html

soso:Sosospider搜索引擎http://help.soso.com/webspider.htm

雅虎:Yahoo!搜索引擎http://help.yahoo.com/help/us/ysearch/slurp

以上就是小小课堂SEO自学网(xxkt.og.cn)分享的内容为《WordPress网站太卡?试试屏蔽拦截垃圾蜘蛛抓取》。感谢您的阅读。

扩展内容

屏蔽某个IP或IP段

如果网站被恶意灌水或CC攻击,可从网站日志中分析特征IP,将其IP或IP段进行屏蔽。

#屏蔽192.168.5.23这个IPdeny 192.168.5.23;#屏蔽192.168.5.* 这个段denu 192.168.5.0/24;

再次强调,修改nginx配置之前务必做好备份,修改完毕后需要重载一次nginx,否则不会生效。

上面大部分规则返回444状态码而不是403,因为444状态码在nginx中有特殊含义。nginx的444状态是直接由服务器中断连接,不会向客户端再返回任何消息,比返回403更加暴力。若有不足还请补充和指正。

本文最后一次更新时间:2022年4月23日

本文《WordPress网站太卡?试试屏蔽拦截垃圾蜘蛛抓取》由小小课堂网整理或原创,侵删,欢迎转载并保留版权:https://xxkt.org.cn/ 感谢您的阅读。

本站提供SEO培训、咨询、诊断,QQ:2216876660 微信:huowuyan 公众号:小小课堂网

标签:

相关文章!
error: Content is protected !!