WordPress网站太卡?试试屏蔽拦截垃圾蜘蛛抓取
- 作者:小小课堂网 - 阅 884WordPress网站太卡怎么办?WordPress是动态的网站,用户每次访问都需要消耗服务器资源,导致很多WordPress网站流量做起来之后,就会变得非常卡顿,耗费CPU和内存的量比较大,服务器经常爆红。今天,小小课堂SEO自学网(xxkt.og.cn)分享的内容为《WordPress网站太卡?试试屏蔽拦截垃圾蜘蛛抓取》。希望对大家有所帮助。
一、WordPress性能
为了提高WordPress性能,小小课堂网做过很多尝试总结一下:
1、服务器
服务器为4核8G5M,流量只要不是太集中,对于日均万ip足够了,服务器是最重要的基础,如果是2核4G3M的服务器感觉可能就有点不够用了,大家可以根据自己网站的流量情况选择一个比较合适的服务器。
2、服务器系统
如果是流量较高的话,大家比较建议的都是选用linux系统,windows系统采用iis的话会比较慢,而且就资源占用方面,linux系统更是比较好,虽然很多人说,取消windows图形界面会跟linux性能差不都,但是没几个真正去取消的。
3、web服务器
linux比较建议的是nginx,延迟比较短。
4、gzip压缩
开启gzip开启压缩传输。
5、主题
WordPress主题优化其实就是网站代码优化,页面布局不能过多,否则可能会影响加载速度,尽量精简网站代码,只要对网站无疑的代码全部精简掉。
6、CDN
CDN是大网站基本都要用的东西,可以让网站速度更快。但是一般小网站就没必要用了,因为用了反而网站加载速度会变慢。
7、对象存储OSS
对象存储OSS可以把错误博客的所有的图片放到OSS上,其实就是服务商的服务器上,速度非常快,但是使用起来太贵了不建议,之前也提过,这种图片还可以放到另外一台服务器上,可能速度慢一点,但是省钱。
8、升级配置与负载均衡
不管是腾讯云,还是阿里云,升级配置的价格都太高。至于负载均衡的费用就更高了,没什么收益的小破站点还是别用了。
二、拦截垃圾蜘蛛抓取
对于蜘蛛抓取这块,小小课堂网发现还有人想通过robots.txt协议来控制蜘蛛抓取,别天真了,这玩意没几个蜘蛛会遵守,尤其是那些垃圾蜘蛛。正常情况下都是采用web服务器来控制,比如nginx的防止垃圾蜘蛛抓取的代码如下:
#禁止垃圾蜘蛛抓取
if ($http_user_agent ~* (SemrushBot|python|Linespider|crawler|DingTalkBot|simplecrawler|ZoominfoBot|zoombot|Neevabot|coccocbot|Facebot|YandexBot|Adsbot|DotBot|Applebot|DataForSeoBot|MJ12bot|BLEXBot|trendictionbot0|trendictionbot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup)) { return 444;
}
代码里面的这些蜘蛛基本上都是无用蜘蛛,很多事营销型蜘蛛如AhrefsBot,还有一些是对网站没啥用的蜘蛛如Facebot、Applebot等。但是一些搜索引擎蜘蛛千万不要屏蔽了,不然就别想网站被收录了。
头条:Bytespider头条蜘蛛
谷歌:Googlebot搜索引擎http://www.google.com/bot.html
神马:YisouSpider搜索引擎https://zhanzhang.sm.cn/open/spider
百度:Baiduspider搜索引擎http://www.baidu.com/search/spider.htm
头条:Bytespider 头条引擎
搜狗:sogou spider 搜索引擎 http://www.sogou.com/docs/help/webmasters.htm#07
必应:bingbot搜索引擎http://www.bing.com/webmaster/help/which-crawlers-does-bing-use-8c184ec0
360:360Spider搜索引擎http://www.haosou.com/help/help_3_2.html
soso:Sosospider搜索引擎http://help.soso.com/webspider.htm
雅虎:Yahoo!搜索引擎http://help.yahoo.com/help/us/ysearch/slurp
以上就是小小课堂SEO自学网(xxkt.og.cn)分享的内容为《WordPress网站太卡?试试屏蔽拦截垃圾蜘蛛抓取》。感谢您的阅读。
扩展内容
屏蔽某个IP或IP段
如果网站被恶意灌水或CC攻击,可从网站日志中分析特征IP,将其IP或IP段进行屏蔽。
#屏蔽192.168.5.23这个IPdeny 192.168.5.23;#屏蔽192.168.5.* 这个段denu 192.168.5.0/24;
再次强调,修改nginx配置之前务必做好备份,修改完毕后需要重载一次nginx,否则不会生效。
上面大部分规则返回444状态码而不是403,因为444状态码在nginx中有特殊含义。nginx的444状态是直接由服务器中断连接,不会向客户端再返回任何消息,比返回403更加暴力。若有不足还请补充和指正。
本文最后一次更新时间:2022年4月23日
随机文章
5118大数据平台是做什么的(5118大数据平台官网)
CentOS系统磁盘扩容(阿里云linux服务器磁盘扩容)
php读取txt文件内容(php每次读取txt一行数据)
WordPress多站点网络配置(一台服务器安装多WordPress站点)
小小课堂SEO培训(中关村在线是如何运营的)
小小课堂SEO培训(百度优化服务)
小小课堂SEO自学网(百度打击采集网站)
怎么优化快照(360搜索快照更新 360搜索快照不更新怎么办)
本文《WordPress网站太卡?试试屏蔽拦截垃圾蜘蛛抓取》由小小课堂网整理或原创,侵删,欢迎转载并保留版权:https://xxkt.org.cn/ 感谢您的阅读。
本站提供SEO培训、咨询、诊断,QQ:2216876660 微信:huowuyan 公众号:小小课堂网
标签:WordPress,wordpress太卡,wordpress太慢,wordpress很卡,wordpress很慢,垃圾蜘蛛,屏蔽垃圾蜘蛛抓取,拦截垃圾蜘蛛