robots.txt有什么作用(robots文件的作用与怎么写)
- 作者:小小课堂网 - 阅 820 推荐robots.txt有什么作用?很多人问过小小课堂SEO自学网,robots.txt文件到底有没有用?有什么用?大部分回复的是,细致优化的效果肯定会好一些,其意思是在某些网站上,可能不放robots.txt文件也无大碍,但是对于某些网站,可能会有不好的影响。
今天,小小课堂SEO自学网带来的是《robots.txt有什么作用(robots文件的作用与怎么写)》。希望对大家有所帮助。
一、不必要的页面被收录
小小课堂的几个站都采用了WordPress系统,恰巧这些问题都是从这些wp博客中出现的。
① 分页页面被收录
之前的小小课堂网建站之初,就出现过分页页面被收录的问题,过多的收录分页对网站优化没有任何意义,虽然在一定程度上Google会认为这种页面重复率过多,不予收录。参见以往教程《SEO优化网站分页页面被收录》。
这种情况通常URL中包含了page。
② feed 或 attachment等页面被收录
rss feed本来是方便人们订阅的,不过被收录就显得毫无意义了。这种页面的url中通常带有feed。
③ /?r= 或 /?s= 等页面被收录
同样的,这些页面也是毫无意义的,收录了过多这样的页面,必定对网站毫无意义。这个问题发生在前段时间弄的Anli网赚博客上。
二、以上问题robots.txt文件解决
在robots.txt文件中添加一下命令即可解决该问题:
Disallow: /?s=*
Disallow: /?r=*
Disallow: /*/?s=*\
Disallow: /*/?r=*\
这里就不给出具体的WordPress robots.txt的整个文件信息了,因为小小课堂在操作robots.txt之后,发现出现的问题不统一,并且,这些robots.txt文件并不是可以试用每一个WordPress站,如果真的可以那样,小小课堂认为WordPress官方可能也会出一个自带的WordPress吧。
当然,除了添加这样一个robots.txt文件之外,最好还将那些被收录的页面全部提交快照删除。不过对于百度可以这样,对于搜狗搜索貌似有点无能为力,就好比之前的小小课堂一共1000多文章,收录却有10000多。
以上就是小小课堂SEO自学网带来的是《robots.txt有什么作用(robots文件的作用与怎么写)》。感谢您的阅读。
本文最后一次更新时间:2022年2月28日
随机文章
php如何连接mysql数据库(php连接mysql教程)
SEO文章怎么写更容易被收录(文章SEO的优化技巧有哪些)
临沂seo培训(谷歌提倡写好标题与页面描述)
免费网站SEO诊断(天津SEO优化诊断分析)
泛目录程序原理是什么(泛目录程序怎么用怎么做)
百度转码是什么意思(百度搜索资讯合作页)
莆田网站排名提升(什么是莆田系seo哪里可以学习seo)
选择关键词的方法有哪些(关键词的一般选择方法)
本文《robots.txt有什么作用(robots文件的作用与怎么写)》由小小课堂网整理或原创,侵删,欢迎转载并保留版权:https://xxkt.org.cn/ 感谢您的阅读。
本站提供SEO培训、咨询、诊断,QQ:2216876660 微信:huowuyan 公众号:小小课堂网
标签:robots,robots.txt,robotstxt协议文件,robots作用,robots怎么写,robots文件,WordPress,WordPress SEO,快速提高网站收录