robots.txt有什么作用（robots文件的作用与怎么写）

2019.03.23 - 作者:小小课堂网 - 阅 801 推荐

robots.txt有什么作用？很多人问过小小课堂SEO自学网，robots.txt文件到底有没有用？有什么用？大部分回复的是，细致优化的效果肯定会好一些，其意思是在某些网站上，可能不放robots.txt文件也无大碍，但是对于某些网站，可能会有不好的影响。

今天，小小课堂SEO自学网带来的是《robots.txt有什么作用（robots文件的作用与怎么写）》。希望对大家有所帮助。

robots.txt文件

一、不必要的页面被收录

小小课堂的几个站都采用了WordPress系统，恰巧这些问题都是从这些wp博客中出现的。

① 分页页面被收录

之前的小小课堂网建站之初，就出现过分页页面被收录的问题，过多的收录分页对网站优化没有任何意义，虽然在一定程度上Google会认为这种页面重复率过多，不予收录。参见以往教程《SEO优化网站分页页面被收录》。

这种情况通常URL中包含了page。

分页页面被收录

② feed 或 attachment等页面被收录

rss feed本来是方便人们订阅的，不过被收录就显得毫无意义了。这种页面的url中通常带有feed。

③ /?r= 或 /?s= 等页面被收录

同样的，这些页面也是毫无意义的，收录了过多这样的页面，必定对网站毫无意义。这个问题发生在前段时间弄的Anli网赚博客上。

/?r= 或 /?s= 等页面被收录

二、以上问题robots.txt文件解决

在robots.txt文件中添加一下命令即可解决该问题：

Disallow: /?s=*
Disallow: /?r=*
Disallow: /*/?s=*\
Disallow: /*/?r=*\

这里就不给出具体的WordPress robots.txt的整个文件信息了，因为小小课堂在操作robots.txt之后，发现出现的问题不统一，并且，这些robots.txt文件并不是可以试用每一个WordPress站，如果真的可以那样，小小课堂认为WordPress官方可能也会出一个自带的WordPress吧。

当然，除了添加这样一个robots.txt文件之外，最好还将那些被收录的页面全部提交快照删除。不过对于百度可以这样，对于搜狗搜索貌似有点无能为力，就好比之前的小小课堂一共1000多文章，收录却有10000多。

以上就是小小课堂SEO自学网带来的是《robots.txt有什么作用（robots文件的作用与怎么写）》。感谢您的阅读。

本文最后一次更新时间：2022年2月28日