怎么设置网站robots(robots优化WordPress与dedecms)

2018.03.07 - 作者:小小课堂网 - 阅 7,567 推荐

怎么设置网站robots？在《robots.txt文件规则》，小小课堂网讲述了robots的基础知识，相信大家都已经知道robots是可以控制搜索引擎的蜘蛛抓取网站内容的文件，那么它的效果是什么呢？当然是便于我们做SEO优化。今天，小小课堂网（ xxkt.org.cn ）为大家带来的是《怎么设置网站robots(robots优化WordPress与dedecms)》。希望对大家有所帮助。

一、robots优化WordPress博客

基本的WordPress的robots协议如下：

User-agent: *  这里的*代表的所有的搜索引擎种类，*是一个通配符

Disallow: /feed/  这里定义是禁止爬寻feed

Disallow: /*/feed 这里定义是禁止爬寻文章或栏目feed

Disallow: /trackback/  这里定义是禁止爬寻trackback目录下面的目录

Disallow: /wp-admin/  这里定义是禁止爬寻wp-admin目录下面的目录

Disallow: /wp-content/  这里定义是禁止爬寻wp-content目录下面的目录

Disallow: /wp-includes/  这里定义是禁止爬寻wp-includes目录下面的目录

Disallow: /xmlrpc.php  这里定义是禁止爬寻xmlrpc.php文件

Disallow: /wp-  这里定义是禁止爬寻wp-目录下面的内容

Allow: /wp-content/uploads/  这里定义是禁止爬寻admin目录下面的目录

Sitemap: http://xxkt.org.cn/sitemap.xml  这里定义是禁止爬寻admin目录下面的目录

将以上内容另存到文本文档里，命名为robots.txt上传到服务器的网站根目录下。

二、robots优化dedecms织梦企业网站

基本的dedecms的robots协议如下：

User-agent: *

Disallow: /dede 管理后台目录，需要改名，具体设置后面具体讲

Disallow: /include 程序核心文件目录

Disallow: /member 会员管理目录，有些文件可以开放

Disallow: /plus 插件及辅助功能目录，有些文件可以开放，如search.php

Disallow: /templets 默认模板存放目录

Disallow: /data 系统缓存或其它可写入数据存放目录

Disallow: /uploads 上传下载文件保存目录,不想搜索引擎引用图片的话，禁止

Disallow: /images 系统默认模板图片存放目录

Disallow: /index.php 网站默认首页，静态化的话，最好禁止

Disallow: /404.html

Allow: /plus/search.php 开放禁止目录里的具体文件