黑产 梯子 黑产 黑产
黑产 黑产 黑产 黑产

自用的wordpress robots.txt

  分类: 网络   浏览: [ 451 ] 次

    自己的另一个网站最近流量有点下滑,所以重新写了一下 关键词、标题和描述,近期观察看一下流量吧,毕竟辛苦做好的站别人跟你争关键字流量谁心里都不好受,以前一直关键词第一没什么危机感,这次流量下滑就开始有点不舒服了..

    好了文要对题,再更新网站的过程中,顺便更新了一下robots.txt,这个robots呢,是搜索引擎的蜘蛛协议,用于告诉蜘蛛哪些内容可以抓取,哪些不可以,而且robots是蜘蛛来到网站看到的第一个文件,所以对于seo来说是很重要的。

    下面就是我使用的wordpress的robots (用法:新建一个名为robots.txt的纯文本把下列内容粘贴进去,上传到网站根目录)

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /*?replytocom=*
Disallow: /tag/
Disallow: /feed
Disallow: /comments/feed
Disallow: /wp-
Disallow: /comments
Disallow: /*?replytocom*
Disallow: /?s=*
Disallow: /*/?s=*
Disallow: /?p=*
Allow: /wp-content/uploads/
Sitemap: http://domain.com/sitemap.xml


-----------------分割线------------------------

详细说一下这三个经常用到的命令

Disallow: 即是不抓取,禁止蜘蛛访问

Allow: 允许访问的

Sitemap: 告诉蜘蛛你的sitemap 位置路径





标签: 网站 建站 seo

发表评论: