快捷搜索:  as  xxx  as and 2=2 --  as++aNd+8=8  as aNd 8=8  as and 1=1--  as and 1=1 --  as and 2=2-- SEO 上海SEO 网站优化 百度关键词排名优化 SEO优化 SEO外包服务 百度优化

robots.txt写法和作用

在《robots和noindex使用和区别》,我们已经介绍了简单的robots.txt写法,但很多朋友还是不太了解robots.txt究竟有什么用?

那么今天上海seo小编来详细讲解一下robots使用技巧。

robots.txt写法和作用

1、什么是Robots?

robots文件的使用相信很多站长都会比较熟悉,但是在细节上会有所疏忽,不是特别的精通。因为robots优化的相关信息搜索引擎并没有给出比较详尽的声明及运用方法,以及每个站长对于robots的需求不同等特点,导致robot的优化方式更加灵活善变,那么robots到底是什么呢?我们可以简单的理解为通过这个robots位于网站根目录的文件协议来告诉蜘蛛哪些是可以访问收录哪些是不可以访问收录的!当蜘蛛访问您的网站的时候他首先会先检测您的网站是否设置的有robots文件协议,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就会沿着链接抓取。

2、robots.txt作用:

为何要用robots.txt来屏蔽我们的部分网页拒绝搜索引擎抓取?比如:后台管理文件、程序脚本、附件、样式表文件、模板文件等等。

这些页面或文件被搜索引擎收录了,用户也看不了,多数需要口令或是权限才可以查看。既然这样,就不如用robots.txt告诉机器人集中注意力去收录我们的文章页面。增强用户体验,提升网站SEO优化效果。

3、Robots优化写作方法:

首先,我们来看一个robots.txt范例:

# robots .txt file from http://www.ingseo.com

#All robots will spider the domain

User-agent:.

Disallow:

以上文本表达的意思是允许所有的搜索机器人访问www.ingseo.com站点

下的所有文件。具体语法分析如下。

#后而文字为说明信息;

 User-agent后面为搜索机器人的名称,如果是“。”,则泛指所有的搜索机器人;

 Disallow后面是不允许访问的文件目录,如目录为空则不起任何禁止作用。

下而,列举一些robots.txt的具体用法。  允许所有的robot访问,格式如下:

User-agent:.

Disallow:

或者也可以建一个空robots.txt文件。

 禁止所有搜索引擎访问网站的任何部分,格式如下:

User-agent:.

Disallow:/

禁止所有搜索引擎访问网站的某几个部分,比如下例中禁止访问01, 02, 03

目录:

User-agent

Disallow:/aa/

Disallow:/bb/

Disallow:/cc/

禁止某个搜索引擎的访问,比如下例中的BadBot:

User-agent:BadBot

Disallow:/

只允许某个搜索引擎的访问,比如下例中的Crawler:

User-agent:Crawler

以上就是robots.txt写法和作用你学会了吗?

您可能还会对下面的文章感兴趣: