网站优化如何制作robots.txt文件

1.搜索引擎蜘蛛在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件。robots.txt文件作用是禁止搜索引擎抓取网站中某些内容。文件名必须是robots.txt（小写字母）。存放位置必须在空间根目录下，百度的robots.txt文件允许百度蜘蛛抓取网站部分页面。如网站允许抓取所有文件，可以不需要使用此文件。

2.User-agent：制定规则适用于哪个蜘蛛。“*”代表所有搜索引擎。针对某个搜索引擎，则写该搜索引擎蜘蛛名称。

3.Disallow：告诉蜘蛛不要抓取哪些文件和目录。

例如上图淘宝robots.txt所示禁止百度搜索引擎抓取所有网页，代码如下：

User-agent: Baiduspider

Disallow: /

Disallow还可以表示允许抓取所有文件，代码如下：

User-agent: Baiduspider

Disallow:

注意：两段代码只差了一个斜杠“/”，但是意思是完全相反，切记。

4.Disallow禁止具体某个文件或目录，则写出该文件的绝对地址，不带域名。代码如下。意为禁止百度搜索引擎抓取http://www.xxx.com/ web/abc/xxx.html文件。
User-agent: Baiduspider
Disallow：/web/abc/xxx.html

5.Disallow禁止多个文件，需分行描述。禁止同一类型网址网页，则可以使用通配符。代码如下，意为禁止百度搜索引擎抓取网址是以http://www.***com/index.php?开头的网页文件，和以http://www.***.com/ pop/开头并以.html结尾的文件。同时还禁止抓取JPG图片。“*”代表任意字符。$代表行结束符。
User-agent: Baiduspider
Disallow: /index.php?*
Disallow: /pop/*.html
Disallow: /*.jpg$

6.Allow：告诉蜘蛛应该抓取哪些文件和目录。

Sitemap：告诉蜘蛛XML网站地图在哪里。代码如下，允许所有的搜索引擎访问，并告知网站地图地址，网站地图域名为全网址出现。

User-agent: *

allow:http://www.***.com/1.html

Sitemap: http://www.***.com/sitemap.xml