电子商务网站建设教程(第二版)

动态网站并不值得担心，搜索引擎可以正常抓取动态链接，但利用robots文件可以轻松提高动态网站的抓取效率。我们都知道，robots协议石嘴山网站建设公司（也称为爬虫协议、机器人协议等）的全称是网络爬虫排除标准（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容。

百度官方是推荐所有的网站都使用robots文件，以便更好地利用蜘蛛的抓取。其实robots不仅仅是告诉搜索引擎哪些不能抓取，更是网站优化的重要工具之一。

robots文件实际上就是一个txt文件。其基本的写法如下：

User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符

Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录　

Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录　

Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录　

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。　安徽网站建设公司

Disallow: /*?* 禁止访问网站中所有的动态页面　

Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片　

Disallow:/ab/adc.html 禁止爬马鞍山网站建设公司取ab文件夹下面的adc.html文件。　

Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录　

Allow: /tmp 这里定义是允许爬寻tmp的整个目录　

Allow: .htm$ 仅允许访问以".htm"为后缀的URL。　

Allow: .gif$ 允许抓取网页和gif格式图片

在网站优化方面，利用robots文件告诉搜索引擎哪些是重要的内容，不重要的内容均推荐用robots文件来禁止抓取。不重要的内容的典型代表：网站的搜索结果页面。