亚洲美女视频高清在线看_97成人免费_久久a视频好日子_善良的小峓子韩国bd中文_日韩在线看免费高清完整版

第一、robots.txt 放置位置

robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。舉例來說，當(dāng)spider訪問一個網(wǎng)站(比如http://www.11g56c.cn)時，首先會檢查該網(wǎng)站中是否存在http://www.11g56c.cn/robots.txt這個文件，如果Spider找到這個文件，它就會根據(jù)這個文件的內(nèi)容，來確定它訪問權(quán)限的范圍。

第二、robots.txt 格式

文件包含一條或更多的記錄，這些記錄通過空行分開(以CR,CR/NL, or NL作為結(jié)束符)，每一條記錄的格式如下所示：”:”。在該文件中可以使用#進行注解。該文件中的記錄通常以一行或多行User-agent開始，后面加上若干Disallow和Allow行。

第三、robots.txt 語法與寫法

1、User-agent:

該項的值用于描述搜索引擎robot的名字。在”robots.txt”文件中，如果有多條User-agent記錄說明有多個robot會受到”robots.txt”的限制，對該文件來說，至少要有一條User-agent記錄。 如果該項的值設(shè)為*，則對任何robot均有效，在”robots.txt”文件中，”User-agent:*”這樣的記錄只能有一條。如果在”robots.txt”文件中，加入”User- agent:SomeBot”和若干Disallow、Allow行，那么名為”SomeBot”只受到”User-agent:SomeBot”后面的 Disallow和Allow行的限制。 Disallow: 該項的值用于描述不希望被訪問的一組URL，這個值可以是一條完整的路徑，也可以是路徑的非空前

綴，以Disallow項的值開頭的URL不會被robot訪問。例 如”Disallow: /help”禁止robot訪問/help*.html、/help/index.html， 而”Disallow: /help/”則允許robot訪問/help*.html，不能訪

問/help/index.html。

2、Disallow:
說明允許robot訪問該網(wǎng)站的所有url，在”/robots.txt”文件中，至少要有一條Disallow記錄。如果”/robots.txt”不存在或者為空文件，則對于所有的搜索引擎robot，該網(wǎng)站都是開放的。

3、Allow:

該項的值用于描述希望被訪問的一組URL，與Disallow項相似，這個值可以是一條完整的路徑，也可以是路徑的前綴，以Allow項的值開頭的URL是允許robot訪問的。例如”Allow:/hibaidu”允許robot訪問/hibaidu.htm、/hibaiducom.html、 /hibaidu/com.html。一個網(wǎng)站的所有URL默認是Allow的，所以Allow通常與Disallow搭配使用，實現(xiàn)允許訪問一部分網(wǎng)頁同時禁止訪問其它所有URL的功能。

需要特別注意的是Disallow與Allow行的順序是有意義的，robot會根據(jù)第一個匹配成功的 Allow或Disallow行確定是否訪問某個URL。

使用”*”和”$”： Baiduspider 支持使用通配符”*”和”$”來模糊匹配url。 “$” 匹配行結(jié)束符。 “*” 匹配0或多個任意字符。

第四、robots.txt文件用法舉例：

1. 允許所有的robot訪問

User-agent: * Allow: / 或者 User-agent: * Disallow:

2. 禁止所有搜索引擎訪問網(wǎng)站的任何部分

User-agent: *

Disallow: /

3. 僅禁止Baiduspider訪問您的網(wǎng)站

User-agent: Baiduspider

Disallow: /

4. 僅允許Baiduspider訪問您的網(wǎng)站

User-agent: Baiduspider

Disallow:

5. 禁止spider訪問特定目錄

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~joe/

6. 允許訪問特定目錄中的部分url

User-agent: *

Allow: /cgi-bin/see

Allow: /tmp/hi

Allow: /~joe/look

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~joe/

7. 使用”*”限制訪問url

禁止訪問/cgi-bin/目錄下的所有以”.htm”為后綴的URL(包含子目錄)。

User-agent: *

Disallow: /cgi-bin/*.htm

8. 使用”$”限制訪問url

僅允許訪問以”.htm”為后綴的URL。

User-agent: *

Allow: .htm$

Disallow: /

例9. 禁止訪問網(wǎng)站中所有的動態(tài)頁面

User-agent: *

Disallow: /*?*

10. 禁止Baiduspider抓取網(wǎng)站上所有圖片

僅允許抓取網(wǎng)頁，禁止抓取任何圖片。

User-agent: Baiduspider

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

11. 僅允許Baiduspider抓取網(wǎng)頁和.gif格式圖片

允許抓取網(wǎng)頁和gif格式圖片，不允許抓取其他格式圖片

User-agent: Baiduspider

Allow: .gif$

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .png$

Disallow: .bmp$

12. 僅禁止Baiduspider抓取.jpg格式圖片

User-agent: Baiduspider

Disallow: .jpg$