搜索優(yōu)化：robots的寫法

來源:SEO優(yōu)化 2012-06-07

快速提升網(wǎng)站銷量，使用365webcall免費(fèi)在線客服

robots的寫作在網(wǎng)站中起著非常重要的作用,她代表著能否被所有的搜索引擎抓取,在百度上有一個(gè)好的排名。下面我們一起來看一下關(guān)于robots的一些知識(shí)。

1. 什么是robots.txt文件?

搜索引擎使用spider程序自動(dòng)訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。spider在訪問一個(gè)網(wǎng)站時(shí),會(huì)首先會(huì)檢查該網(wǎng)站的根域下是否有一個(gè)叫做 robots.txt的純文本文件,這個(gè)文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中創(chuàng)建一個(gè)robots.txt,在文件中聲明 該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

2.常見蜘蛛形態(tài)

User-Agent:定義搜索引擎的類型· Disallow: 定義禁止搜索引擎收錄的地址 · Allow: 定義允許搜索引擎收錄的地址

案例:允許所有的蜘蛛抓取所有的頁面

User-agent: *Allow:/ /或者根目錄下放置robots.txt空文件

百度的蜘蛛形態(tài)

Baiduspider+(+$

Disallow: /

例10. 禁止訪問網(wǎng)站中所有的動(dòng)態(tài)頁面

User-agent: *

Disallow: /*?*

例11. 禁止Baiduspider抓取網(wǎng)站上所有圖片

僅允許抓取網(wǎng)頁,禁止抓取任何圖片。

User-agent: Baiduspider

Disallow: /*.jpg$

Disallow: /*.jpeg$

Disallow: /*.gif$

Disallow: /*.png$

Disallow: /*.bmp$

例12. 僅允許Baiduspider抓取網(wǎng)頁和.gif格式圖片

允許抓取網(wǎng)頁和gif格式圖片,不允許抓取其他格式圖片

User-agent: Baiduspider

Allow: /*.gif$

Disallow: /*.jpg$

Disallow: /*.jpeg$

Disallow: /*.png$

Disallow: /*.bmp$

例13. 僅禁止Baiduspider抓取.jpg格式圖片

User-agent: Baiduspider

Disallow: /*.jpg$

文章編輯: 365webcall在線客服系統(tǒng)(www.365webcall.com)

我的評(píng)論

登錄賬號(hào)：

密碼：

快速注冊(cè) | 找回密碼