robots.txt，是一個給搜索引擎蜘蛛下指令的文本文件，用于SEO優(yōu)化。如果用對了，可以確保搜索引擎蜘蜘蛛正確抓取和索引你的網(wǎng)站頁面。如果用錯了，可能會對SEO排名和網(wǎng)站流量造成負(fù)面影響，那怎么設(shè)置robots.txt ，究竟有著怎樣的重要性，又該如何書寫呢？下面讓我們一起來了解一下。

Robots.txt文件的重要性

robots.txt是搜索引擎蜘蛛訪問網(wǎng)站時要查看的第一個文件，并且會根據(jù)robots.txt文件的內(nèi)容來爬行網(wǎng)站。在某種意義上說，它的一個任務(wù)就是指導(dǎo)蜘蛛爬行，減少搜索引擎蜘蛛的工作量。

當(dāng)搜索引擎蜘蛛訪問網(wǎng)站時，它會首先檢查該站點根目錄下是否存在robots.txt文件，如果該文件存在，搜索引擎蜘蛛就會按照該文件中的內(nèi)容來確定爬行的范圍；如果該文件不存在，則所有的搜索引擎蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面。

搜索引擎對網(wǎng)站派出的蜘蛛是有配額的，多大規(guī)模的網(wǎng)站放出多少蜘蛛。如果我們不配置robots文件，那么蜘蛛來到網(wǎng)站以后會無目的的爬行，造成的一個結(jié)果就是，需要它爬行的目錄，沒有爬行到，不需要爬行的，也就是我們不想被收錄的內(nèi)容卻被爬行并放出快照。所以robots文件對于我們做網(wǎng)站優(yōu)化來說具有很重要的影響。

網(wǎng)站沒有Robots.txt文件的弊端

如果網(wǎng)站中沒有robots.txt文件，則網(wǎng)站中的程序腳本、樣式表等一些和網(wǎng)站內(nèi)容無關(guān)的文件或目錄即使被搜索引擎蜘蛛爬行，也不會增加網(wǎng)站的收錄率和權(quán)重，只會浪費(fèi)服務(wù)器資源；搜索引擎派出的蜘蛛資源也是有限的，我們要做的應(yīng)該是盡量讓蜘蛛爬行網(wǎng)站重點文件、目錄，******限度的節(jié)約蜘蛛資源。

a.User-agent: 應(yīng)用下文規(guī)則的漫游器，比如Googlebot,Baiduspider等。

b.Disallow: 要攔截的網(wǎng)址,不允許機(jī)器人訪問。

c.Allow: 允許訪問的網(wǎng)址

d.“*” : 通配符—匹配0或多個任意字符。

e.“$” : 匹配行結(jié)束符。

f.“#” : 注釋—說明性的文字,不寫也可。

g.Googlebot: 谷歌搜索機(jī)器人(也叫搜索蜘蛛)。

h.Baiduspider: 百度搜索機(jī)器人(也叫搜索蜘蛛)。

i.目錄、網(wǎng)址的寫法:都以以正斜線 (/) 開頭。

如：Disallow:/

Disallow:/images/

Disallow:/admin/

Disallow:/css/