一般情況,網(wǎng)站的根目錄都會有一個robots.txt文件,是一個純文本文檔。那這個robots.txt文件是什么,有什么作用呢?臨沂網(wǎng)站建設(shè)公司為您做出以下分享。

robots基本介紹

robots.txt協(xié)議(也稱為爬蟲協(xié)議、爬蟲規(guī)則、機(jī)器人協(xié)議等。)主要用于規(guī)范爬蟲抓取網(wǎng)頁。robots協(xié)議里面記錄著規(guī)則，爬蟲爬取后會按照規(guī)則爬取網(wǎng)站。簡單的理解，robots協(xié)議里面會告訴搜索引擎爬蟲，那些鏈接是允許爬取的，那些鏈接是不允許抓取的。

robots協(xié)議語法

robots協(xié)議的語法分為三個。分別是User-agent、Disallow、Allow。下面我們來一起了解下。

User-agent: 指的是那些搜索引擎執(zhí)行以下協(xié)議。如百度：User-agent: baiduspider。*號可以代表全部，代碼為：User-agent: *。

Disallow:指禁止抓取的意思。如語法：Disallow: /a ,就是禁止搜索引擎抓取帶有 /a 這個關(guān)鍵詞的鏈接。

Allow：指允許抓取的意思。通常默認(rèn)就是允許抓取，故很少會用到該命令。

Robots協(xié)議怎么用

1、當(dāng)網(wǎng)站中存在隱私頁面不想被搜索引擎抓取的時(shí)候，可以使用robots。

2、當(dāng)網(wǎng)站頁面存在多個鏈接的時(shí)候，可以用robots禁用一條，允許搜索引擎只收錄一條。（通常使用靜態(tài)url后，應(yīng)該屏蔽動態(tài)url）

以上就是臨沂網(wǎng)站建設(shè)公司為您做出的相關(guān)分享，希望能夠使您對此有更多的了解。