網(wǎng)站避免蜘蛛爬行隱秘文件之robots.txt爬行語法規(guī)則

[重要通告]如您遇疑難雜癥,本站支持知識付費(fèi)業(yè)務(wù),掃右邊二維碼加博主微信,可節(jié)省您寶貴時間哦!

網(wǎng)站避免蜘蛛爬行隱秘文件之robots.txt爬行語法規(guī)則
================================
網(wǎng)站蜘蛛robots.txt爬行語法規(guī)則如下哈：
robots.txt語法其實(shí)很簡單，robots.txt是一個最簡單的.txt文件，
用以告訴搜索引擎哪些網(wǎng)頁可以收錄，哪些不允許收錄。
那今天本博客就先為大家介紹robots.txt語法基礎(chǔ)知識，
然后再提供幾個經(jīng)常要用到的robots.txt語法例子給朋友們參考。
robots.txt語法規(guī)則
最簡單的 robots.txt 語法使用兩條規(guī)則：
　　User-Agent: 后面為搜索機(jī)器人的名稱，后面如果是*，則泛指所有的搜索機(jī)器人
　　Disallow: 限制搜索引擎不能訪問網(wǎng)站中的哪些部分，Disallow后可以寫目錄名，文件擴(kuò)展名，特定的程序文件結(jié)構(gòu)。
robots.txt語法示例
讓所有機(jī)器人訪問所有文件(通配符”*”表示所有的意思)
1、攔截所有的機(jī)器人訪問網(wǎng)站
User-agent: *
Disallow: /
2、禁止所有機(jī)器人訪問特定目錄：
User-agent: *
Disallow: /public/
Disallow: /images/
Disallow: /temp/
Disallow: /include/
3、禁止特定搜索引擎蜘蛛訪問特定目錄(這里我們以百度蜘蛛為例說明)
User-agent: Baiduspider
Disallow: /test/
上面的robots.txt語法示例的意思是禁止百度蜘蛛爬行根目錄下的test目錄
4、僅禁止Baiduspider抓取.jpg格式圖片的robots.txt語法
User-agent: Baiduspider
Disallow: .jpg$
大家在學(xué)習(xí)robots.txt語法時,可能會感到納悶的是:有那么多搜索引擎，那我不是要知道所有搜索引擎蜘蛛的名字。并不是這樣的，我們只要知道常見的搜索引擎名字就可以了。下面就帶大家來認(rèn)識幾大個搜索引擎蜘蛛名稱。
1、Google爬蟲名稱: Googlebot
2、百度（Baidu）爬蟲名稱：Baiduspider
3、雅虎（Yahoo）爬蟲名稱：Yahoo Slurp
4、有道（Yodao）蜘蛛名稱：YodaoBot
5、搜狗（sogou）蜘蛛名稱：sogou spider
6、MSN的蜘蛛名稱(微軟最新搜索引擎Bing蜘蛛名也是這個)：Msnbot

問題未解決？付費(fèi)解決問題加Q或微信 2589053300 (即Q號又微信號)右上方掃一掃可加博主微信

所寫所說，是心之所感，思之所悟，行之所得；文當(dāng)無敷衍，落筆求簡潔。 以所舍，求所獲；有所依，方所成！