關(guān)于購(gòu)物網(wǎng)站及網(wǎng)頁(yè)小游戲的robots協(xié)議

Robots協(xié)議（也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等）的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”（Robots Exclusion Protocol），網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。(百度百科)

  • 文件寫法
  • User-agent: * 這里的 * 代表的所有的搜索引擎種類， * 是一個(gè)通配符
  • Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄
  • Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
  • Allow: /cgi-bin/　這里定義是允許爬尋cgi-bin目錄下面的目錄
  • Allow: /tmp 這里定義是允許爬尋tmp的整個(gè)目錄
  • Sitemap: 網(wǎng)站地圖 告訴爬蟲這個(gè)頁(yè)面是網(wǎng)站地圖

購(gòu)物網(wǎng)站

亞馬遜中國(guó)

https://www.amazon.cn/robots.txt

  • User-agent: *
  • Disallow: /buycar
  • Disallow: /cart
  • Disallow: /checkout
  • Disallow: /class
  • Disallow: /com
  • Disallow: /common
  • Disallow: /css
  • Disallow: /dll
  • Disallow: /doc
  • Disallow: /dp/e-mail-friend/
  • Disallow: /dp/manual-submit/
  • Disallow: /dp/product-availability/
  • Disallow: /dp/rate-this-item/
  • Disallow: /dp/shipping/
  • Disallow: /dp/twister-update/
  • Disallow: /gp/aws/ssop
  • Disallow: /gp/cart
  • Disallow: /gp/css/homepage.html
  • Disallow: /gp/customer-reviews/common/du
  • Disallow: /gp/flex
  • Disallow: /gp/gfix
  • Disallow: /gp/history
  • Disallow: /gp/item-dispatch
  • Disallow: /gp/music/clipserve
  • Disallow: /gp/music/wma-pop-up
  • Disallow: /gp/offer-listing
  • Disallow: /gp/product/e-mail-friend
  • Disallow: /gp/product/product-availability
  • Disallow: /gp/product/rate-this-item
  • Disallow: /gp/recsradio
  • Disallow: /gp/slredirect
  • Disallow: /gp/twitter/
  • Disallow: /gp/vote
  • Disallow: /gp/voting/
  • Disallow: /gp/yourstore
  • Disallow: /inc
  • Disallow: /js
  • Disallow: /lib
  • Disallow: /mn/bookLookInsideApp
  • Disallow: /mn/checkInitApp
  • Disallow: /mn/checkoutAlertMsgApp
  • Disallow: /mn/checkoutredirectApp
  • Disallow: /mn/giftCardApp
  • Disallow: /mn/loginApplication
  • Disallow: /mn/loyaltyApp
  • Disallow: /mn/orderAddrApp
  • Disallow: /mn/orderCfmApp
  • Disallow: /mn/orderDetailApp
  • Disallow: /mn/orderFailApp
  • Disallow: /mn/orderHistoryApp
  • Disallow: /mn/orderModifyApp
  • Disallow: /mn/orderSummaryApp
  • Disallow: /mn/paymentRedriveApp
  • Disallow: /mn/recommendReviewApp
  • Disallow: /mn/releaseReviewApp
  • Disallow: /mn/reviewVoteApplication
  • Disallow: /mn/selectPaymentMethodApp
  • Disallow: /mn/selectShippingOpptionApplication
  • Disallow: /mn/shipmentTraceApp
  • Disallow: /mn/shoppingCartApplication
  • Disallow: /mn/tellFriend
  • Disallow: /mn/thankYouApplication
  • Disallow: /mn/virtualAccountApp
  • Disallow: /mn/yourAccountApp
  • Disallow: /paper
  • Disallow: /xml
  • Disallow: /youraccount
  • Disallow: /ap/signin
  • Disallow: /gp/registry/wishlist/
  • Disallow: /wishlist/
  • Allow: /wishlist/universal*
  • Allow: /wishlist/vendor-button*
  • Allow: /wishlist/get-button*
  • Disallow: /gp/wishlist/
  • Allow: /gp/wishlist/universal*
  • Allow: /gp/wishlist/vendor-button*
  • Allow: /gp/wishlist/ipad-install*
  • Disallow: /registry/wishlist/
  • Disallow: /gp/help/contact-us/general-questions.html*?type&email&skip=true
  • Disallow: /gp/help/customer/accessibility?ie=UTF8&initialIssue=forgotpw&skip=true
  • Disallow: /gp/registry/search.html
  • Disallow: /gp/orc/rml/
  • Disallow: /gp/digital/fiona/manage
  • Disallow: /gp/entity-alert/external
  • Disallow: /gp/customer-reviews/dynamic/sims-box
  • Disallow: /review/dynamic/sims-box
  • Disallow: /gp/redirect.html
  • Disallow: /gp/customer-media/upload/
  • Disallow: /gp/customer-media/actions/delete/
  • Disallow: /gp/customer-media/actions/edit-caption/
  • Disallow: /gp/dmusic/
  • Disallow: /registry
  • Disallow: /*/wishlist
  • Disallow: /gp/registry
  • Disallow: /gp/aag
  • Disallow: /gp/socialmedia/giveaways
  • Disallow: /gp/aw/so.html
  • Disallow: /gp/pdp/profile/
  • Disallow: /gp/help/customer/display.html*nodeId=200843370
  • Disallow: /gp/help/customer/display.html*nodeId=200877580
  • Disallow: /gp/help/customer/display.html*nodeId=200877590
  • Disallow: /gp/help/customer/display.html*nodeId=200879080
  • Disallow: /gp/help/customer/display.html*nodeId=200879100
  • Disallow: /gp/help/customer/display.html*nodeId=200879120
  • Disallow: /gp/help/customer/display.html*nodeId=200879160
  • Disallow: /gp/help/customer/display.html*nodeId=200879140
  • Disallow: /gp/help/customer/display.html*nodeId=200877610
  • Disallow: /gp/help/customer/display.html*nodeId=200878960
  • Disallow: /gp/help/customer/display.html*nodeId=200878980
  • Disallow: /gp/help/customer/display.html*nodeId=200879000
  • Disallow: /gp/help/customer/display.html*nodeId=200879040
  • Disallow: /gp/help/customer/display.html*nodeId=200879020
  • Disallow: /gp/help/customer/display.html*nodeId=200877630
  • Disallow: /gp/help/customer/display.html*nodeId=200879200
  • Disallow: /gp/help/customer/display.html*nodeId=200879220
  • Disallow: /gp/help/customer/display.html*nodeId=200879240
  • Disallow: /gp/help/customer/display.html*nodeId=200879280
  • Disallow: /gp/help/customer/display.html*nodeId=200879260
  • Disallow: /gp/help/customer/display.html*nodeId=200877650
  • Disallow: /gp/help/customer/display.html*nodeId=200879320
  • Disallow: /gp/help/customer/display.html*nodeId=200879340
  • Disallow: /gp/help/customer/display.html*nodeId=200879360
  • Disallow: /gp/help/customer/display.html*nodeId=200879400
  • Disallow: /gp/help/customer/display.html*nodeId=200879380
  • Disallow: /gp/help/customer/display.html*nodeId=200877560
  • Disallow: /gp/help/customer/display.html*nodeId=200843460
  • Disallow: /gp/help/customer/display.html*nodeId=200843440
  • Disallow: /gp/help/customer/display.html*nodeId=200899270
  • Disallow: /gp/help/customer/display.html*nodeId=200879440
  • Disallow: /gp/help/customer/display.html*nodeId=200899330
  • Disallow: /gp/help/customer/display.html*nodeId=200899350
  • Disallow: /gp/help/customer/display.html*nodeId=200899390
  • Disallow: /gp/help/customer/display.html*nodeId=200899410
  • Disallow: /gp/help/customer/display.html*nodeId=200899430
  • Disallow: /gp/help/customer/display.html*nodeId=200899220
  • Disallow: /gp/help/customer/display.html*nodeId=200899450
  • Disallow: /gp/help/customer/display.html*nodeId=200899670
  • Disallow: /gp/help/customer/display.html*nodeId=200899530
  • Disallow: /gp/help/customer/display.html*nodeId=200899470
  • Disallow: /gp/help/customer/display.html*nodeId=200899550
  • Disallow: /gp/help/customer/display.html*nodeId=200899570
  • Disallow: /gp/help/customer/display.html*nodeId=200899510
  • Disallow: /gp/help/customer/display.html*nodeId=200899610
  • Disallow: /gp/help/customer/display.html*nodeId=200899630
  • Disallow: /gp/help/customer/display.html*nodeId=200899650
  • Disallow: /gp/help/customer/display.html*nodeId=200879180
  • Disallow: /gp/help/customer/display.html*nodeId=200879060
  • Disallow: /gp/help/customer/display.html*nodeId=200879300
  • Disallow: /gp/help/customer/display.html*nodeId=200879420
  • Disallow: /gp/help/customer/display.html*nodeId=200899290
  • Disallow: /gp/help/customer/display.html*nodeId=200899310
  • Disallow: /gp/help/customer/display.html*nodeId=200843380
  • Disallow: /gp/help/customer/display.html*nodeId=200843420
  • Disallow: /gp/help/customer/display.html*nodeId=200899230
  • Disallow: /gp/help/customer/display.html*nodeId=200899250
  • Disallow: /gp/help/customer/display.html*nodeId=200899370
  • Disallow: /reviews/iframe
  • Disallow: /gp/help/reports/infringement/jquery/handle-notice-submit.html
  • Disallow: /gp/help/customer/handler/handle-email-submit.html

不可爬取的頁(yè)面中可顯示的頁(yè)面包括：購(gòu)物車，登錄，分類列表，個(gè)人賬戶頁(yè)面，購(gòu)物歷史記錄，官方信息，首頁(yè)，心愿單，聯(lián)系客服，聯(lián)系我們，我的電子書，幫助。

亞馬遜主要禁止抓取的內(nèi)容是一些商業(yè)信息以及用戶的個(gè)人信息，如今信息泄露現(xiàn)象越發(fā)普遍，作為一個(gè)線上購(gòu)物平臺(tái)保護(hù)用戶的隱私顯得尤為重要，這不僅是對(duì)用戶個(gè)人財(cái)產(chǎn)安全的保護(hù)，也是對(duì)用戶本身安全的保護(hù)。不過，同時(shí)，亞馬遜也存在一些允許爬取的內(nèi)容。

淘寶

https://www.taobao.com/robots.txt

  • User-agent: Baiduspider

  • Allow: /article

  • Allow: /oshtml

  • Allow: /wenzhang

  • Disallow: /product/

  • Disallow: /

  • User-Agent: Googlebot

  • Allow: /article

  • Allow: /oshtml

  • Allow: /product

  • Allow: /spu

  • Allow: /dianpu

  • Allow: /wenzhang

  • Allow: /oversea

  • Disallow: /

  • User-agent: Bingbot

  • Allow: /article

  • Allow: /oshtml

  • Allow: /product

  • Allow: /spu

  • Allow: /dianpu

  • Allow: /wenzhang

  • Allow: /oversea

  • Disallow: /

  • User-Agent: 360Spider

  • Allow: /article

  • Allow: /oshtml

  • Allow: /wenzhang

  • Disallow: /

  • User-Agent: Yisouspider

  • Allow: /article

  • Allow: /oshtml

  • Allow: /wenzhang

  • Disallow: /

  • User-Agent: Sogouspider

  • Allow: /article

  • Allow: /oshtml

  • Allow: /product

  • Allow: /wenzhang

  • Disallow: /

  • User-Agent: Yahoo! Slurp

  • Allow: /product

  • Allow: /spu

  • Allow: /dianpu

  • Allow: /wenzhang

  • Allow: /oversea

  • Disallow: /

  • User-Agent: *

  • Disallow: /

Baiduspider：百度蜘蛛，是百度搜索引擎的一個(gè)自動(dòng)程序。它的作用是訪問收集整理互聯(lián)網(wǎng)上的網(wǎng)頁(yè)、圖片、視頻等內(nèi)容，然后分門別類建立索引數(shù)據(jù)庫(kù)， 使用戶能在百度搜索引擎中搜索到您網(wǎng)站的網(wǎng)頁(yè)、圖片、視頻等內(nèi)容。(百度百科)

Googlebot:谷歌的網(wǎng)頁(yè)抓取機(jī)器人(百度百科)

Bingbot是必應(yīng)搜索引擎的爬蟲名稱，會(huì)在各個(gè)網(wǎng)站抓取內(nèi)容時(shí)候留下腳印。(百度貼吧)

現(xiàn)在，如果在百度里搜索淘寶網(wǎng)，會(huì)看到的結(jié)果是“由于該網(wǎng)站的robots.txt文件存在限制指令，系統(tǒng)無法提供該頁(yè)面的內(nèi)容描述”。事實(shí)上，百度和淘寶都試圖將中國(guó)網(wǎng)民培育出一種最符合自己利益用戶的習(xí)慣：就是盡量讓用戶用自己的搜索引擎完成消費(fèi)選擇，如果自己能夠控制用戶端口，那么針對(duì)排名就可以做出多種付費(fèi)推廣，而淘寶如果對(duì)百度蜘蛛開放robots.txt，作為中國(guó)最大的搜索引擎，百度很可能會(huì)針對(duì)淘寶開發(fā)出相應(yīng)的開放平臺(tái)，蠶食淘寶的付費(fèi)市場(chǎng)。如果強(qiáng)勢(shì)品牌能夠打造獨(dú)立商城分流淘寶店鋪的流量，一是可以避免身家性命全押在淘寶上需要通過競(jìng)價(jià)系統(tǒng)購(gòu)買昂貴的首頁(yè)廣告（百度同理），二是可以加強(qiáng)品牌優(yōu)勢(shì)，培養(yǎng)用戶主動(dòng)搜索品牌的消費(fèi)習(xí)慣。

網(wǎng)頁(yè)小游戲

4399

http://www.4399.com/robots.txt

  • User-agent: *
  • Disallow: /upload_pic/
  • Disallow: /upload_swf/
  • Disallow: /360/
  • Disallow: /public/
  • Disallow: /yxbox/
  • Disallow: /360game/
  • Disallow: /loadimg/
  • Disallow: /index_pc.htm
  • Disallow: /flash/32979_pc.htm
  • Disallow: /flash/35538_pc.htm
  • Disallow: /flash/48399_pc.htm
  • Disallow: /flash/seer_pc.htm
  • Disallow: /flash/58739_pc.htm
  • Disallow: /flash/78072_pc.htm
  • Disallow: /flash/130396_pc.htm
  • Disallow: /flash/80727_pc.htm
  • Disallow: /flash/151038_pc.htm
  • Disallow: /flash/10379_pc.htm
  • Disallow: /index_old.htm

不可爬取的頁(yè)面中可顯示的頁(yè)面包括：游戲列表，最新好玩小游戲列表，首頁(yè)，洛克王國(guó)，奧拉星，賽爾號(hào)，龍戰(zhàn)士，造夢(mèng)西游3之大鬧天庭篇，爆槍英雄，勇士的信仰(正式版)，造夢(mèng)西游4洪荒大劫篇，奧比島，老版首頁(yè)。

7k7k

http://www.7k7k.com/robots.txt

  • User-agent: *
  • Disallow: /doyo/
  • Disallow: /doyoweb/
  • Disallow: /yy/
  • Disallow: /data/
  • Disallow: /widget/
  • Disallow: /api/
  • Disallow: /classic
  • Disallow: /classic/
  • Disallow: /classic/tag/
  • Disallow: /classic/swf/
  • Disallow: /classic/flash_fl/
  • Disallow: /classic/top/
  • Disallow: /classic/flash/
  • Disallow: /classic/index.htm
  • Disallow: /new/
  • Disallow: /m-iphone/art/
  • Disallow: /m-ipad/art/
  • Disallow: /m-android/art/

不可爬取的頁(yè)面中可顯示的頁(yè)面包括：每日最新Flash游戲列表，游戲分類列表，游戲列表，游戲分類標(biāo)簽列表，游戲排行榜，首頁(yè)。

2144

http://www.2144.cn/robots.txt

  • User-agent:Mediapartners-Google
  • Disallow:
  • User-agent: *
  • Allow: /girls/?
  • Disallow: /tuan
  • Disallow: /v3
  • Disallow: /hz/cntv
  • Disallow: /testdsadsa21321
  • Disallow: /xxx
  • Disallow: /api
  • Disallow: /game.htm
  • Disallow: /index_test.htm
  • Disallow: /webgame.htm
  • Disallow: /index1.htm
  • Disallow: /index_old.htm
  • Disallow: /index_2010.htm
  • Disallow: /index_2011.htm
  • Disallow: /index_2012.htm
  • Disallow: /game_test.php
  • Disallow: /listgame.php
  • Disallow: /cj.php
  • Disallow: /sdogame.php
  • Disallow: /archiver
  • Disallow: /YouXi
  • Disallow: /sdo
  • Disallow: /Archives
  • Disallow: /public
  • Disallow: /html/26/51653/
  • Disallow: /html/14/51654/
  • Disallow: /html/14/51655/
  • Disallow: /html/26/51857/
  • Disallow: /html/14/51863/
  • Disallow: /html/14/51862/
  • Disallow: /html/14/51861/
  • Disallow: /html/26/51858/
  • Disallow: /html/26/51859/
  • Disallow: /2345/
  • Disallow: /2144com/
  • Disallow: /xyx/
  • Disallow: /xiaoyouxi/
  • Disallow: /2015/
  • Disallow: /2016/

不可爬取的頁(yè)面中可顯示的頁(yè)面包括：女生游戲列表，首頁(yè)，老版首頁(yè)，三國(guó)戰(zhàn)紀(jì)，戰(zhàn)神盟，三國(guó)志，三國(guó)戰(zhàn)，游戲列表。

大部分網(wǎng)頁(yè)小游戲網(wǎng)站都禁止爬取首頁(yè)，游戲列表，游戲分類列表以及部分小游戲網(wǎng)頁(yè)。

小結(jié)

購(gòu)物網(wǎng)站大都將注意力放在用戶信息保護(hù)以及網(wǎng)站流量上面，網(wǎng)頁(yè)小游戲網(wǎng)站在關(guān)注網(wǎng)站流量的同時(shí)，也會(huì)著重保護(hù)團(tuán)隊(duì)的創(chuàng)作成果。

Robots協(xié)議是網(wǎng)站出于安全和隱私考慮，防止搜索引擎抓取敏感信息而設(shè)置的。Robots協(xié)議代表了一種契約精神，互聯(lián)網(wǎng)企業(yè)只有遵守這一規(guī)則，才能保證網(wǎng)站及用戶的隱私數(shù)據(jù)不被侵犯。Robots協(xié)議是維護(hù)互聯(lián)網(wǎng)世界隱私安全的重要規(guī)則，是一種目前為止最有效的方式，用自律維持著網(wǎng)站與搜索引擎之間的平衡，讓兩者之間的利益不至于過度傾斜。

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 京東：User-agent: * Disallow: /?* 禁止訪問...
    段魚閱讀 1,000評(píng)論 0贊 0
  • robots.txt寫法大全和robots.txt語(yǔ)法的作用 1如果允許所有搜索引擎訪問網(wǎng)站的所有部分的話 我們可...
    擼貓真君閱讀 11,394評(píng)論 0贊 7
  • 網(wǎng)站 robots.txt 文件編寫 Intro robots.txt 是網(wǎng)站根目錄下的一個(gè)純文本文件，在這個(gè)...
    天天向上卡索閱讀 1,316評(píng)論 0贊 2
  • 目標(biāo): 手機(jī)遠(yuǎn)程控制柜子中水泵啟動(dòng)和停止 步驟: 1.查詢產(chǎn)品ID； 2.通過ID將設(shè)備添加到手機(jī)AP...
    幻影翔閱讀 884評(píng)論 2贊 1
  • 一朵花，不是因?yàn)楸蝗朔Q贊欣賞她才綻放，更不是因?yàn)楸缓鲆暬蚺u(píng)就不盛開；她知道她是一朵花，即使在深山幽谷，綻放盛開是...
    egaoTina閱讀 303評(píng)論 0贊 0

友情鏈接更多精彩內(nèi)容