嚴格遵守Robots協議為網站保駕護航

發布者：云商網絡來源：http://www.pvczuji.com/ 發布時間:2015-10-4 8:04:37 瀏覽量：

　　Robots協議（也稱為爬蟲協議、機器人協議等）的全稱是“網絡爬蟲排除標準”，網站通過Robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。該協議尊重信息提供者的意愿，并維護其隱私權；保護其使用者的個人信息和隱私不被侵犯。而日前，百度以奇虎360違反Robots協議為由一紙訴狀將其告上法庭，一審要求360賠付百度相關損失70萬元。

　　我們做SEO時，為了讓網站更好的運行經常會應用robots文件，它相當于給網站加上一層保護網，對網站而言**的有利的。而本次Robots協議事件，讓我們不得不再次將Robots提上網站安全的文案。

　　有法律專家表示，Robots協議如果被破壞，對整個行業可謂滅頂之災。然而，作為行業慣例的robots協議卻因為并非白紙黑字的法律條文，成了一些無節操互聯網公司惡意違反robots協議搞不正當競爭的借口。那么，不是法律條文的robots協議，在全行業普遍遵守的習慣下，違反者難道不應該為此承擔法律責任嗎？

　　“慣例也好,習慣也好,都是一種行為模式,是為了要達到一定的利益訴求。通常它是既有利于自己的利益,同時又與其他利益攸關者的正當利益不相沖突。在這個前提下,慣例是一種經濟上節約,法律上又合法的行為模式。這樣一種行為模式,只要符合前面說的這兩條就是合法的。”

　　由此來看，我們只需要搞清楚Robots協議是不是一種切切實實存在的行業慣例或習慣，就可以對違反Robots協議如何定性這個問題做到**少心中有數。

　　robots協議由荷蘭籍網絡工程師MartijnKoster于1994年**提出，robots協議是國際互聯網界通行的道德規范，網站通過robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。其目的是保護網站數據和敏感信息、確保用戶個人信息和隱私不被侵犯。有統計資料顯示，目前國內設置robots協議的網站超過4億，中國大的網站也均都設置了robots協議：淘寶網、騰訊、CCTV、人民網、網易、新浪、太平洋在線、優酷等，百度和360也都在各自站點中設置了robots協議。

　　不僅如此，國際排名前1000左右的網站中，Facebook、Twitter、Alexa、LinkedIn等國際網站，均采用白名單制設置robots，只允許robots.txt文件中聲明的搜索引擎抓取，禁止其他搜索引擎抓取，例如Facebook網站允許baiduspider、Googlebot、msnbot、naverbot、Eznambot、Slurp、teoma、Yandex等搜索引擎爬蟲收錄使用網站特定內容，禁止包含360等在內的其他搜索引擎抓取。TWITTER網站部分內容只允許Googlebot、Slurp、Yandex、msnbot搜索引擎爬蟲抓取，對于其他搜索引擎不允許抓取。

　　實際上，不可計數的中小網站也大多在使用robots文件來保護后臺登陸地址、數據存檔目錄等敏感信息，以保護網站及其用戶的隱私安全。

　　綜合這些情況來看，robots協議確實一種行業慣例，是全行業用來保護知識產權、信息安全和隱私內容的一種慣用方法。

　　然而，在實際的行業市場中，卻偏偏存在不按常規出牌的公司，比如360公司自2012年8月推出立搜索以來，一直無視robots協議這一國際通行規范，在未獲得百度等公司允許的情況下，違反業內公認的Robots協議，擅自抓取網站Robots文件中明文禁止的內容，即便在互聯網協會出面調解，簽署了《互聯網搜索引擎服務自律公約》后，仍然明知故犯，實乃不把行業慣例放在眼里。

　　有專家指出，Robots協議代表一種契約精神，互聯網企業只有遵守這一規則，才能保證網站及用戶的隱私數據不被侵犯。可以說，無論從保護網民隱私還是尊重版權內容的角度，遵守robots協議都應該是正規互聯網公司的默之舉，任何違反robots協議的行為都應該為此付出代價。

　　Robots協議為網站安全保駕護航，一旦違反協議要求很多商業性網站可能會蒙受巨大損失。我們不想知道如此慣例是否有罪，重要的是維護網絡環境和諧讓網絡User可以放心是每位站長的共同心愿。