robots第一案啟示：違反爬蟲協議無異于行業“毒瘤”
責編：admin ｜2014-08-11 10:54:32360行，行行有規矩。不守規矩的企業在任何行業都是要人人喊打，難以可持續發展的。在互聯網這個行業里，自然也有自己的規矩。作為信息產業，互聯網公司每天處理大量的網友信息，不管是郵件、圖片還是地址、帳號等信息，各大正規網站都高度注意保護這些敏感信息，因為一旦泄露，后果不堪設想。互聯網公司里頭，還有一類公司直接把控著網友各種敏感信息的曝光與否，它們就是有搜索引擎平臺的公司。搜索引擎如果不守規矩，它派出的多隊蜘蛛就會不管不顧的把包括隱私在內的各種信息統統抓取放出，一旦被搜索傳播出去，就會產生難以預料的不良后果。
為此，1994年荷蘭人提出了robots協議，從那時起，robots協議就被Google、Yahoo、微軟、百度等各大正規搜索引擎當作不可觸犯的天條，只要某個網站的robots文件里明確禁止抓取的內容，搜索引擎就不會去擅自抓取收錄，從根本上杜絕了各種事關網民利益的信息安全隱患。
然而，有些后來推出搜索引擎的公司，為了急于上位，置目標網站robots文件明確禁止的目錄于不顧，公然違反robots協議，大搞不正當競爭，不僅有損自己的形象，更給網民的信息安全和隱私保護帶來隱患。
根據之前的媒體報道等公開資料顯示，像360公司，自2012年8月推出獨立搜索以來，其違反robots協議，窺探用戶隱私的問題便屢屢遭到各方的質疑和反感。之前微博網友zeracker指出360抓取用戶賬戶、密碼及訂單、優惠碼等信息，并曬出圖片，讓360瀏覽器抓取很多國內知名網游的后臺訂單、優惠碼等敏感記錄的行為盡顯無遺。
360的抓取不僅讓用戶賬戶信息存在風險，郵件等信息也難逃厄運。細心的網友發現在使用360搜索時，360搜索居然會抓取IBM lotus domino 郵件系統后臺和個人郵件文件存儲地址。360違反robots(拒絕抓取)協議的抓取行為，將使用戶郵件信息的內容，可以被搜索引擎抓取，更可以被網民搜索。IBM國際商業機器中國有限公司的黑客老鷹更是曾在微博中指出，360搜索能抓取公司內網信息，而這些信息在正常狀態下僅能通過VPN+動態口令才允許訪問。這也就意味著公司所有的內部信息、商業機密等將在360面前暴露無疑。隨后該微博立刻被刪除，不禁讓人猜測，該微博碰到了360的痛處。
即便對于同樣做搜索引擎的同行公司的內容，360竟然也不放過，大有“兔子偏吃窩邊草”的無賴架勢。這也就是robots第一案的由來。忍了一年多的百度，于去年11月將360告上法庭，百度認為，360搜索在未獲得百度公司允 許的情況下，違反業內公認的Robots協議，抓取百度旗下百度知道、百度百科、百度貼吧等網站的內容，已經構成了不正當競爭，并向奇虎索賠。目前，百度訴奇虎360違反“Robots協議”抓取、復制其網站內容侵權一案在北京市第一中級人民法院做出一審判決。法院認為，360公司違反Robots協議侵犯百度權益證據確鑿，有違商業道德，屬不正當競爭行為，責令360累計賠償百度相關損失70萬元。
“Robots協議是國外通行的行業慣例，我國網絡公司通過協商也予以認可，歸入行業自律范疇。”針對法院的判決，中國工程院院士倪光南指出，在國家產業政策指引下，我國網絡領域依托中國豐富的科技人力資源和巨大的市場支撐，發展態勢喜人。在這種情況下，進一步規范市場行為，遵守國際規則和行業慣例，有利于今后長遠的發展。
可以說，無論是從長遠計，還是從網民的利益和隱私保護計，任何違反Robots協議的互聯網公司都無異于影響互聯網行業健康發展的毒瘤。本次robots第一案的判決，對互聯網行業發展和網民利益無疑有著重大的里程碑意義。
免責聲明：本文僅代表作者個人觀點，與本網無關。其原創性以及文中陳述文字和內容未經本站證實，對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾，請讀者僅作參考，并請自行核實相關內容。