什么是Robots协议

     Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol)，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容，而不是作为搜索引擎之间互相限制和不正当竞争的工具。Robots协议用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取;可以屏蔽一些网站中比较大的文件，如：图片，音乐，视频等，节省服务器带宽;可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容;设置网站地图连接，方便引导蜘蛛爬取页面。

     robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它。robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

     当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。百度官方建议，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。

     如果将网站视为酒店里的一个房间，robots.txt就是主人在房间门口悬挂的“请勿打扰”或“欢迎打扫”的提示牌。这个文件告诉来访的搜索引擎哪些房间可以进入和参观，哪些房间因为存放贵重物品，或可能涉及住户及访客的隐私而不对搜索引擎开放。但robots.txt不是命令，也不是防火墙，如同守门人无法阻止窃贼等恶意闯入者。

     百度与360的搜索大战

     正如同娱乐圈 的明星绯闻一直是各大媒体的热点一样，百度与360的恩恩怨怨也一直在受业内人士关注。360和百度的恩恩怨怨可追溯至十年前，而这十年间，双方敌友关系转变频繁，从面红耳赤到化干戈为玉帛，“变脸”快过川剧。在业内人士看来，“敌友关系转换对他们都已是家常便饭。百度和360在网址导航、浏览器和搜索上的暗自竞争直接导致了双方翻脸。”此次，百度与360方面就到底是“滥用Robots协议”还是“违反Robots协议”展开争论，而围绕“Robots 协议”展开的新一轮“3B搜索大战”，不仅关系到当事双方的切身利益，还将影响到国家互联网经济发展、信息流动、科技创新和社会进步，因而备受各界关注。

     百度认为，360的行为已经构成了不正当竞争，并以此索赔1亿元及20万诉讼合理支出，同时要求360停止这种行为并连续道歉30天。

     360认为自己行为并不构成不正当竞争。360说，百度旗下拥有百度知道、百度贴吧、百度文库以及百度百科等70多种产品，占互联网网页的15%，是新浪、搜狐和网易的总和。按照Robots协议设置的原则，百度应本着公平开放的原则，同时限制应当有正当理由，但百度利用Robots协议自设白名单，谷歌、微软必应、雅虎、搜狗、SOSO等搜索引擎均可以抓取这些内容，而唯独不允许360搜索抓取这些内容。

     百度与360的搜索大战正在激烈进行中，各路围观者观点不一。有的说：“百度挤走谷歌后气焰嚣张，终于有对手治治它了!”有的说：“360还挺流氓的，斗完腾讯斗百度。”有的挺中肯：“很好嘛!为互联网搜索行业创造更公平的竞争环境，对于企业这是好结果。”