广受业界、政府和网民关注的Robots协议案日前有了结果，该案是中国搜索领域爬虫
机器人竞争第一案。
8月7日，北京市第一中级人民法院判决奇虎赔偿百度经济损失和合理支出共计七十万元整，但驳回百度有关不正当竞争的诉求。表明百度单方面利用Robots协议打击竞争对手的行为未被公众和法庭所支持，而360则可继续抓取百度的网站内容。
法院认为，互联网的高速发展依赖于自由竞争的良好环境，在自由竞争的基础上，大量的科技创新和经营模式的创新积极推动着互联网的发展，让我们在本世纪开始的十几年内享受着巨大的福利，彻底改变了我们的生活。这种福利来源于科技创新和网络经营模式的创新，但归根结底是在自由竞争的环境才实现的创新。所以，互联网企业在经营过程中在法律准许的范围内的自由竞争应当得到坚决的维护。
本案判决书中明确写道：规则的缺失会让互联网行业陷入“丛林法则”的误区，但同时，市场竞争需要给每一个竞争者公平的竞争环境，即使是后进入市场的竞争者，也应该有公平的竞争机会，以免陷入“丛林法则”中强者可以任意欺凌弱者的误区。判决书中还提到：360已经多次向百度表示要求修改robots协议，该主张是清晰明确的，而百度未能明确提出拒绝360的合理理由，故对《自律公约》签订之后，百度主张360构成不正当竞争的主张本院不予支持。
这个案件中，法院在没有明确的法律可适用的情况下，表现出难能可贵的开拓精神和创新勇气，捍卫了互联网开放、平等的互联网精神，为互联网行业的自由竞争和健康发展开辟道路。
笔者了解到，Robots协议由荷兰籍网络工程师Martijn Koster于1994年首次提出，是一个被放置在网站中的.TXT文件，为搜索引擎爬虫做出提示，设置允许与不允许两种语句，网络爬虫据此“自觉地”抓取或者不抓取该网页内容。Robots协议的目的，是为了保障著作权、保护个人隐私，尽可能地让互联网健康发展。
虽名为“协议”，但Robots协议只是行业惯用的说法。它既不是法律意义上的协议，也不是国际组织采纳的标准，因此不受任何机构保护。而百度的Robots协议的特别之处，在于其制定的白名单机制——允许除360之外的搜索引擎访问百度网站。
著名行业专家、互联网实验室董事长方兴东认为，Robots协议绝对不能滥用，必须一事同仁，确保开放。“搜索引擎抓取其他网站数据来建立商业模式，却不允许别人抓取它的内容，于情于理于法都不恰当。”方兴东表示。中国政法大学法制新闻研究中心研究员陈杰人一针见血地指出，百度建立Robots协议白名单，只限制360搜索进行内容抓取，具有一定的歧视性，
显然，激烈的竞争需要公平合理的竞争规则，否则过于放任的竞争会让互联网行业变成屠场并走向垄断。互联网的精神就是：开放、平等、协作和分享。
