百度和360这两家头部互联网公司 ， 自从360在2012年推出360搜索后就成为直接竞争对手 ， 彼此之间频生摩擦 ， 引发了大量诉讼 。
2013年 ， 百度起诉360不正当竞争 ， 索赔1亿元 ， 引起社会轰动 。 这起纠纷因Robots协议而起 ， 这是互联网网站与搜索引擎的沟通方式 ， 又被称为爬虫协议、机器人协议 ， 各个互联网网站通过设置Robots协议 ， “告诉”搜索引擎 ， 自己的哪些内容可以被爬取 ， 哪些则不能被爬取 。

文章插图

案件缘起于360搜索上线后 ， 百度并未将其列入Robots协议白名单 ， 因此360搜索无法爬取百度的网站内容 。 但360搜索越过了Robots协议 ， 抓取了百度百科、百度知道、百度贴吧中的内容 ， 并生成快照向360搜索用户提供 。
这起案件在2014年8月7日宣判 ， 百度胜诉 ， 获赔70万元 。 但案件审理过程中 ， 360提起了一项反诉 ， 称百度利用Robots协议是为了限制360搜索 ， 是为了维护自己的市场垄断地位而设立的竞争壁垒 ， 带有恶意和歧视性 。
这起反诉的结果是360获胜 ， 法院判决百度构成不正当竞争 ， 向360赔偿20万元 。
不过 ， 这场拉锯战可谓旷日持久 。 在一审判决多年之后 ， 今年7月 ， 北京市高级人民法院才最终做出二审判决 ， 维持原判 ， 驳回百度的上诉 。
这起判决的意义已超出“3B大战”的商业争端 ， 而是对互联网搜索业务起到了厘清规则的作用 。
“828夜战”打响
360搜索引擎于2012年8月16日上线 。 在此之前 ， 360依靠免费策略彻底改变了互联网安全市场 ， 随后掀起“3Q大战” ， 让互联网大佬腾讯极为被动 。 这一次 ， 互联网搜索霸主百度也不免为之虎躯一震 。 果然 ， “3B大战”瞬间开打 。
据第三方公司Hitwise数据显示 ， 截至2012年8月26日 ， 百度、360、谷歌、搜狗、腾讯搜搜的份额依次为56.44%、10.22%、7.54%、7.14%、4.72% 。
也就是说 ， 360搜索引擎上线仅10天 ， 就抢占了搜索市场的十分之一 ， 并让百度丢掉了近6%的市场份额 。
一场国内互联网发展史上留名的“828夜战”打响了 。 2012年8月28日晚上9时左右 ， 百度开始在小范围进行测试：用户通过360综合搜索访问百度知道、百科、贴吧等服务时 ， 将会强行跳转至百度首页 。
360随后展开对攻 ， 用户在360浏览器中使用360综合搜索时 ， 点击来自百度相关服务的搜索结果 ， 会被直接带至“网页快照”页面 。 根据部分页面上提示的时间 ， 这些百度页面的快照 ， 应该是360搜索当日傍晚存储的 。
双方采取这些举措的根源就是Robots协议 。 由于360搜索未被百度列入Robots协议的白名单 ， 360搜索就无法爬取百度知道、百科、贴吧中的海量内容 。 虽然其时 ， 360搜索宣称“拥有13000多台服务器 ， 庞大的蜘蛛爬虫系统每日抓取网页数量10多亿 ， 引擎索引的优质网页数量超过200亿” 。
360搜索越过了Robots协议 ， 直接向用户提供百度网页的快照 。 当时 ， 百度工程师赵明华在微博中称 ， “360搜索不顾Robots协议肆意抓取百度数据 ， 是一种不遵守互联网基本协议的行为 ， 对全体网民的隐私和安全都会造成威胁 ， 也破坏网民完整的搜索体验” ， 直斥360为偷窃数据(小偷)、劫持用户(强盗)、欺骗(骗子)合作伙伴(主要是中小站长) 。
什么是Robots协议
理解“3B大战” ， 首先需要理解什么是Robots协议 。
Robots协议的英文全称为Robots Exclusion Protocol ， 直译为机器人排除协议 ， 又可称为爬虫协议、机器人协议 ， 是指网站所有者设置于网站根目录下的一个文本文件 ， 即robots.txt 。