2022年之前的十多年,我们没有做任何SEO,但百度一直对园子很友好,好到成为一种烦恼。因为排名前,收录快,很多想推广的人想尽办法骗过审核开通博客发推广内容,以求快速被百度收录,甚至有人在淘宝开店专门卖已经开通博客的博客园账号,后来我们多次向淘宝投诉这个商品才被下架。
由于身在福中不知福,我们没有花心思去研究SEO,也懒得关注搜索排名与收录情况,而不少人误以为我们擅长SEO。
2022年春天,我们刚刚从2021年大半年的整改中恢复过来,百废待兴,那时最大的担心是怕审核工作做不到位带来合规风险,那时甚至希望百度搜索排名低一些,收录慢一些,因为越容易被搜索到,合规风险越大。再加上随着广告单子的突然减少,流量变现成烦恼,搜索流量反而成为成本负担。
当我们在被百度青睐所带来的幸福中不思进取时,追求持续创新的百度默默无闻地升级了蜘蛛系统。
2022年4月,当创新的大脚步遇上不思进取的原地踏步,悲剧就发生了,整个园子被百度新型蜘蛛爬宕机了。
2022年4月3日,它(百度蜘蛛)的首次来访在园子里掀起狂风暴浪,数据库连接数过万,负载均衡带宽跑满,带宽扩容50%依然跑满,当时我们通过限制同一个IP每天的请求数侥幸躲过。
在侥幸躲过后,我们没有认真复盘仔细分析,依然是不思进取地选择放过。
2022年5月,当创新的更大脚步遇上惊慌失措的鲁莽,悲剧就播种了。
2022年5月4日,它(百度蜘蛛)如同吃了兴奋剂般变得格外疯狂,由于触发IP请求数限制被重定向到登录站点,但它那龙卷风般的天量请求直接冲垮登录站点,无奈之下,我们屏蔽了这个IP网段。
后来,由于忙于其他事情忙昏了头,我们竟然把屏蔽的百度蜘蛛的事情给忘了。
由于我们对百度蜘蛛的鲁莽屏蔽,来自百度的搜索流量逐步降低,但由于当时我们头顶上始终悬挂着一把剑——「审核审核再审核,合规合规再合规」,已经不怎么关注流量的升降,不再为流量增长而兴奋,不再为流量的下降而担心,再加上那段特殊的日子,流量下降被误以为是正常现象。
当过了一段时间,当流量下降到一定幅度的时候,我们才猛然发现闯下了大祸——我们一直屏蔽着那个百度蜘蛛网段,造成百度搜索流量持续下降。
赶紧解除屏蔽,带着亡羊补牢的侥幸心理期待着百度搜索的流量能逐步恢复,而我们蒙在鼓里的是,针对我们的过错,百度当时已经铁面无私默默无闻地宣判了,判了一个无期徒刑——从今往后,百度搜索引擎与博客园恩断义绝,搜索权重能降则降,收录能不收则不收。
解除屏蔽后等了2个月左右,我们发现百度流量并没有恢复的趋势。在这段时间我们将百度蜘蛛的请求解析到一台专门的负载均衡,限制了最高带宽以免再次出现百度蜘蛛过高的并发请求造成宕机。这样独立出来也带来一个额外的好处,我们可以清楚地知道百度蜘蛛产生的带宽费用,而结果却让我们惊呆了,仅仅百度蜘蛛的爬网竟然消耗了40%左右的带宽费用。当时已经进入2022年下半年,园子一年多几乎没有收入的日子已经开始了。一边百度蜘蛛肆无忌惮地消耗着带宽费用,一边百度搜索流量恢复无望,我们不敢再拿越来越紧张的现金赌百度认同“浪子回头金不换“(幸亏没赌,不然会输的很惨),对百度蜘蛛进行了限流。
都没顾得上和百度说声分手快乐,带着现实所逼产生的勇气,默默地对百度说了句——没有百度的日子,园子依然可以。
但残酷的现实是,没有百度的日子里,园子过得惨兮兮,从求捐助,到求会员救园,差点没熬过去。
在这段离开百度的悲惨日子里,还发生了一个小插曲。2023年3月,未知原因造成百度蜘蛛躲过限流,又把园子爬宕机,我们借此时机发了篇博文吐怨气,没想到后来带来一次戏剧性的回心转意。
2023年9月20日与9月21日,由于百度搜索部门的人看到我们3月发布的博文,联系我们商量解决百度蜘蛛爬网并发请求过高的问题,最终百度设置了我们建议的QPS上限,我们取消了对百度蜘蛛的限流,消除了友好相处的所有障碍。
当我们满怀希望地期待着幸福来敲门时,一个月过去了,百度搜索流量没有明显回升,收录问题依然没有解决。又一月过去了,问题依然没有解决。半年过去了,期间百度搜索流量有小幅回升,那只是百度安慰似地给定小惊喜。现在大半年过去,所期待的幸福遥遥无期。联系到园子的博问刚上线没多久就被百度判了无期徒刑——搜索排名低、收录很少,然后十多年一直这样,现在博客主站遇到的问题与博问类似。于是,我们放弃了幻想,有了迟到的领悟,原来2023年双方商量解除限流的努力都是徒劳无益,百度的字典里根本没有回心转意,一旦得罪就判无期徒刑,结局早已注定。
园子与百度十八年友好相处的日子再也回不去了,今天一鼓作气写下这篇博文留下纪念。
相关链接: