蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段

蜘蛛,园子,疯狂,百度 · 浏览次数 : 303

小编点评

## 百度蜘蛛又来了,但我们依然有希望 **经过多次尝试,我们终于放下了今年 3 月因为疯狂在盘其他人的车辆而被屏蔽的百度蜘蛛网段。** 虽然这次失败令人失望,但它并没有完全阻挡我们,我们依然拥有一丝希望。 **这次失败让我们明白:** * 百度在维护其平台时,会采取各种措施来应对疯狂的搜索行为。 * 我们需要积极寻找突破口,才能克服这些限制。 **我们将在以下方面努力:** * **持续关注百度相关新闻和政策变化。** * **与开源搜索引擎开发者沟通合作。** * **发起一个公益基金会,帮助园子发展。** * **建立一个公平透明的开源搜索引擎。** **希望在没有百度的日子里,园子的发展更加阳光,我们能够发挥开源力量,为开源搜索引擎的发展贡献力量。**

正文

因为看到博文 【故障公告】它(变异的百度蜘蛛)又来了,雪上加霜又加盐的三月,百度搜索部门的人昨天对园子进行了线上回访,让我们看到了一丝希望。

今天早上,带着这丝希望,我们试着放出今年3月因为过于疯狂、喜欢在别人地盘上飙车而被我们屏蔽的百度蜘蛛网段——116.179.37.0/24,看看半年之后它是否“疯”子回头,结果依旧是意料之中的疯狂依旧,“疯”性难移。

放开后,园子博客站点的 web 服务器 cpu 立马飙升,“飙”字货真价实,不带一点夸张,放开后的 cpu 是屏蔽时的三倍左右。

放开后:

屏蔽时:

这次我们专门记录了放开阶段百度蜘蛛的请求量,取 9:00-9:04 的5分钟数据看一下,请求量是 277358(27万),QPS(每秒请求数)是 924(近一千)。

面对百度蜘蛛丝毫不减的疯狂,那一丝希望瞬间一扫而光,抛开小插曲带来的失望,燃起我们的新希望。

希望在没有百度的日子里,园子的发展更加阳光。

希望在没有百度的日子里,我们能够发挥开源力量。

在被百度离开一年多的日子里,我们产生了新的畅想——待园子发展壮大后,我们会发起一个公益基金会,发起一个开源搜索引擎项目,至少给开发者提供一个没有疯狂蜘蛛、基于公平透明规则的搜索引擎。

与蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段相似的内容:

蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段

因为看到博文,百度搜索部门的人昨天对园子进行了线上回访,让我们看到了一丝希望。今天早上,带着这丝希望,我们试着放出今年3月因为过于疯狂、喜欢在别人地盘上飙车而被我们屏蔽的百度蜘蛛网段,看看半年之后它是否“疯”子回头,结果依旧是意料之中的疯狂依旧,“疯”性难移

上周热点回顾(9.18-9.24)

热点随笔: · 蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段 (博客园团队)· 逃不过转行的命运,与互联网无缘了 (哈er)· JDK21来了!附重要更新说明 (DaFanJoy)· 【逆向专题】【危!!!刑】(一)使用c#+Win32Api实现进程注入到wechat (四处观察)· 

面对百度的无期徒刑,幸好还有微软的必应

昨天我们通过【i博客园】公众号发布文章 被百度降权的经历:没有百度的日子,是百度给的无期徒刑 时发现,百度不但没有回心转意,反而对园子的处罚更加严厉了,博客主站(www域名)的新发内容一天内0收录。 而在去年9月21日我们完全解除对百度蜘蛛的屏蔽后(详见博文),9月25日那天一天内的百度收录有20页

.NET 中使用 OpenTelemetry Traces 追踪应用程序

上一次我们讲了 OpenTelemetry Logs。今天继续来说说 OpenTelemetry Traces。 在今天的微服务和云原生环境中,理解和监控系统的行为变得越来越重要。在当下我们实现一个功能可能需要调用了 N 个方法,涉及到 N 个服务。方法之间的调用如蜘蛛网一样。分布式追踪这个时候就至