YokiDe's Blog

实为悲剧啊~

某日，睡醒。。。。。。
起来发现taobaopu悲剧的挂掉了，原来是网站程序的错误日志把服务器的盘给塞满了，骂了隔壁，9G多的程序错误日志，结果把Apache服务器给暴掉了！

重启Apache…
立马查看蜘蛛的记录，原来断网整整6个小时。

1分钟后，刷新日志一看，嗯，很好蜘蛛爬得蛮勤快的都。
2分钟后，刷新日志一看，貌似没发现百度蜘蛛。
3分钟后，再刷新日志一看，还是没发现百度蜘蛛。
4分钟后，再刷新日志一看，还是没有发现百度蜘蛛。
…
10分钟后，当我的钛金F5都被按暴了之后还是没有看到亲爱的百度蜘蛛。

半个钟头之后…
依然…

倒是n多的Google,Soso,Youdao，什么乱七八糟的蜘蛛的记录一大堆，特别是Google的，晃得我脸痛！

taobaopu就靠着百度谋生的，不来了。
其他的蜘蛛啊，还都跟打了鸡血似的，比前两天来的更猛烈了，占我带宽更多了！
太悲剧了，该来的不来，不该来的来好多！~~

难道就应为我服务器挂掉了6个钟头被点名了，或者是服务器出了问题慢了，还是其他的鸟蜘蛛多了把带宽给占了，百度的挤不进来，或者是新站考验我？
不得知…

貌似1天多了都，度日如年啊~

写在末尾：
1.不要相信巧合。引外链，换旗下新项目，服务器，做实验，看蜘蛛态度~
2.之前安排的进度继续…
3.睡觉…

真的是悲剧，很大的一个悲剧！

昨日查看kamozi的google统计报表，发现访问减半。
百度网站，结果发现网站描述消失了。
首页排第一，无网站描述，标题短小，视力不好，找都找不到。。。。

网站标题也随着关键字的输入而变化。site了下域名，发现标题也变成网址了。
百思不的其解。。。

之前在操作inoherbmall的时候，也出现类似的症状。当时新开站，一个不小心上了几十万的全站链接。
后来发现网站关键字怎么找都找不到。怀疑被K，便没有再操作…..

标题随我关键字变化而变化，描述为空。
两个出现此情况，着实无法解释。。。。

后来洗澡时，脑袋里突然的想，是否robots.txt禁止了百度。
然后裤子都没穿的跑了出来。
查看域名下robots.txt，

User-agent: Baiduspider Disallow: /
User-agent: baiduspider Disallow: /

网站到taobao取数据的时候，悲剧的把对百度的robots.txt也取出来了，苍天..仔细一查，3个网站均存在robots.txt，几个月了都。。。

百度从来不遵循robots.txt的，之前都是无视robots.txt的。
到目前为止，被发好人卡了，拒绝了，也只是收敛点的收掉标题和描述。
原来如此。。。
或者它有它的一个标准，这里有他的标准和区别，具体是啥不清楚，不研究（瞎猜一下：可能与权限有关吧，或者与最近的算法修改有关咯)。。。

之前有段时间另外的一个网站服务器被百度的蜘蛛抓得快崩溃了，这个网站搞的是口碑营销，需要用户体验，遂只能牺牲百度了。写了个robots.txt，让百度的蜘蛛回家歇息几天。
结果发现其服务器依然悲剧，蜘蛛依然猖獗，丫的继续爬，爬完了继续放东西出来。
后来在程序里把百度干掉了服务器才恢复。

截至目前为止，kamozi 各关键字排名依然稳定为首。不得说一句，百度外链强大则排名强大。
至于当时怎么想起来robots.txt有问题的，这个可能是阿基米德穿越了。。。

8月份工作计划~

个人制作的一个页面，顶部导航看起来别扭，内容区拥挤，悲剧~