百度遵守 Robots.txt 协议吗？
今天闲来没事查看自己的这个新博客：魏星博客的百度收录情况，
出现了一个怪异的想象，昨天网站上的线，今天百度竟然收录了，
天哪，真不敢相信，以前不等个半个月百度是不会收录的，最诡异的
是，我添加了robots.txt 到自己的根目录，目的就是让百度不搜索到
我的网站，因为这几天还在修改当中，但是百度却收录了，然后查了下
资料，看到水煮鱼的一篇文章，讲的也是这个问题，还举了一些例子，
然后我知道了，百度不是真的遵守robots.txt协议，百度啊百度，让人
欢喜然人忧啊，对于这件事我是该高兴呢，还是该生气呢？？
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 WEIXING.ME！
评论
相关推荐
2011-06-24
google管理员工具删除错误链接
对与谷歌管理员工具，站长们是非常熟悉的，SEO必备的，具体的就不多说了。今天发现谷歌的删除错误链接的按钮有了一些新的变动，以前删除是要求网站所有者必须先阻止网页才能将其从Google搜索中删除，现在你可以直接的删除了，不必先阻止谷歌的抓取了，即删除死链，谷歌上的死链 删除期为90天，如果用户（站长）想取消删除，可以在90天之内进行取消，防止站长的误操作，或其他原因。 永久删除 若要永久删除某一URL地址，你必须确保对欲删除网页的URL地址进行了阻止，以下网页阻止措施可任选其一： ?通过返回一个404或410 HTTP状态代码表示当前页面不存在 ?通过robots.txt file拦截页面阻止其被搜索 ?通过noindex元标记拦截页面阻止其被索引 这样，只要该页面保持被阻止状态，就将确保网页从Google搜索结果中永久删除。在此之后的任意时间，如果您删除了之前的拦截措施，那么我们将有可能重新抓取和索引网页。如需即时永久的删除网页，您可以使用URL删除工具，清除网页，然后在90天删除请求到期之前，永久拦截该网页的URL地址即可。
2011-09-16
如何让图片站被快速收录
最近帮朋友搞个图片站，刚开始想用织梦系统做的，但是对织梦的标签不是很了解，虽然之前也做过织梦的模板，但都是一两年前的事情了，很久没摸都忘了，于是选择了自己比较熟悉且一直在用的wordpress程序来做，因为做的是图片站（美女类的），所以参考的站点也多，但是朋友说要做好一点的，看上去正规的，不能像有些图片站一进去全是广告，而且眼花缭乱，于是我参考了几个大点的网站，当时想到的是新浪图片、腾讯图片、网易图片，最后无意间看到了图虫，感觉眼前一亮，虽然不是很耀眼，但是感觉很沉稳，于是经过将近一个星期的努力，终于基本弄好了，然后就是一些细节上的东西，像一篇文章中的N张图片分页显示，于是有了上篇文章“wordpress无插件实现单篇文章分页显示”，然后是不同的分类调用不同的模板，还有一些SEO上面的东西，总之试了改、改了试，折腾了很长时间才弄好，现在已经放到网络服务器上了，名字叫“中华美眉吧”，现在内容还不多，百度谷歌也没有收录，接下来就是一直的更新图片，多发点外链，等着百度谷歌的收录，然后再从其他的方面慢慢改进这个网站。 我现在想问的是“如何让图片站被快速收录”呢？？我也在不停的想方法，比如...
2010-09-04
Google URL语法
1. ? 使用Google URL 高级Google用户正是从Google的Web界面搜索域开始测试高级查询技巧的。他们不断地推敲查询关键字直到得到正确的结果为止。每个 Google查询都可以用一个URL来指向搜索结果页面。Google的搜索结果页面不是静态的。它们会在你点击Search（搜索）按钮或者打开一个链 接到结果页面的URL时动态创建的。通过Web界面提交的查询能够打开可以用简单的URL来表示的结果页面。例如，考虑查询ihackstuff。当你输 入这个查询之后，Google立即转向类似于下面的URL： www.google.com/search?q=happysnail.org 如果你收藏了这个URL并在以后打开它，或者在你的浏览器地址栏中输入这个URL时，Google会处理你对ihackstuff的搜索并返回相应 的结果。此时，这个URL不仅是一个连接到结果列表的链接，而且还是Google查询的一种简洁、美观的表达形式。任何经验丰富的Google搜索用户都 能看懂这个URL并知道查询的主题。这个URL也可以相当容易地进行修改。通过把happysnail.org改成h...
2011-09-09
google 重组反向链接
昨天“谷歌中文网站管理员博客”更新了最新的文章，名为《重组内部与外部反向链接分类方式》，一下是引用，大家可以看一下，尤其是对玩SEO的，有些帮助！ 今天，我们将改变我们对网站站长工具中链接数据的分类方式。正如大家所知，网站管理员工具采用两种不同的类别来编列指向您网站的链接，这两种分类为：来自其他网站的链接，以及来自您网站内部的链接。今天的更新不会改变您的链接总数，但希望能够以一种更贴近您想法的方式来呈现反向链接，表明哪些链接是来自您的网站内部的，哪些是来自其他网站的。 您可以在网站管理员工具中管理许多不同类型的网站，比如普通的域名（example.com）、子域名（www.example.com或 cats.example.com），或带有子文件夹路径的域名 www.example.com/cats/ or www.example.com/users/catlover/）。以前，只有以您的网站的确切URL开头的链接才会被被归类为内部链接：所以如果您输入www.example.com/users/catlover/ 作为您的网站，那么，来自 www.example.com/us...
2011-03-19
分享百度经验，让你的网站在百度的权重高起来
今天又写了一篇百度经验，又通过了，前两周刚知道百度经验的时候写了一篇 文章，不知为什么很easy的就通过了，然后通过一段时间分析 网站流量，有不少一部分是从那个百度经验来的，于是今天就又 写了一篇，让他再带点流量过来。我自己分析，由于百度经验分 享了我的这边文章，所以百度对我的网站上的文章的质量应该还 是肯定的，所以对我的网站的权重可能会稍微高一点，这也许就 是我的网站的文章现在可以被百度快速收录的原因吧。所以建议 多去百度投稿不论是百度经验、百度知道、百度身边……这一些 列百度的产品，百度对自己的产品的收录情况、排名等大家都很 明白的，就不多说了，所以我们可以根据这个原理，做百度喜欢 的事情，这样更有利于SEO。 本文来自：魏星博客
2011-05-16
Alexa排名提升到6位数
前段时间找工作，博客基本没更新，今天看了下百度快照还停留在5月6号，以前都是隔天快照，文章基本算是秒收，现在不行了，快照不动，文章不收录（收录也不放出来），有点悲剧。不过令我欣慰的是Alexa全球排名竟然前进到6位数了,以前都是以二百万开外，很是差异，虽然名次还不是很高，不过还是很开心啊。这少不了朋友们的支持啊，谢谢各位朋友的来访支持，我会继续努力的，也会去不断的支持各位朋友，望我们的网站的排名都能提了又提，高了又高，收录多了又多，哈哈……不知道怎么形容了，大家加油吧！