用robots.txt探索Google Baidu隐藏的秘密

日期：2006年12月6日作者：查看:[大字体中字体小字体]

搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。但是，如果网站的某些信息不想被别人搜索到，可以创建一个纯文本文件robots.txt，放在网站根目录下。这样，搜索机器人会根据这个文件的内容，来确定哪些是允许搜寻的，哪些是不想被看到的。

　　有趣的是，这种特性往往用来作为参考资料，猜测网站又有什么新动向上马，而不想让别人知道。例如通过分析Google的robots.txt变化来预测Google将要推出何种服务。

　　有兴趣的读者可以看一下Google的robots.txt文件，注意到前几行就有“Disallow: /search”，而结尾新加上了“Disallow: /base/s2”。

　　现在来做个测试，按照规则它所隐藏的地址是http://www.Google.com/base/s2，打开之后发现Google给出了一个错误提示：“服务器遇到一个暂时性问题不能响应您的请求，请30秒后再试。”

图1

　　但是把s2最后的数字换成1、3或者别的什么数字的时候，错误提示又是另一个样子：“我们不知道您为什么要访问一个不存在的页面。”

图2

　　很显然“/base/s2”是一个特殊的页面，鉴于Google曾表示过今年的主要焦点是搜索引擎，我们推测一下，所谓的“s2”是否表示“search2”，也就是传说中的第二代搜索引擎？　出于好奇，尝试了一下百度的robots.txt，比密密麻麻的Google简洁了许多，只有短短几行：

　　User-agent: Baiduspider
　　Disallow: /baidu

　　User-agent: *
　　Disallow: /shifen/dqzd.html

　　第一段就不用说了，第二段也遇到了同样打不开的错误，不过，按以前的资料来看，这是百度曾经的竞价排名的区域核心代理一览表以及地区总代理一览表，出于某些可以理解的原因做了模糊处理。

图3
（出处：急速软件下载学院）
用robots.txt探索Google Baidu隐藏的秘密相关文章：
·揭示秘密打开隐藏文件的方法
·保护隐私去除留在电脑中的秘密
·揪出Vista年龄和其它更多隐藏秘密
·不让自己的秘密留在别人的电脑中
·Leopard系统10个鲜为人知的秘密
·Lava-Lava 精彩部落秘密无限
·小心Word 2007的旧文档转换功能泄露秘密
·巧妙利用三键秘密隐藏重要文档
·Windows秘密升级引起恐慌微软忙道歉
·不看不知道 Vista回收站暗藏的大秘密
用robots.txt探索Google Baidu隐藏的秘密相关软件
·一连串离奇死亡的惊人秘密：天眼(完全重写版)
·越狱秘密潜入
·《我在黑手党的秘密生涯》
·中国秘密战
·搜主义Google持续成长的秘密
·到处是秘密v2.6
·吸血鬼效应：日本经济奇迹的真正秘密
·奥林匹斯山的秘密
·隐藏的秘密
·秘密潜入701

上一篇:[劲乐团]关于o2成绩爆发的心得

下一篇:WinZip 11新玩法 6步"变身"自动备份软件

特别声明：本站除部分特别声明禁止转载的专稿外的其他文章可以自由转载，但请务必注明出处和原始作
者.文章版权归文章原始作者所有.对于被本站转载文章的个人和网站，我们表示深深的谢意。如果本站转
载的文章有版权问题请联系编辑人员,我们尽快予以更正. 转载请注明来源：http://www.hackhome.com

用robots.txt探索Google Baidu隐藏的秘密

精品推荐

热点TOP10

特别推荐