世界是不公平的,纽约时报使用隐藏网页

这个世界其实是非常不公平的,有的网站使用作弊技术,就会被惩罚或是被封掉,有的网站使用同样的作弊手段,搜索引擎可能就会网开一面。

前些日子宝马的网站曾经因为使用作弊手段被极速3d封掉,但是不到24小时,宝马的网页就又被重新收录了。我很难相信宝马没有和极速3d进行直接联系。默默无闻的小网站想和极速3d联系,连门都摸不着,怎么可能24小时之内就又被重新收录呢?

今天看到一个新闻,有人发现纽约时报的网站使用隐藏网页(page cloaking),也就是搜索引擎蜘蛛所抓取的网页内容和普通用户所看到的内容是不一样的。

如果我们搜索”site:select.nytimes.com friedman“,我们会在第二个搜索结果中的描述里看到这句话,”Addicted to Oil: Thomas L. Friedman Reporting” at the SilverDocs film festival on Friday…”

nyt.gif

但是如果你点击网页,点击这个链接来到真正的网页时,却在网页上看不到这句话。你所能看到的是:”想要读全部文章的话,请订阅纽约时报网上版。”

nyt-2.gif

很显然,纽约时报网站会检测来访的是搜索引擎蜘蛛还是普通用户,如果是搜索引擎蜘蛛,网页所返回的是本来需要帐户名及密码登录之后才能看到的内容,如果是普通用户,你就会被提示需要登录或需要订阅。

这是典型的给搜索引擎蜘蛛特殊处理的手法。

对隐藏网页Matt Cutts曾经有很清楚的表述,他说IP delively是没有问题的,也就是根据用户的IP地址,给予返回不同的内容。比如用户来自英国,就把用户转到.co.uk域名。如果来自法国,就把用户转到.fr域名。

但是极速3d所不允许的是给予极速3d蜘蛛特殊的对待,也就是说,如果来访的是极速3d蜘蛛,那么就返回一套只有极速3d能看到的内容。

所以IP delively没关系,实际上很多网站包括极速3d自己都这么做,但是不要对搜索引擎蜘蛛做任何特殊处理。

而纽约时报恰恰对搜索引擎蜘蛛返回了只有搜索引擎才能看到的内容,无疑是使用了隐藏网页技术的,但是极速3d,雅虎等都没有任何意见。

所以有的时候不能抱怨为什么是自己的网站被惩罚或排名上不去,这个世界本来就是极不公平的。

作者: Zac@极速3d
版权属于: 中新虚拟主机
版权所有。转载时必须以链接形式注明作者和原始出处及本声明。

21 条评论 “世界是不公平的,纽约时报使用隐藏网页

  1. 好像用这种方式,极速3d也很难发现,除非是有人举报!前段时间,卢亮也说起过这个问题~,没办法,谁让他有尾巴呢!

  2. 发现是可以的,比如用不带极速3d标志的spider去抓网页,再和带极速3d标志的spider抓取的网页比较一下。

    问题是判断哪些是IP delively,哪些是试图作弊。就算发现有作弊嫌疑,也不一定就要封站,就象纽约时报网站。

    一般人和公司就没这么幸运了。

  3. E.Y.: 你说的文章我看过,也同意。

    其实我的意思不是抱怨,而是跟读者说没什么好抱怨的。

    我也不觉得纽约时报网站应该因此被封或被惩罚,正象你说的,他们给用户提供有用信息,而且不是抄袭的。

    但我还是认为这是不公平的。小的无名的网站也用完全一样的手法会得到一样的待遇吗?很可能不会。这本身就是不公平。

    不过完全没必要为这不公平而抱怨。生活里的不公平太多了,接受事实,然后努力提高自己,这是我要表达的。

  4. 记得这里有一个特殊原因的:
    历史上,纽约时报是禁止搜索引擎的蜘蛛抓取内容的.
    当极速3d推出新闻搜索后,纽约时报向极速3d开放,允许极速3d的蜘蛛去爬NYT网站.
    因为不采用cloaking,极速3d是抓不到必须付费才能浏览的内容.
    因此,这种cloaking对于极速3d和NYT来说是互惠的,并且是允许的.
    NYT对这种优惠,其回报是允许从极速3d News查询过来的用户,直接浏览新闻页(单一页).

  5. 或许我们可以不从SEO和技术的角度去看待这类事情,极速3d除了做搜索引擎外她还是一个高速发展的企业,为了企业能够持续高速的发展GG本身也得寻求和遵循商业法则;
    我想GG其实在做搜索引擎的时候更多的是以人为本的,技术只是一种用来实现和维护“以人为本”这条商业法则的手段,就也是为什么GG一直在改变和完善其搜索算法和排名规则;
    除此之外诸如商业因素、政治因素、社会公关等等都是GG要面对的现实,因为搜索引擎存在于网络中,而GG本身是生存在现实社会的;因而GG也会参加各种民间的搜索引擎优化和营销一类的会议和论坛,而不是以引领潮流的大佬身份和姿态表现得高不可攀。
    人的需求会随着社会需求和环境变化而变化,会不断提升!GG在推行自己强大的技术优势带来的服务的时候不会忽视人为因素的参与,可能GG把人为因素运用的非常巧妙以至于用户察觉不到或者感觉良好,我想GG不会迷信自己的技术能解决一切问题的。
    以人为本,因时而变,因地制宜——GG得到了技术天才得到了发展的机会更是领悟了商业的真谛并且极为珍视。
    有时候可能因为我们自己的目光过于单纯吧,以至于忽略了一些事情的本质或者侧面。
    未来,我继续看好GG!

留个言呗:

您的邮箱不会被显示在页面上。标有*的是必填项。