Inktomisearch
Über Inktomisearch und wie die Flut an Anfragen bewältig werden kann
Immer mehr und mehr Webmaster beklagen sich, dass Inktomisearch Ihnen mehrere Gigabyte an Taffic pro Monat raubt. Dies ist natürlich bei Besitzer mit wenig monatlichem Traffic sehr ärgerlich.
Inktomi wurde von Yahoo aufgekauft und spidert seit dem den Index für viele Suchmaschinen, wie msn, espotting und natürlich yahoo. Die Ergebnisse werden aber auch an Vermarkter wie overture, Amazon.com, eBay, HotBot, MSN and WalMart.com verkauft
Der zutreffende Bot-Name Slurp (deutsch: Schlürfen), wurde sehr gut gewählt, denn er Saug was das Zeug hält. Deshalb verfügt Inktomisearch inzwischen über mehr als 3 Milliarden Dokumente.
Wenn Ihre Internetseite von Inktomisearch indiziert wird, hat dies für Sie als Webmaster natürlich viele Vorteile, denn Inktomi liefert die Ergebnisse an eine Vielzahl an Suchmaschinen. Sollten Sie jedoch auf Traffic achten müssen, und in Ihrer Besucherliste schon 10% aller Besuche von Inktomi getätigt werden, ist dies nicht mehr so erfreulich. Es werden Mechanismen benötig, um diese Flut an Suchanfragen bewältigen zu können.
Für alle, die den kompletten Zugriff für Inktomisearch verhindern möchten, hilf ein Eingriff die die .htaccess weiter. Mit folgendem Code sollte das Problem gelöst sein:
# block Inktomisearch
User-agent: Slurp
Disallow: /
# block Inktomisearch
User-agent: Slurp/2.0
Disallow: /
# block Inktomisearch so
User-agent: Slurp.so/1.0
Disallow: /
# block Inktomisearch si
User-agent: Slurp/si
Disallow: /
# block Inktomisearch - cat
User-agent: Slurp/cat
Disallow: /
Für alle, die nur bestimmte Seiten vor Inktomisearch verbergen möchten, sollte folgende PHP-Datei weiterhelfen. Diese blendet den gesamten Inhalt einer Seite beim Besuch von Inktomisearch aus.
<?php
//Hide contents from inktomisearch
$dns = @gethostbyaddr(getenv("REMOTE_ADDR"));
if(ereg("inktomisearch",$dns)){
exit;
}
?>
Wenn Sie verhindern möchten, dass Inktomisearch Ihre Seite Indiziert, sollte auch folgender Meta-Tag weiterhelfen, denn
Inktomisearch Slurp beachtet laut Yahoo den noindex-Tag. Diese Methode würde sich jedoch auch auf jede andere Suchmaschine, wie z.B. Google auswirken!