Web-Roboter

für die Liste aller Seiten

Autoren, Administratoren

Nofollow links

Das Standard-PmWiki-Skin fügt zu allen verfügbaren Aktionen (Anzeigen, Bearbeiten, Versionen, Anhängen, Druckansicht und Backllinks) "rel=nofollow" hinzu. Das ist eine Vereinbarung, die von Google eingeführt wurde und die Web-Robotern anweist, den Verweisen nicht zu folgen und den Inhalten, auf die mit dem Verweis zugegriffen wird, keine Bedeutung zuzumessen. ^[1]

Beachten Sie, dass viele Roboter, einschließlich Yahoo! Slurp und msnbot, das "nofollow"-Attribut in den Verweisen vollständig missachtet.

Die Anti-Spam-Vereinbarung, die "nofollow" zuerst eingeführt hat, sagte nichts aus darüber, dass Roboter dem Verweis nicht folgen, sondern nur, dass Verweise mit "rel=nofollow" in Suchergebnissen keine Gewichtung erhalten sollen.

Sie können selbst rel=nofollow zu jedem ihrer Verweise hinzufügen, indem Sie die Wikistile verwenden:

%rel=nofollow$[[Ihr Verweis]]%%

Die Datei `robots.txt`

Hier ist ein Beispiel für den Inhalt einer robots.txt-Datei, das vor Allem den Robotern sagt, sie mögen Verweisen mit 'action=' nicht folgen:

User-agent: *
Disallow: /pmwiki.php/Main/AllRecentChanges
Disallow: /pmwiki.php/
Disallow: */search
Disallow: SearchWiki
Disallow: *RecentChanges
Disallow: RecentChanges
Disallow: *action=
Disallow: action=
User-Agent: W3C-checklink
Disallow:

Roboter Variablen

Wir können nun bessere Kontrolle über Roboter(webcrawler)-Interaktionen mit einer Site unterstützen, um die Serverlast zu verringern.

$RobotPattern: wird genutzt, um Roboter auf Basis des user-agent strings zu identifizieren.
$RobotActions: Jede Aktion, die nicht in dieser Liste enthalten ist, führt zu einer 403 Forbidden response to robots-Meldung
$EnableRobotCloakActions: Setzen dieses Flags eliminiert jede verbotene Aktion (?action=values) von den Seitenverweisen, die an die Roboter gemeldet werden, was die Bandbreitenbelastung durch Roboter noch weiter reduzieren wird (PITS:00563).
$MetaRobots: see Die Layout-Variablen

Siehe auch

Cookbook:Controlling WebRobots -
http://robotstxt.org/
http://sitemaps.org/
https://support.google.com/webmasters/answer/96569?hl=de
Wikipedia:Robots.txt Robots Exclusion Standard
http://microformats.org/wiki/rel-nofollow, http://www.nonofollow.net/
Category: Robots