Zum Inhalt springen

Wie kann ich eine Suchmaschine (bad bot) beschränken oder blockieren?

Manchmal greifen agressive Suchmaschinen zu oft auf Ihre Website oder Ihren Shop zu und erzeugen dadurch unnötige Last. Sie können ungewünschte Suchmaschinen auch aussperren.

Um einen Bot komplett zu sperren, erstellen Sie im Root Ihrer Website eine Datei mit dem Namen "robots.txt" und fügen folgende Zeilen ein:

User-agent: Yandex
Disallow: /

Sie können für beliebige ungewünschte Suchmaschinen weitere Zeilen einfügen. Damit weisen Sie diese Suchmaschinen an, Ihre Website NICHT zu indizieren/belasten. Wenn Sie in Suchmaschinen nach "bad bot list" suchen, erhalten Sie einige Treffer, die vielleicht nützlich sind.

Sie können auch alle Bots beschränken in dem Sie folgende Zeile setzen:

User-agent: *
Crawl-delay: 10

Doch leider hören nicht alle Bots auf diese Einschränkung - manche schon, manche nicht.

Eine weitere Möglichkeit ist, einen Bot über die .htaccess zu sperren. Wenn Sie den Namen des Bots kennen, zB BaiduSpider, funktioniert eventuell folgender Eintrag:

RewriteCond %{HTTP_USER_AGENT} baiduspider [NC]
RewriteRule .* - [F]

 

 

 

Zurück