Wie kann ich vermeiden, dass Google alle Suchresultate crawlt und damit unnötig viele Anfragen verursacht?

Wenn Google, Bing, Geizhals oder ähnliche Suchmaschinen und Preisvergleichsseiten (sogenannte "Bots") einen Shop durchsuchen, werden oft auch die Ergebnisseiten von FINDOLOGIC durchsucht. Dies kann aufgrund der Filter-Links zu sehr vielen Anfragen führen. Die Indizierung der Ergebnisseiten durch Bots ist meist unnötig, da der Artikelbestand bereits über die normale Navigation und Artikelseiten indiziert und bei den Suchmaschinen gefunden wird. Darüber hinaus ist die Indizierung der Ergebnisseiten meist auch nicht zielführend, da die Bots alle möglichen Kombinationen von Filtern anwählen und indizieren, die Kunden in dieser Konstellation nie anwählen würden.

Das Ausschließen von Google aus FINDOLOGIC hat keinerlei negativen Einfluss auf das Ranking bei Google.

Da in der Grundgebühr der FINDOLOGIC Tarife nur eine gewisse Anzahl von monatlichen Suchanfragen enthalten ist, kann dies zu einer Überschreitung des Tarifs und damit zu weiteren Kosten führen. Soweit möglich werden Anfragen von Bots aus Kulanz nicht verrechnet. Um Missverständnisse zu vermeiden, bitten wir Sie aber in eigenem Interesse, die Bots mit den unten stehenden Hinweisen auszuschließen.

Ein Hinweis auf mögliche Bot-Anfragen wäre z.B. eine ungewöhnlich hohe Anzahl an Suchanfragen nach EANs/Artikelnummern in Ihrem Shop. In diesem Fall kontaktieren Sie uns bitte unter Angabe des Reporting-Zeitraums und der auffälligen Suchanfragen unter support@findologic.com.

Die tatsächlich verrechneten Anfragen (ohne Bots) finden Sie auf Ihrer monatlichen Rechnung.

Und so geht's: robots.txt anpassen

Erstellen Sie dazu eine Datei namens "robots.txt" im Wurzelverzeichnis Ihrer Webpräsenz. Je nach Shopsystem muss diese unterschiedliche Anweisungen enthalten, diese finden Sie im Folgenden. Falls die Datei schon existiert, dann fügen Sie Folgendes am Ende hinzu.

Überprüfen

Um die korrekte Einbindung der robots.txt zu prüfen, können Sie folgende Tools verwenden:

  1. Google Webmaster Tools
  2. https://de.onpage.org/free-tools/robots-txt/
Sie benötigen dort jeweils eine Such-URL, die geprüft wird. Führen Sie hierzu einfach eine Suche durch und kopieren Sie dann die Adresse in der Adressleiste Ihres Browsers in das entsprechende Feld des Tools. Die angegebenen Zeilen reichen in der Regel um die wichtigsten Bots auszuschließen. Bots die sich nicht an die angegebenen robots.txt Direktiven halten, werden jedoch vor Erstellung der Rechnung auf Seiten von FINDOLOGIC nochmals herausgerechnet.
<meta name="robots" content="noindex">

 

plentyMarkets

User-agent: *
Disallow: *ActionCall=WebActionArticleSearch*
Disallow: *service=selector*

Beachten Sie bitte, dass die Überprüfung (s.u.) möglicherweise eine Warnung ausgibt:

Besides the major search engines, most crawlers don't support wildcard matches and will most likely misunderstand or ignore them.

Diese kann ignoriert werden, da sie sich nur auf kleine Bots bezieht; Google und Bing verarbeiten die Direktive korrekt.

OXID

User-agent: *
Disallow: /index.php?cl=search
Disallow: /*?cl=search
Disallow: /*&cl=search

Magento

User-agent: *
Disallow: /catalogsearch/result/ 

xtCommerce (Version bis 3.x)

User-agent: *
Disallow: /findologic.php? 

xtc-Veyton

User-agent: *
Disallow: /suche.html? Disallow: /de/vt_findologic? Disallow: *page=vt_findologic* Disallow: /search?sSearch

osCommerce

User-agent: *
Disallow: /findologic.php? 

xanario

User-agent: *
Disallow: /xanario_findologic.php? Disallow: /xanario_search.php?

Mondo Media

User-agent: *
Disallow: /index.php?search= Disallow: /index.php/de/Suchergebnis/f-led? Disallow: /index.php?*search=

Gambio

User-agent: *
Disallow: /findologic.php?
Disallow: /advanced_search_result.php? 

IntelliShop

User-agent: *
Disallow: /productsearch?

omeco

User-agent: *
Disallow: /item//0/0//.html/search/
Disallow: /search/0/0/0/0/

ShopWare

User-agent: *
Disallow: /suche?
Disallow: /shopware.php/sViewport,search
Disallow: /search?s*sSearch
Disallow: /search?sSearch
Disallow: /search/index/sSearch/
Disallow: /SwpFindologic/

Mauve

User-agent: *
Disallow: /search/find/* 

Websale

User-agent: *
Disallow: *?Ctx=*act=search*
Disallow: /websale7/?Ctx*%3dsearch%26search%5finput%3*  

e-vendo

User-agent: *
Disallow: /findologic.php?
Disallow: /e-vendo.php?*a=search 

Eigenes / Sonstiges

Bei hier nicht aufgeführten Systemen oder Eigenentwicklungen können keine vorgefertigten Anweisungen zur Verfügung gestellt werden. Bitte wenden Sie sich bei Fragen an den Entwickler des Systems.

Haben Sie Fragen? Anfrage einreichen

Kommentare

Powered by Zendesk