Manchmal möchte man zwar eine Seite generell im Index haben, jedoch einige Absätze nicht. Das ist zum Beispiel der Fall, wenn man auf einer Seite ansonsten Duplicate Content hätte. Nun stellt sich natürlich die Frage, ob man einzelne Teile einer Seite nicht indexieren kann?
Laut Google lassen sich einzelne Bereiche nicht deindexieren
Genau diese Frage hat John Müller gestellt bekommen und klargestellt, dass es ohne komplizierte Workarounds nicht möglich ist. Wie diese genau aussehen, wurde dabei nicht erwähnt.
Dabei ging es insbesondere um das bekannte Gerücht von googleon und googleoff. Laut zahlreichen Gerüchten kann man mit diesem Code gewisse Bereiche einer Seite nicht indexieren. In Wirklichkeit geht es hierbei nur um einen Befehl für die Google Search Appliance.
Wie man generell mit so einer Situation umgeht
Es kommt natürlich ein wenig auf die genaue Situation an, aber wir schauen uns mal zwei Beispiele und die jeweilige Lösung anschauen.
Kategorieseiten bei einem Shop oder einem Blog
Die wohl häufigste Situation, bei dem man normalerweise mehrere Seiten mit sehr ähnlichen Text hat, sind Kategorieseiten. Sowohl in Onlineshop als auch bei Blogs nutzt man oft einen Beschreibungstext, um die Relevanz der jeweiligen Seite zu steigern.
In diesem Fall hat man in der Vergangenheit mit rel=prev/next gearbeitet, doch das wird bereits seit Jahren nicht mehr von Google interpretiert. Laut vieler Quellen ist es zwar kein Nachteil, wenn man es noch verwendet, doch den entsprechenden Effekt bei der Indexierung hat es eben nicht mehr. Ein interessanter Artikel zu dem Thema findet man hier: https://searchengineland.com/what-killing-relprev-next-means-for-seo-314967
Nun muss man sich an dieser Stelle folgende Frage stellen: Bietet die Kategorieseite für den Besucher einen Mehrwert oder nicht? Sollte die Kategorieseite selbst nicht wirklich zielführend sein (z.B. durch ein Thema, dass nicht gesucht wird), kann die Kategorieseite selbst deindexiert werden. Wenn der Inhalt dagegen einen konkreten Mehrwert hat (z.B. eine Kategorie für eine Produktgruppe in einem Shop mit hilfreichen Informationen), können die weiteren Seiten deindexiert werden, während die Hauptseite weiter indexiert wird.
Inhalte, die keine Relevanz haben
Wenn man dagegen Inhalte hat, die für Google keine Relevanz haben, sollte man sich fragen, warum das der Fall ist. Unter welchen Umständen sollte man einen einzelnen Bereich einer Seite nicht indexieren lassen?
Als Beispiel hat hier ein Forenbetreiber das indexierten der Signaturen seiner Nutzer genannt ( https://webmasters.stackexchange.com/questions/16390/preventing-robots-from-crawling-specific-part-of-a-page). Dieser Beitrag ist nun etliche Jahre alt, generell sollte Google intelligent genug sein, solche Sachen zu erkennen.
Sollte man dennoch nicht wollen, dass gewisse Inhalte einer Seite indexiert werden, kann man diese als Bild einfügen. Bilder werden von Google anders behandelt, auch wenn sich nur Text darauf befindet. So kann man Inhalte vermitteln, die so nicht indexiert werden. Doch Vorsicht: Auch hier handelt es sich um ein Streitthema, da Google durchaus den Text in den Bildern lesen kann. Wie das genau von Google behandelt wird, ist nicht bekannt.
Fazit: Ganz oder gar nicht
Selbstverständlich lassen sich per noindex einzelne Unterseiten nicht indexierten, doch eine indexierte Seite wird von Google komplett gecrawlt. Sollte man Inhalte haben, die nicht in Google auftauchen sollen, gehören die auf eine separate Seite. Auf Hacks solltes man sich nicht verlassen, da die irgendwann von Google erkannt werden.
