Massenindizierung von sehr großen Websites

Lösungen

Bisher noch keine Bewertungen für diesen Artikel.

Lösungen

Lösungsansätze

Wie bei jedem Profitrick sind hier ein Tupferl Kreativität und eine gehörige Portion Automatisierung gefragt. Ich kann gar nicht stark genug betonen, dass die im folgenden skizzierten Techniken nur grobe Ansätze sind. Es geht um die Idee, nicht um eine 1:1-Übernahme. Sie sollten sich also genau überlegen, was für Ihren Fall am besten geeignet ist und die Technik entsprechend anpassen. In den meisten Fällen ist eine gewisse Kombination zu empfehlen.

Fangen wir mit den einfachen Beispielen an und arbeiten uns dann in komplexere Gefilde hoch.

Interne Verlinkung von Detailseiten

Das haben Sie bestimmt schon oft gesehen. Bei Amazon heißt es "Kunden, die diesen Artikel gekauft haben, kauften auch ...". Das sind sogenannte "Nachbarseiten". Für den Fall, dass Sie einen direkten Link auf eine Detailseite bekommen, müssen Sie diesen Effekt ausnutzen. Die besten Links sind die, die direkt von der Detailseite auf andere Detailseiten verlinken, nennen wir sie Nachbarlinks. Schließlich ist das nur ein Klick bis zum nächsten Produkt.

Wie Sie diese in Ihr eigenes System einbauen, kommt natürlich auf den Einzelfall an. Der Ansprechpartner für so ein Problem ist Ihr Programmierer.

Denkbar einfach wäre es, einfach auf alle Produkte der gleichen Kategorie zu verlinken. Wenn die Detailseite eine Bohrmaschine "Hersteller Typ XY" beschreibt, dann sollten sich auf dieser Seite auch die Links für alle Bohrmaschinen des gleichen Herstellers befinden. Zusätzlich nicht den Link zur Verbindungseite vergessen!

Der Unterschied zwischen Detailseite und Verbindungseite sollte verschwimmen: Machen Sie einfach jede Detailseite zu einer Verbindungseite. Natürlich dürfen Sie dabei die "Usability" Ihrer Detailsseite nicht zu stark gefährden, denn jede zusätzliche Interaktionsmöglichkeit hat das Potenzial, Ihre Besucher zu verwirren. Die kaufen dann weniger, was nicht im Sinne des Erfinders ist. Um Ihre Detailseiten optimal miteinander zu verbinden, müssen Sie die richtige Menge an Navigation "ertesten".

Dynamische Sitemaps

Erinnern Sie sich noch an unser Beispiel von oben? Die Suchmaschinen sind recht "engstirnig", wenn es um die Indizierung von Seiten geht. Bei einer Seite mit 10.000 Links indizieren sie immer wieder nur die ersten 1.000. Was spricht dagegen, dass Sie anstelle der immer gleichen 10.000 Links in der immer gleichen Reihenfolge einfach Mal die Reihenfolge oder die Anzahl der Links variieren?

Die Sitemap ist beispielsweise von A-Z sortiert. Zeigen Sie in einer Woche die Einträge von A-C, dann D-F, dann G-J, usw. an - immer ungefähr die Menge an Links, die auch von den Suchmaschinen besucht werden. Wie groß diese ist, verrät Ihre Analysesoftware. Welche Sortierkriterien Sie dafür anwenden, entscheidet auch hier wieder am besten Ihr Programmierer.

Wenn die Anzahl der Unterseiten einfach zu groß für eine Seite ist, dann erstellen Sie doch einfach mehr als eine Sitemap. Beispielsweise eine Sitemap für jeden Buchstaben. Anstatt nur auf eine Sitemap zu verlinken, setzen Sie Links "Produkte mit A", "Produkte mit B", "Produkte mit C" etc. (Sicher fallen Ihnen bessere Kategorisierungen ein.) Denken Sie bei der Umsetzung am besten an folgende Fragen: "Was ist am besten für meinen Besucher? Wovon profitiert er am meisten?"

Die magische Rolle

"Deeplinks" sind wie erwähnt entscheidend für den Indizierungserfolg. Das Problem: Wer verlinkt schon freiwillig auf Detailseiten Ihres Online-Shops? Wenn es niemand sonst macht, dann machen Sie es eben selbst. Schließlich spricht nichts dagegen, einfach ein paar zusätzliche Websites zu erstellen, um dann darauf unsere eigenen Produkte anzupreisen.

Wir nutzen also das "Startkapital" aus der obigen Gleichung. Wenn jede unserer Websites ein Startkapital hat, dann können wir uns durch jede weitere Website neues Startkapital "hinzukaufen". Allerdings reicht das bei wirklich großen Websites nicht wirklich aus, denn für eine Website mit 1 Mio. Seiten müssten wir bei einem angenommenen Startkapital von 1.000 auch tausend Websites erstellen - das ist ein wenig unpraktisch.

Wie so eine Seite im Detail aussieht, werde ich weiter unten besprechen. Jetzt geht es erstmal darum, was eine solche Website im Kern ausmacht.

Rollende Websites: Teile und Herrsche!

Im Grunde ist es ganz einfach. Die rollende Website ist nichts weiter als eine Sitemap auf einer anderen Domain. Anstatt zu versuchen, unsere Hauptwebsite mit einer Millionen Unterseiten in den Index zu bekommen, erstellen wir einfach fünf andere Websites, die jeweils nur 200.000 Unterseiten haben. Es könnten auch weniger sein, denn im Laufe der Zeit wandern immer mehr Seiten in den Index. Dann brauchen wir irgendwann nicht mehr so viele komplette Websites. Die Daumenregel ist jedoch: Je mehr, desto besser.

Geheimwaffe permanente Umleitung

Das Besondere dabei ist, dass wir uns eine einfache und völlig legitime Technik zu Nutze machen, um eine indizierte Seite von der rollenden Website zur Hauptwebsite umzuleiten. Der "301 permanent redirect" erfüllt genau diese Funktion. Er ist dazu da, der Suchmaschine mitzuteilen, dass sich eine Seite, die ehemals unter rollende-website.xy/123.html lag, jetzt unter hauptwebsite.xy/123.html befindet. Dabei wird auch jeglicher "Suchmaschinensaft" mitübertragen. Dieser Aspekt beschreibt das "Rollen" im Begriff "rollende Website".

In der Praxis sieht das dann so aus: Wir optimieren unsere rollenden Websites und sorgen dafür, dass eine Seite von den Suchmaschinen indiziert wird. Ob das der Fall ist, können wir bei Google leicht mit dem Suchbegriff [site:rollende-website.xy inurl:123.html] herausbekommen. Bei anderen Suchmaschinen sind es ähnliche Anweisungen. Da Sie sehr viele Abfragen an Google schicken, sollten Sie deren API-Schnittstelle verwenden. Die ist dafür vorgesehen und für diesen Zweck ideal.

Wir müssen nur ein Skript programmieren, das jede Nacht für unsere rollenden Websites läuft und überprüft, ob eine bestimmte Seite dort bei allen für uns wichtigen Suchmaschinen indiziert ist. Wenn das der Fall ist, können wir die entsprechende Seite markieren, z.B. in einem Feld in der Datenbank, und eine 301-Umleitung einrichten. Wenn die Suchmaschine das nächste Mal auf die Seite rollende-website.xy/123.html kommt, wird sie mit einem 301 Redirect nach hauptwebsite.xy/123.html umgeleitet.

Für wen sind die rollenden Websites sinnvoll?

Bedeutet das, dass Sie anstatt einer Website gleich sechs Websites betreuen müssen?

Genau das bedeutet es. Daher an dieser Stelle ein paar Worte dazu, für wen und wann das Ganze nicht sinnvoll ist, auch wenn Sie eine große Website haben, die Probleme bei der Indizierung hat.

Nicht sinnvoll sind die rollenden Websites, wenn

  • Sie nicht wissen, wie Sie herausfinden sollen, welche Seiten überhaupt indiziert sind.

  • Sie erst ein paar Wochen warten und sich wundern, warum noch nicht alle 500.000 Seiten indiziert sind. Indizierung dauert. Auch mit Spezialtricks lassen sich nicht automatisch jede Woche eine Millionen Seiten indizieren.

  • Sie die Technik "rollende Website" als erste Lösung für das Problem ausprobieren wollen.

Anders gesagt: Ihr Problem besteht schon länger und Sie haben auch schon so ziemlich alles andere ausprobiert? Egal, was Sie machen, es klappt einfach nicht? Erst dann sollten Sie über rollende Websites nachdenken!

Der große Vorteil

Der größte Vorteil einer rollenden Website ist jedoch, dass Sie sie in Zukunft auch für andere Projekte einsetzen können. Der Anfangsaufwand ist in jedem Fall hoch. Aber der potenzielle ROI in der Zukunft um ein Vielfaches höher.

Zusatznutzen

Neben der oben erwähnten "Kernfunktionalität" kann eine rollende Website alles mögliche an Zusatznutzen anbieten. Nur Ihre eigene Fantasie begrenzt Sie dabei.

Denken wir uns einfach mal ein schönes Beispiel für den Bereich Werkzeug und Baumaterial aus. Sie haben über 100.000 einzelne Seiten und schaffen es einfach nicht, mehr als ein Zehntel davon auch in die Suchmaschinen zu bekommen. Also entscheiden Sie sich dafür, eine rollende Website zu erstellen.

Zusätzlich zur Kernfunktionalität der "externen Sitemap" sorgen Sie jedoch für weiteren Content: Sie engagieren ein oder zwei Hobbyhandwerker, die auf der rollenden Website jede Woche über Ihre Projekte schreiben. Die Handwerker basteln an interessanten Produkten und schreiben kräftig darüber: Sie erklären, wie man richtig mit der Kreissäge umgeht und was beim Kauf einer Bohrmaschine zu beachten ist. Mal schreiben Sie über News in der Branche, mal an einem ausführlichen Tutorial zur besten Methode, Löcher in Holz zu bohren. Zwischendurch gibt es immer wieder mal ein informatives Schulungsvideos "Wie baue ich meinen ersten Stuhl aus Holz". Wie weit Sie dabei gehen, entscheidet Ihr Budget. Aber eines steht fest, je mehr "Herzblut" Sie in Ihre neue rollende Website stecken, desto besser wird Sie funktionieren. Außerdem verringern Sie so die Wahrscheinlichkeit, dass sie als "Spam" ganz aus dem Index fliegt. Seien Sie gut zu den Suchmaschinen, dann sind diese auch gut zu Ihnen.

Webservice für rollende Websites

Vielleicht haben Sie keine Ressourcen für eine so umfangreiche rollende Website. Dann ist dieser Bonus-Tipp bestimmt etwas für Sie:

Anstatt selbst so eine rollende Website zu bauen, entwickeln Sie ein System, das einfach in andere Websites integriert werden kann, beispielsweise als Wordpress-Plugin oder ein einfaches Skript in PHP. Das Programm besteht aus zwei Teilen. Sie pflegen intern eine Liste mit Links auf Seiten, die noch nicht indiziert sind. Nach außen liefern Sie ein Skript, das bei jedem Seitenaufruf den Webservice auf Ihrem Zentralserver nach den Links von noch nicht indizierten Seiten fragt und sie auf der Seite des Betreibers anzeigt. Ob Sie Ihre Seiten auf der Betreiberseite dann "rollen", bleibt Ihnen überlassen. Vielleicht reicht ja schon ein einfacher Link aus?

Viele werden so etwas allerdings nicht kostenlos einbauen - aber es spricht ja auch nichts dagegen, ein paar fleißige Blogautoren für ihre gute Arbeit zu sponsern.

Fazit

Wie Sie sehen, ist jede dieser Techniken für sich genommen völlig simpel und harmlos. Die Mischung und der Grad der Automatisierung entscheiden darüber, wie gut es funktioniert. Fangen Sie mit den einfachen Techniken an und arbeiten Sie sich dann langsam hoch. Es versteht sich von selbst, dass Sie komplexere Techniken gar nicht ausprobieren müssen, wenn auch die einfachen schon zum Erfolg führen.

Ich hoffe, die Techniken aus diesem Artikel dienen Ihnen als Anregung, Ihren ganz eigenen Mix zu entwickeln. Und wenn Sie neue Ideen für das Powerindexing oder gute Erfahrungswerte haben, dann hinterlassen Sie doch bitte Ihre Meinung unten im Feedbackformular!