Einsichten nach 15 Monaten Conversion-Optimierung

Disclaimer: Das ist ein Einsteiger-Artikel. Er soll helfen, schneller zu einem sinnvollen und ergebnisreichen Testing-Prozess zu finden, als das bei uns der Fall war. Es geht hier nicht um Testideen, sondern um die richtige Haltung zur Conversion-Optimierung.

Wir haben uns vor ca. 15 Monaten entschlossen, endlich das Thema Conversion-Optimierung strukturierter anzugehen. Vermutlich aus denselben Gründe, die alle Online-Marketer zum Thema Conversion-Optimierung bringen:

    • Die Conversion-Optimierung ist bei Sites mit hohem Traffic und vielen Conversions ein extrem starker Hebel, um die Performance zu steigern. Hinter der Aussage steht folgende Rechnung:
      Traffic x Conversion-Rate x durch. Warenkorb = Umsatz
      Am Beispiel gerechnet:
      100.000 x 0,02 x 40 Euro = 80.000 Euro
      Bei nur 10% Steigerung der Conversionrate – also von 2% auf läppische 2.2% – landen wir bei:
      100.000 x 0,022 x 40 Euro = 88.000 Euro
      8.000 Euro Mehrumsatz bei einer auf den ersten Blick einfach zu erreichenden Steigerung.
    • Die Kosten für die Neuakquise liegen im Vergleich zu solchen Beispielrechnungen in der Regel sehr hoch. Ein weiterer Grund eher an der Optimierung des bestehenden Traffics zu arbeiten.
    • Unfassbar viele Fallstudien zeigen, mit welch einfachen Änderungen große Verbesserungen möglich sind. Wieso sollte man diese einfachen Möglichkeit verpassen? 🙂
    • Die Eintrittshürden sind mittlerweile sehr niedrig. Die Tools kosten häufig im Vergleich zu den Adwords-Ausgaben nur noch einen Bruchteil. Außerdem sind die Tools extrem einfach zu handhaben und Tests scheinen mit den Bordmitteln wie visuellen Editoren leicht umsetzbar zu sein. Als Beispiel ein Promotion-Video von Visual Website Optimizer:

Nachdem wir selber ein wenig rumprobiert haben, kam dann doch noch ein Dienstleister hinzu, der uns geholfen hat, die wichtigsten Punkte beim Aufsetzen eines anständigen Test-Prozesses in den Griff zu bekommen. Nach 15 Monaten sind wir jetzt auf einem ganz guten Weg und haben in dieser Zeit folgende Dinge gelernt:

1. Schätze Fallstudien richtig ein

… oder lies sie besser gleich gar nicht. Ich weiß, dass die Versuchung groß ist, diese Fallstudien immer wieder zu lesen. Zum einen gibt es sie scheinbar an jeder Ecke. Vor allem Tool- oder Service-Anbietern (z.B. hier und hier) nutzen Sie gerne um auf die möglichen Erfolgsaussichten zu verweisen. Die Fallstudien geben außerdem ein gutes Gefühl, auf das richtige Pferd gesetzt zu haben. Und nicht zuletzt bieten sie vielen Neulingen einen Anhaltspunkt, was alles getestet werden könnte.

Ich persönlich habe die Erfahrung gemacht, dass Fallstudien oft eine falsche Erwartungshaltung in der Conversion-Optimierung begünstigen (und stehe damit nicht allein da). Aber vielleicht muss man auch hier relativieren: Mir persönlich blieb es bislang versagt, einen auch nur im Ansatz ähnlichen Erfolg berichten zu können, wie er in vielen Fallstudien beschrieben wird. Mir scheint es jedenfalls so, dass Fallstudien außergewöhnliche Erfolgsgeschichten sind, die sich nicht einfach mal schnell reproduzieren lassen. Wer Fallstudien so liest, kann sich gegen die Ernüchterung, die ich nach ein paar Monaten empfand bestimmt gut wappnen.

2. Aussagelose Tests sind der Normalfall

Auch das war eine bittere Einsicht: Wenn es um die Formulierung von Tests geht, dann fehlt es meistens nicht an Ideen. Also legt man voller Begeisterung los und spätestens beim vierten Test ohne signifikante Ergebnisse fragt man sich, was man eigentlich falsch macht.

Das zeigt vor allem: Wir haben in der Regel kaum Ahnung davon, was unseren Nutzern wirklich wichtig ist. Wüssten wir das ganz genau, wäre es ein leichtes nur die relevanten Dinge zu testen. Und mit „wüssten wir das ganz genau“ meine ich nicht das in der Geschäftsleitung fest verankerte „Wissen“ über Kunden und deren Online-Verhaltensmuster. Auch die Daten aus der Webanalyse helfen da oft kaum weiter. Damit erkennen wir nur, wo es Probleme gibt (z.B. hohe Absprungraten, Ausstiege im Checkout), aber leider nur selten, warum es zu diesen Problemen kommt (Warum springen die Nutzer wieder ab?). Es gilt also Hypothesen vorzuqualifizieren und konkreter zu fassen, indem man z.B. Mini-Surveys auf den betroffenen Seiten durchführt. Qualaroo bietet dafür eine hervorragende Möglichkeit.

Ein weiteres Problem ist, dass der Prozess der Hypothesenbildung oft auf den Kopf gestellt wird. Ich erlebe es immer wieder, dass in Design-Diskussionen pauschal auf das A/B-Testing verwiesen wird. Sollen wir eher mit einer Tab-Struktur arbeiten oder die Elemente untereinander platzieren? Mach einen A/B-Test! Sollen wir den Lieferbarkeitsstatus bei den Produkten direkt am Warenkorb-Symbol oder bei der Produktbeschreibung platzieren? Mach einen A/B-Test! Um das klar zu stellen: Sicher ist es sinnvoll all diese Dinge zu testen. Aber erst dann, wenn man eine klare Hypothese dazu hat, welchen Einfluss sie auf das Nutzerverhalten haben können. Ansonsten tut man sich mit der Zielsetzung und der Definition der Erfolgskennzahlen schwer.

Was ist denn jetzt eine gute Erfolgsquote bei der Conversion-Optimierung? Wir haben bei unserem Tool-Anbieter einfach mal nachgefragt, welche Erfolgsquote er für gut hält. Die ernüchternde Antwort: Mit ca. 10% Tests, die ein signifikantes Ergebnis zeigen, sei man eigentlich gut dabei. Das soll jetzt nur eine Vorstellung davon geben, mit welchen Quoten viele Sitebetreiber arbeiten – und wie weit das von der Erwartungshaltung viele Neulinge in der Conversion-Optimierung entfernt liegt.

3. Setze ein anständiges Test-Management auf

Wieder so ein Punkt, an dem sich das eigene Engagement schnell gegen einen wenden kann. Folgende Fragen waren bei uns Warnzeichen:

  • Haben wir das nicht schon einmal getestet?
  • Was haben wir uns eigentlich bei diesem Test gedacht?
  • Was kam noch einmal bei diesem Test heraus?
  • Was wollen wir als nächstes testen?
  • Ist der Test jetzt schon freigegeben oder gab es Probleme?
  • Und so weiter, und so weiter …

Wir haben das Management der A/B-Test mittlerweile mit einfachen Mitteln im Griff. So bleibt auch mehr Zeit sich über wichtige Fragestellungen (Hypothesen und deren Umsetzung in Tests) den Kopf zu zerbrechen. Ein großartiger Nebeneffekt dabei ist, dass wir immer im Blick haben, ob auch genügend Tests in der Pipeline stehen und so unser Test-Tool immer ausgelastet ist.

Screenshot des A/B-Test Management mit Trello

4. Investiere (ein wenig) in Design & Technik

Die populären Tools zum A/B-Testing bringen meist visuelle Editoren mit, die es auch Technik-Minderbemittelten (wie mir) erlauben sollen, Tests aufzusetzen – und das auch noch unabhängig von der IT.

Leider wird diese Erwartung aber oft enttäuscht. Der Einsatz der visuellen Editoren ist tatsächlich bei den wenigsten und den allereinfachsten Experimenten sinnvoll. Wenn es also darum geht, ein Element in der Variante zu löschen oder zu verschieben. Etwas komplexere Tests erfordern meist den Eingriff auf Code-Ebene. Auch das ist direkt in den Test-Tools zu machen – setzt aber voraus, dass man zumindest Grundkenntnisse in den gängigen Web-Sprachen hat.

Dazu kommt, dass es oft gar nicht so leicht ist, Varianten zu gestalten, die nicht hässlich sind. Hier öffnet einem die Arbeit mal die Augen, worin der Mehrwert eines gelernten Designers besteht. Meistens krittelt man ja nur an Entwürfen herum. Einen Entwurf mal selber erstellen ist aber eine ganz andere Nummer. Ich habe auch die Erfahrung gemacht, dass es leichter ist, stimmige Entwürfe in den Varianten zu verteidigen als hässliche – da können die Daten eine noch so wichtige Rolle spielen.

Für mich ist deshalb klar, dass es wirklich sinnvoll ist, ein paar Euro für Design & Technik zu reservieren. Wer das verpasst, tut sich langfristig keinen Gefallen.

5. Schätze die Voraussetzungen für Tests korrekt ein

Wir haben massiv unterschätzt wie viel Traffic und Conversions notwendig sind, damit signifikante Ergebnisse in einem angemessenen Zeitrahmen zu sehen sind. Wenig hilfreich ist, dass nur wenige Toolanbieter eine klare Vorstellung davon geben, wie viel Traffic und Conversions notwendig sind, um wirklich signifikante Ergebnisse zu erzielen.

Eine ganz gute Vorstellung von der Stichprobe liefert der Sample Size Rechner von Optimizely. Nehmen wir mal folgende Dinge an: Wir starten einen Test. Bislang sehen wir eine Conversionrate von 3% und wir wollen Veränderung von 10% sehen. Das alles bei einer statistischen Signifikanz von 95%. Wenn wir das alles eingeben kommen wir zu folgenden Ergebnissen:

Berechnung der Minimum Sample Size für einen detectable effect von 10%

Über 50.000 User (!) pro Variante, die getestet werden soll! Aber es wird noch besser: Gehen wir bei denselben Rahmenbedingungen davon aus, dass wir lediglich 5% Veränderung der Conversionrate erwarten. Hier die Werte aus dem Rechner:

Berechnung der Minimum Sample Size mit einem detectable effect von 5%

Bei vier Varianten bräuchten wir also knapp 1.000.000 User. So viel also zur Größe der Stichprobe.

Aber sogar, wenn man Stichproben hat, die groß genug sind, stellt sich die Frage, wie lange Tests laufen sollen, damit die Ergebnisse verlässlich sind. Die statistische Signifikanz ist dafür kein guter Indikator wie Peep Laja sehr schlüssig erklärt. Wer den Artikel liest, den beschleicht das Gefühl, dass wir endlos viel Traffic benötigen, um eine verlässliche Einschätzung über die Gültigkeit von Tests machen zu können. Eine praktikable Herangehensweise muss hier jeder für sich selbst finden.

In unserem Business genügt es in der Regel, wenn wir Tests mindestens 2 Wochen lang laufen lassen. Als weitere Stopregel haben wir 250 Conversions für jede Variante gesetzt. Das führt dazu, dass wir sehr viele Tests haben, die zwar zunächst signifkante Ergebnisse zeigen, sich im Laufe der Zeit aber dann doch als aussagelos herausstellen. Trotzdem: Besser als eingebildete Ergebnisse ist das allemal.

6. Sei mutig!

Ich wette an dem Punkt war auch schon jeder, der die ersten vorsichtigen Schritte auf dem Feld der Conversion-Optimierung getan hat: Man schraubt vorzugsweise an kleinen fieseligen Dingern herum. Vielleicht ein neues Button-Label. Dann vielleicht den Link zum PDF-Download noch ein wenig hervorheben. Usw., usw. Das alles natürlich befeuert durch die zahlreichen Fallstudien, die man gelesen hat (siehe Punkt 2 weiter oben).

Das Ergebnis dieses Herumgeschraubes ist meist traurig. Einfach deswegen, weil diese kleinen Änderungen für sich genommen oft zu keinen massiven Veränderungen im Nutzerverhalten führen. Man überschätzt einfach schnell wie relevant viele Elemente für den Nutzer sind.

Wir sind deshalb in den meisten Tests dazu übergegangen große Änderungen zu testen. Beispielsweise wird der Header-Bereich komplett neu gestaltet. Oder wir führen einen komplett umstrukturierten Checkout-Prozess in den Test. Oder wir gehen mit einer komplett neuen Facettierung in der Suche an den Start.

Natürlich unken die Superwissenschaftler unter den Conversion-Optimierern sofort: Wie willst du denn dann wissen, was genau dazu geführt hat, dass die Nutzer ihr Verhalten geändert haben? Ganz ehrlich: Das ist mir – auf gut bayerisch – ziemlich wurscht. Ich teste lieber massive Änderungen mit einer hohen Wahrscheinlichkeit, dass sich das Nutzerverhalten verändert, anstatt mich im Kleinklein der Mini-Optimierungen zu verlieren, die oft zu keinem Ergebnis führen – trotz „wissenschaftlicher“ Testvoraussetzungen. Ob ein Erkenntnisgewinn darüber, was genau beim Kunden wie wirkt, überhaupt erreichbar ist, sei jetzt mal dahingestellt. Ich habe mittlerweile das Gefühl, dass wir im Online-Bereich anerkennen müssen, dass wir oft weitaus weniger über unsere Nutzer wissen, als wir glauben zu wissen.

 

Das waren die Erkenntnisse, die wir aus den ersten 15 Monaten ernst gemeinter Conversion-Optimierung gewonnen haben. Wo steht ihr in der Conversion-Optimierung? Welche Erfahrungen habt ihr bislang gemacht? Was hat euch geholfen, um zu besseren Ergebnissen in der Conversion-Optimierung zu kommen?

 

  • Christian Cosimini

    Vielen Dank für den aufschlussreichen Artikel.