Management von A/B-Tests mit Trello

Trello ist vielen bereits bekannt als sehr flexibles Tool um Task-Listen in Gruppen zu führen. Tatsächlich lässt sich Trello für so gut wie jedes Projekt einsetzen. Eine meiner Lieblingsanwendungen in letzter Zeit ist als Redaktionskalender. Ich muss gestehen, ich bin ein Riesen-Fan von Trello. Die offizielle Einführung gibt einen guten Einblick in das Tool.

Seit kurzem verwenden wir Trello auch für das Management unserer Tests in der Conversionoptimierung. Natürlich ist es kein Hexenwerk sich dafür selber ein Board zu stricken. Für diejenigen, die es sich leichter machen wollen, habe ich unseren Workflow mit den wichtigsten Listen als Anregung zusammengestellt:

1. Testideen

Diese Liste ist der Ideenspeicher für künftige Tests. Hier können alle Mitglieder des Boards ungefiltert ihre Testideen einbringen. Damit man noch nachvollziehen kann, welche Seitentypen und Elemente das betrifft, haben wir uns auf folgende Konventionen geeinigt: Die Labels bezeichnen den Seitentyp (Template), der getestet werden soll. In den Titel der Karte wird das Element vorangestellt, das getestet werden soll. Danach folgt die Kurzbeschreibung, damit man ungefähr erkennt, was getestet werden soll. Bei Bedarf kann noch ein Screenshot hinterlegt werden, um genau zu zeigen, welches Element gemeint ist.

Screenshot Trello > Erstellung einer Karte für Testideen

Gedanken wegen der Umsetzung, der korrekten Hypothesen, der richtigen KPIs, usw. machen wir uns hier noch nicht. Dieses Board soll einladen, auch wilde Testideen einzustellen, ohne dass man sich den Kopf darüber zerbricht, ob die Tests durchführbar sind oder nicht.

2. Konzeption

Der Verantwortliche für die Conversionoptimierung wählt aus dem Pool der Testideen dann die aus, die als nächstes angegangen werden sollen. Die Karte mit der Testidee wird in die Liste „Konzeption“ verschoben und dem Mitglied zugewiesen, das sich um die Testkonzeption kümmern soll. Häufig ist das die Person, die die Testidee eingebracht hat. Schließlich macht man sich bei der Testidee doch schon mehr Gedanken über die Durchführung und Messung als man meint. In der Beschreibung der Karte werden die Hypothesen, die Testbeschreibung und die KPIs für die Erfolgsmessung definiert.

trello screenshot > Testkonzeption und Zuweisung von Mitgliedern

Anschließend wird die Karte wieder dem Projektverantwortichen zugewiesen, der darüber bestimmt, wo auf der Liste die Karte (also der Test) einsortiert wird. Wir haben uns intern darauf verständigt, dass die Listen einfach von oben nach unten abgearbeitet werden. Auch das ist ein großer Vorteil von Trello: Sollte sich die Priorisierung ändern, kann man die Tests sehr einfach per Drag & Drop neu sortieren. Ab diesem Stadium sollte der Projektmanager immer alle Karten abonnieren (> Subscribe).

3. Implementierung

Die Liste Implementierung führt alle Tests auf, die in die technische Implementierung gehen. Der Conversion-Manager schiebt dann die Karten auf die Liste „Implementierung“ und weist sie dem Mitglied zu, das sich um die Implementierung kümmern soll. Hier zahlt sich aus, dass wir in der Beschreibung die technischen Feinheiten genau spezifiziert haben. Sollte es Rückfragen geben, lassen sich die bequem über die Kommentarfunktion erörtern – vielen Technikern ist das meist lieber als direkter Kontakt am Telefon :-).

screenshot trello > Kommentar zur Implementierung

Ist der Test fertig implementiert, weist der Bearbeiter die Karte erneut dem Manager zur Freigabe zu. Der prüft den Test noch einmal und gibt evtl. Änderungswünsche über die Kommentare durch. Hier kann noch eine letzte Priorisierung der Tests erfolgen, indem man einfach die Sortierung der freigegebenen Tests verändert.

4. Running

Ist ein Test endgültig freigegeben und befindet sich in der Pipeline ganz vorne, verschiebt der Conversionmanager die Karte auf die Liste „Running“. Wir sorgen in der Regel dafür, dass immer nur ein Test läuft, um sicher zu gehen, dass keine unerwünschten Effekte zwischen laufenden Tests auftreten.

Zu dieser Regel gibt es allerdings eine Ausnahme: Zeigt ein Test bereits einen Gewinner, können oft noch ein paar Wochen vergehen, bevor die Gewinner-Variante von der IT implementiert wird. Das ist ärgerlich, weil man so eine Menge Zeit und Potential verliert. In der Regel erlauben aber gute Test-Tools, dass man die Traffic-Verteilung auf die einzelnen Varianten genau steuert. Es liegt also nahe, dass man der Gewinner-Variante einfach 100% des Traffics zukommen lässt, bis die notwendigen Änderungen von der IT umgesetzt worden sind. Solange verbleiben die Tests bei uns auf der Karte „Running“.

Wir versuchen zusätzlich immer wir auf Basis des zu erwartenden Traffics und der Abweichung zwischen Original und Varianten ein ungefähre Laufzeit abzuschätzen (z.B. mit dem Rechner von visualwebsiteoptimizer.com). Die wird dann als Due Date eingetragen. Falls dann jemand vom Management nachfragt, wann ein Test endlich durch ist, können wir die Schätzung gleich mitteilen.

screenshot trello > Anlegen eines Termins für den erwarteten Testabschluss

Dann heißt es erst mal warten bis signifikante Ergebnisse da sind. In der Regel lassen wir keine Tests länger als 4 Wochen laufen. Steht in diesem Zeitraum also kein Gewinner fest, wird der Test vorläufig abgebrochen. Diese Tests wandern auf die Liste „Done > ohne Ergebnisse“ und können bei Bedarf später noch einmal reaktiviert werden, z. B. mit neuer Konzeption.

5. Done (inkl. Ergebnisdokumentation)

Abgeschlossene Tests werden auf die Listen „Done > mit Ergebnis“ (falls es einen Gewinner gibt) oder „Done > ohne Ergebnis“ (falls es kein eindeutiges Ergebnis gibt) verschoben. Wichtiger Teil dieses Prozesses ist auch gleich die Dokumentation der Ergebnisse. Großer Vorzug von Trello ist die Integration mit Dropbox oder Google Drive. Wir gehen in der Regel so vor, dass wir uns die Berichte sowohl aus dem Testing-Tool – in unserem Falle Optimizely – wie auch aus der Webanalyse holen und an die Karte des Tests anfügen. In welchen Formaten ihr das erledigt ist eigentlich egal. Für Optimizely hat es sich für uns bewährt, wenn wir einfach einen Screenshot der Testergebnisse machen. Die Daten aus der Webanalyse legen wir normalerweise einfach als PDF dazu.

Trello Screenshot von den Möglichkeiten Attachements hinzuzufügen

Damit hat man dann auch gleich die Dokumentationspflichten erfüllt. Außerdem muss man nicht lange suchen, wenn vom Management Testideen eingebracht werden, die schon längst durch sind. Einfach den Test raussuchen und den Link zur Karte verschicken.

Screenshot aus Trello > Verlinkung zur Karte

 

Feedback von euch wäre wie immer super. Wie managt ihr eure Tests? Verwendet ihr dazu auch Trello? Falls nicht, was dann?