AB-Tests Fallstricke

Ein Beitrag von Farid Kalirad, Unternehmer und multidisziplinärer Designer aus Berlin. Aktuell ist er Partner des Design Innovationslabors Bureau Farid Kalirad.

Was wollen Nutzer?

Die digitale Revolution und dessen technologische Möglichkeiten haben die Arbeit von Designern von Grund auf verändert. Sogenannte A/B-Tests helfen jenen, die an der Entwicklung eines Produktes arbeiten, mehr über das Verhalten ihrer Kunden hinsichtlich der Nutzung ihres Produktes zu erfahren. Also, wie Nutzer ein Produkt bedienen und welche Funktionen sie häufig oder weniger verwenden. Jede ach so kleine Funktion, jeder Klick und jede Bewegung kann gemessen, analysiert und ausgewertet werden. Mit gezielten Tests wird dem Rätselraten bei der Optimierung einer Applikation somit ein Ende gesetzt.

Für die jenigen, die nicht wissen was A/B-Testing ist beziehungsweise wie es funktioniert, hier kurz eine Erklärung.

Anzeige
Beim A/B-Testing erstellt man mindestens zwei verschiedene Varianten eines Designs, um zu testen, mit welcher der Version man sein Ziel, zum Beispiel Anmeldungen, Bestellungen und Ähnliches, besser erreicht. Hat man nun die verschiedenen Versionen aufgesetzt, so wird der Traffic über einen bestimmten Zeitraum per Zufall auf diese verteilt, um schließlich herauszufinden, welche zu höheren Konversionsraten führt, wie beispielsweise zu mehr Verkäufen, einer niedrigen Absprungsrate und Ähnlichem. Das Design mit der besten Performance macht das Rennen und wird als Lösung langfristig eingesetzt. Alle anderen Varianten, die schlechter performen, scheiden aus.

Die Nutzer entscheiden sozusagen über das Produkt. Eigentlich ein intelligenter Ansatz. Das Produkt passt sich dem Nutzer an und nicht andersrum. Am Ende entsteht ein Produkt, welches sozusagen voll und ganz auf die Bedürfnisse des Endverbrauchers abgestimmt ist. Doch ist das wirklich der beste Ansatz, um ein großartiges Produkt zu entwickeln?

Der Teufel steckt im Detail

Wie immer steckt der Teufel im Detail und in der Praxis funktioniert es oft nicht so, wie man es sich in der Theorie wünscht. Meine Erfahrung bei der Beratung von Mandanten ist, dass die schlechtesten Produkte sehr stark zahlengetrieben entwickelt sind. Zum Teil arbeiten eine große Anzahl von UX- und UI-Designern an einem Produkt und es wird jede kleine Designänderung analysiert und bewertet, bevor es für alle veröffentlicht wird.

An sich eine gute Sache, da man iterativ vorgeht und Schritt für Schritt Funktionen einführt, die ganzheitlich eine „Mehrheit“ von Nutzern anspricht und demnach unnötige Risiken minimiert, die dazu führen könnten, dass man am Markt vorbei entwickelt. Doch warum führt diese Methodik oft zu schlechteren Produkten, wenn doch Wissen und Zahlen aufschlussreicher sind als Vermutungen, die subjektiv erfolgen? Der Grund sind folgende Fallstricke, die mit A/B-Testing einhergehen und oft dazu führen, dass zu viele Fehler gemacht werden.

Fehler 1 – Schlechte Umsetzung

Der größte Fehler, den wir bei A/B-Testings beobachten, ist, dass Unternehmen nicht gut genug in der Umsetzung sind beziehungsweise Erneuerungen im System schlecht umsetzen. Es ist oft eine Kunst und weniger eine Wissenschaft, ein Design so umsetzen, dass es so intelligent und natürlich erscheint und sich sozusagen wie Glas auf Wasser anfühlt. Solch ein Design, welches sich quasi „unsichtbar“ anfühlt und eine natürliche Erscheinung ausstrahlt, ist ein gutes Design.

Doch gerade der Anspruch, auf so einem hohen Niveau zu agieren, ist für die meisten Unternehmen eine zu große Herausforderung beziehungsweise im Team gibt es niemanden, der diese Aufgabe meistern kann. Hinzu kommt, dass Designs oft in Teams und von Leuten aus verschiedenen Abteilungen und Skills entschieden werden. Dies führt dazu, dass Geschäftsführer, die in den meisten Fällen keinerlei Kenntnisse bezüglich Design und Architektur vorweisen, mitentscheiden. Dies wiederum führt oft dazu, dass die Lösung keinen roten Faden verfolgt und die Umsetzung inkonsistent ist und weitere Fehler gemacht werden.

Gerade im Hinblick auf A/B-Testings ist es jedoch notwendig, nicht nur die richtigen Dinge zu tun, sondern auch die richtigen Dinge richtig umzusetzen. Nur dann ergibt ein solcher Test Sinn.

Fehler 2 – Unsichtbare Faktoren werden nicht gesehen

Ein weiterer Fallstrick ist, dass bestimmte Faktoren beziehungsweise Ziele nicht oder nur ganz schwer in Tests gemessen werden können. So ist es beispielsweise nicht oder nur ganz schwer möglich, nachzuweisen, was Menschen bei einem Test fühlen und wie sich bestimmte Veränderungen auf das Vertrauen des Kunden gegenüber dem Service und der Marke auswirken. Diese unsichtbaren Faktoren werden bei der Beurteilung von A/B-Tests oft ignoriert.

Anzeige
So kann es beispielsweise sein, dass ein großer und farbiger Button zu mehr Transaktionen führt, aber gleichzeitig im Gesamtbild der Applikation zu protzig erscheint und dem Nutzer das Gefühl gibt, dass der Service ihm/ihr etwas aufdrängen möchte. Andersherum kann es sein, dass ein sehr schlichtes und minimalistisches Design zu weniger Transaktionen führt, aber langfristig den Effekt hat, dass das Produkt und die Marke ganzheitlich anders wahrgenommen werden und Nutzer ein höheres Vertrauen gegenüber dem Service aufbringen.

Fehler 3 – Zu wenig Zeit, um Neuerungen zu erlernen

Entscheidungen werden zu schnell getroffen. Nutzer haben nur selten die Chance, eine Funktion beziehungsweise Neuerung über einen längeren Zeitraum kennenzulernen. Doch gerade dies ist oft notwenig, insbesondere, wenn eine Funktion eine grundlegende Neuerung darstellt und als solche Funktion in keiner anderen Applikation bekannt ist und demnach erlernt werden muss.

Dies trifft beispielsweise auf moderne Gesten-Funktionen (Swipe) im Smartphone zu. Solche Art von Funktionen stellen den Nutzer vor eine neuen Herausforderung und müssen in den meisten Fällen erst erlernt werden. Der genaue Zeitraum, wie lange ein Nutzer braucht, um solche Design-Innovationen zu verstehen, ist meistens nicht klar vorherzusagen. Bitte wenden – hier geht’s zu den nächsten Fallstricken und Ergebnissen.

Bild: Farid Kalirad

Seite 1 von 2