Jedes Unternehmen, das Software entwickelt, wünscht sich, den Usern bei der Nutzung der eigenen Software über die Schulter schauen zu können und zu erfahren, was sie bei der Bedienung der Software denken. Paul Herwarth von Bittenfeld, Geschäftsführer von Twenty Feet (www.twentyfeet.com), einem Dienst für Social-Media-Analytics, erklärt wie Startups mit Remote-User-Tests Usability-Probleme verhindern bevor alles zu spät ist.
Wie klassische User-Tests ablaufen
User-Tests bieten die Möglichkeit den Nutzer bei der Interaktion mit der Software zu beobachten. Sie machen deutlich, wo in der Praxis Probleme auftreten, die dann behoben werden können. Ein klassischer User-Test läuft in der Regel wie folgt ab: Kriterien für Testteilnehmer werden festgelegt und die Probanden anhand dieser Maßstäbe rekrutiert. Vorbereitend lernt der User-Test-Moderator die Anwendung kennen, stellt Hypothesen auf und definiert in Abstimmung mit dem Kunden sinnvolle Aufgaben, die die Teilnehmer durchführen sollen.
Die eigentlichen Tests finden in einem (gegebenenfalls auch temporär beim Kunden einzurichtenden) Usability-Labor statt. Der Moderator führt die Probanden durch die einzelnen Sitzungen, unterstützt sie in Problemsituationen und animiert sie jeweils, die Methode lauten Denkens anzuwenden. Dabei werden sowohl ihre Bildschirme als auch die Probanden selbst in Bild und Ton aufgezeichnet.
Das Ergebnis des User-Tests ist ein umfassender Abschlussbericht, der die entdeckten Probleme beschreibt, Highlight-Videos von besonders kritischen Problemen enthält und konkrete Handlungsempfehlungen in Form eines Maßnahmenkatalogs gibt. Als effizient und zielführend haben sich User-Tests mit acht bis zwölf Teilnehmern erwiesen.
Traditionelle User-Tests sind große Hürde für Startups
User-Tests sind in der Tat mächtige Instrumente, mit deren Hilfe sich nahezu alle Usability-Schwachstellen einer Anwendung identifizieren lassen. Allerdings hat ein professionell durchgeführter, systematischer User-Test auch Nachteile, die finanzielle und organisatorische Aspekte betreffen:
- User-Tests sind vergleichsweise kostspielig und erfordern in der Regel fünfstellige Budgets.
- Die Durchführung ist aufwändig und erfordert eine relativ langfristige Vorbereitung.
- Geeignete Probanden aus der Zielgruppe sind mitunter schwer zu erreichen, insbesondere bei einer internationalen Nutzerschaft.
- Für klassische User-Tests ist ein entsprechendes professionelles Equipment nötig.
- Es besteht ein hoher Bedarf an Nutzererfahrung (UX) und methodischem Know-How.
- In der Praxis werden die Maßnahmenkataloge oft gar nicht umgesetzt.
Aus diesen Gründen stoßen Startups und kleine Unternehmen oftmals an ihre Grenzen, wenn es um professionelle Nutzerforschung geht. Doch gerade in der iterativen Software-Entwicklung ist es häufig erwünscht, schnell Nutzerfeedback zu neuen Funktionen zu erhalten. Eine budgettechnisch und organisatorisch schlankere Alternative zum User-Test ist Remote-Nutzerforschung, User-Tests aus der Ferne.
Remote-User-Tests mit OpenHallway
Für Remote-User-Tests kann das Online-Tool OpenHallway eingesetzt werden. Die Tests funktionieren eigentlich ganz ähnlich wie klassische nutzerbasierte Studien, allerdings interagieren die Teilnehmer nicht in einem Usability-Labor, sondern in der Regel in ihrer gewohnten Nutzungsumgebung mit der Anwendung.
Wie OpenHallway-Tests ablaufen, wurde in einem ausführlichen Artikel bereits beschrieben, deshalb an dieser Stelle nur soviel:
Die Teilnehmer erhalten eine E-Mail mit den relevanten Rahmeninformationen, den Aufgaben, die sie durchführen sollen, und dem Link zur Applikation. Die Interaktion der Probanden mit der Software wird per Screen-Recording aufgezeichnet, zusätzlich kommentieren die Nutzer ihre Aktionen über ihr Mikrofon und wenden möglichst die Methode lauten Denkens an. Alle Daten werden zentral gespeichert und sind nach Abschluss eines Tests zur Auswertung verfügbar.
Remote-User-Tests können wie in der klassischen Testsituation von einem Moderator geleitet oder unmoderiert durchgeführt werden. Bei TwentyFeet, dem Tools eines Social Media Analytics-Startup, ist bislang zumeist die unmoderierte Variante zur Anwendung gekommen.
Welche Vorteile haben Remote-User-Tests?
Remote-Nutzerforschung ist eine ernstzunehmende Alternative insbesondere bei begrenzten Budgets und für agile Teams. Remote-User-Tests fügen sich besser in iterative Vorgehensmodelle ein, da sie häufiger vorgenommen werden können. Wo klassische Studien angesichts von Sprints und häufigen Auslieferungen neuer Software-Inkremente in aller Regel kaum praktikabel sind, lassen sich Tests aus der Ferne in hoher Frequenz durchführen und können vor allem mehr Tests in einem vergleichbaren Zeitraum realisiert werden. Somit hilft diese abgespeckte Form der Nutzerforschung, das Produkt unter Usability-Aspekten von Sprint zu Sprint zu verbessern.
Zudem sind Remote-Studien hochinteressant für Teams, die Software für eine internationale Zielgruppe entwickeln: Stößt man bei der Rekrutierung geeigneter Probanden für klassische User-Tests in einem solchen Fall schnell an Grenzen, ist es mit Remote-Tests überhaupt kein Problem, kostengünstig und kurzfristig Feedback von Nutzern aus aller Welt zu generieren.
Usability-Expertise auch bei Remote-Test notwendig
Es ist möglich, mit Remote-User-Tests hochwertige Ergebnisse zu erzielen. Es ist allerdings ein Missverständnis, dass für die Durchführung von Remote-Nutzerforschung keine Usability-Expertise vorhanden sein muss.
Das gewonnene Datenmaterial muss richtig interpretiert werden: Handelt es sich im Einzelfall überhaupt wirklich um ein Usability-Problem oder kann es andere (zum Beispiel technische oder in den Fähigkeiten des Nutzers liegende) Gründe dafür geben, dass ein User an einer Stelle Schwierigkeiten hat? Wie können empfehlenswerte Lösungen aussehen, um entdeckte Probleme zu beheben und sie durch ungeeignete Maßnahmen nicht etwa noch zu verschlimmern? Zudem müssen, wie in der klassischen Nutzerforschung, konkrete, sinnvolle Aufgaben definiert werden.
Bei der Vorbereitung und Auswertung von Remote-User-Tests sollte daher ein erfahrener Usability-Fachmann hinzugezogen werden. Auch beim Remote-User-Tests gilt die Devise Garbage in, garbage out. Sind die Voraussetzungen schlecht, werden die Ergebnisse unbrauchbar sein.
Wie werden Teilnehmer für User-Tests rekrutiert?
Die Garbage-in-garbage-out–Regel bezieht sich vor allem auf die Probanden: Natürlich müssen auch bei Remote-Studien die richtigen Teilnehmer gewonnen werden. Es führt zu wertlosen Erkenntnissen, für Tests eines Social-Media-Tracking-Tools wie TwentyFeet Silversurfer mit geringer Web-Affinität zu rekrutieren. Umgekehrt ist es sinnlos, eine Web-Anwendung, mit der wenig erfahrene Nutzer interagieren sollen, von Nerds testen zu lassen, die den täglichen Umgang mit komplexen Anwendungen gewohnt sind.
Im ersten Fall werden höchstwahrscheinlich Probleme erkannt, die für die tatsächlich anvisierte Zielgruppe gar keine sind. Im zweiten Fall bleiben Schwachstellen unentdeckt.
Im Falle der Remote-User-Tests von TwentyFeet kann man beispielsweise über Twitter und Facebook bei den tatsächlichen Nutzern für die Teilnahme werben. Gelinkt wird auf eine Landing-Page mit einem Kontaktformular. Dadurch bildet sich ein Pool von möglichen Teilnehmern aus der ganzen Welt heraus, auf auf die das Unternehmen für Tests zurückgreifen kann. Solche Rekrutierungsmaßnahmen in der eigenen Zielgruppe bieten Startups und agilen Teams also die Möglichkeit, einen Beta-Tester-Pool aufbauen, der ihnen nach der Auslieferung von neuen Funktionen regelmäßig für solche Tests und Feedback zur Verfügung steht.
Fazit: Remote-User-Tests bieten gute Möglichkeiten
Remote-User-Tests bieten bei begrenzten Budgets und im agilen Projektalltag gute Möglichkeiten, schnell User-Feedback zu erhalten und so iterativ entwickelte Software kontinuierlich zu optimieren. OpenHallway-Studien können richtige User-Tests qualitativ nicht ersetzen, weil ihnen wichtige Werkzeuge fehlen. Doch im Rahmen der Möglichkeiten liefern sie wertvolle Erkenntnisse – sofern sie gut vorbereitet und ausgewertet werden und die richtigen Nutzer beteiligt sind.