In 10 Schritte zum erfolgreich moderierten Remote-Usability-Test
Wie führt man remote einen Usability-Test durch? Und worauf ist bei der Umsetzung zu achten? In diesem Artikel gehe ich auf diese Fragen ein und zeige auf, wie du einen User-Test in 10 Schritten vorbereitest. Bevor ich zur Umsetzung komme, klären wir erst einmal allgemeine Fragen.
Was ist ein Remote-Usability-Test?
In einem Remote-Usability-Test wird ein Produkt von und mit realen Nutzern aus der Ferne getestet. Die Testperson und die Forschenden befinden sich dabei an unterschiedlichen Orten. Bei einem Usability-Test geht es darum, dass man die eigene Meinung ausblendet und zusieht, wie ein Benutzer bzw. eine Benutzerin mit der Anwendung interagiert. Dadurch kann man feststellen, welche Probleme sie bei der Bedienung haben und kann diese im Anschluss ausbessern. Durch dieses methodische Vorgehen wird das Produkt nicht nach „Bauchgefühl“, sondern anhand empirischer Daten bewertet und verbessert.
Ein Usability-Test kann vor Ort in einem Labor oder aber auch remote durchgeführt werden. Ersteres findet in den meisten Fällen in einem sogenannten „Usability-Labor“ statt, was nichts anderes bezeichnet als die Räume, in der die Tests stattfinden. In dem einen Raum befindet sich die Testperson und erledigt die Aufgaben. In dem anderen Raum, dem Beobachtungsraum, wird der Test von stillen Beobachterinnen mitverfolgt.
Was ist ein moderierter Remote-Usability-Test?
Es gibt zwei Arten von User-Tests- den moderierten und nicht-moderierten Test. Bei einem moderierten Test führt eine Moderatorin die Testperson durch die Session. Bei einem nicht-moderierten Test wird die Moderation durch eine Software ersetzt. In diesem Artikel liegt der Fokus auf dem moderierten Test.
Wer mehr über die Unterschiede beider Methoden erfahren möchte und welche Methode Anwendung findet, empfehle ich den Artikel Remote-Usability-Tests: Wann ist Moderieren sinnvoll?
Was kann mit einem moderierten User-Test alles getestet werden?
Für einen moderierten Test eignen sich interaktive Prototypen, Live-Websites und Papier-Prototypen.
Fragt sich nur, wann soll getestet werden?
User-Tests können jederzeit an bestehenden Websites durchgeführt werden, um beispielsweise Benutzerprobleme aufzudecken. Sie sollten aber auch immer dann eingeplant werden, bevor größere Änderungen am Produkt live gehen. Beispielsweise bei:
Einführung neuer Features
Einführung eines neuen Visual Designs
vor einem Relaunch
Wichtig ist, dass die User-Tests vor dem Livegang stattfinden, um so Schwachstellen frühzeitig aufzudecken und noch beheben zu können.
Gibt es noch kein fertiges Produkt, kann in der Konzeptphase mit einem interaktiven Prototypen getestet werden, auch ohne dass dafür ein Visual Design nötig ist. Neben allgemeinen Usability-Fehlern können in dieser frühen Phase der Produktentwicklung auch Probleme mit dem Nutzungskontext, der Wahrnehmung des Produkts sowie von Inhalten aufgedeckt werden.
Vorbereitung und Durchführung in 10 Schritten
1. Definiere das Forschungsziel
Was möchtest du und dein Team mit dem Usability-Test herausfinden? Gibt es einen Bereich oder ein Feature, der euch Bauchschmerzen bereitet? Oder habt ihr eine Annahme und wollt diese mithilfe von User-Tests validieren?
Überlege mit deinem Team einen Schwerpunkt und definiert eine Fragestellung bzw. Forschungsziel. In einem Usability-Test kann nie die gesamte Anwendung getestet werden, daher ist eine Schwerpunktsetzung wichtig. Habt ihr mehrere Ziele, die ihr mit einem User-Test erreichen wollt, ist es einfacher, mehrere kleine Usability-Tests mit unterschiedlichen Schwerpunkten durchzuführen.
So könnt ihr zum Beispiel in der ersten Runde die grundlegenden Usability-Probleme erforschen, die Wahrnehmung des Contents und dessen Tonfall testen. In einem zweiten Test kann der Schwerpunkt auf bestimmte Funktionen und Komponenten liegen.
2. Wähle die richtige Benutzergruppe aus und vereinbare Termine
Was möchtest du und dein Team mit dem Usability-Test herausfinden? Gibt es einen Bereich oder ein Feature, der euch Bauchschmerzen bereitet? Oder habt ihr eine Annahme und wollt diese mithilfe von User-Tests validieren?
Überlege mit deinem Team einen Schwerpunkt und definiert eine Fragestellung bzw. Forschungsziel. In einem Usability-Test kann nie die gesamte Anwendung getestet werden, daher ist eine Schwerpunktsetzung wichtig. Habt ihr mehrere Ziele, die ihr mit einem User-Test erreichen wollt, ist es einfacher, mehrere kleine Usability-Tests mit unterschiedlichen Schwerpunkten durchzuführen.
So könnt ihr zum Beispiel in der ersten Runde die grundlegenden Usability-Probleme erforschen, die Wahrnehmung des Contents und dessen Tonfall testen. In einem zweiten Test kann der Schwerpunkt auf bestimmte Funktionen und Komponenten liegen.
Die Suche nach den richtigen Probanden könnte mehr Zeit in Anspruch nehmen als gedacht, plane daher ausreichend Zeit ein. Berücksichtige, dass die ein oder andere Kandidatin noch am Tag des Testens absagen könnte. Dann ist es hilfreich, wenn es eine Person gibt, die in dem Fall einspringt, um den Testtag weiterhin lückenlos zu füllen.
3. Überlege Fragen und Aufgaben für den Test
Um die Forschungsfrage zu beantworten, überleg dir mit deinem Team Aufgaben und Fragen, die während des Tests von den Nutzerinnen durchgeführt und beantwortet werden. Dabei sollte es sich um reale Aufgaben handeln. Welche du in einem Usability-Test stellst, ist abhängig von dem Forschungsziel.
Beispiel 1: Du bist dir unsicher über die Sortierung der Kategorien in der Hauptnavigation und fragst dich, ob diese sinnvoll für die User angeordnet sind? Dann könntest du deinen Testpersonen mit der Card Sorting Methode, die Kategorien selbst anordnen lassen. Mit dieser Methode sortiert ein User die Kategorien so, wie es für ihn am logischsten erscheint. Diese Methode sollte mit 15-20 Personen durchgeführt werden, um ein Muster in der Sortierung zu erkennen.
Beispiel 2: Du betreibst einen Online-Shop und hast eine hohe Absprungsrate im Bereich des Checkout. Um in Erfahrung zu bringen, warum deine User nicht zu einem Kaufabschluss kommen, beobachtest du sie beim Kaufprozess in einer Testumgebung. Die Aufgabe könnte in dem Fall sein: Bestell ein paar schwarze Herrenschuhe in Größe 44 und schließe den Kauf mit der Kreditkarte ab.
Tipp: Ich empfehle dir, vor der Durchführung ein Testskript anzufertigen, in dem alle gestellten Aufgaben und Fragen stehen. So stellst du sicher, dass nicht versehentlich eine Frage vergessen wird.
4. Versende Erinnerungsschreiben
Hast du die passende Zielgruppe für deinen Usability-Test gefunden und Aufgaben definiert, geht es nun darum, deine Kandidatinnen für den Testtag vorzubereiten. Dazu solltest du allen Teilnehmenden eine Erinnerung per Mail schicken. Am besten einen oder zwei Tage vorher.
Was muss in der Mail stehen?
Zeit: Wann beginnt der Test? Nenne das Datum und die Uhrzeit.
Equipment: Welches Equipment sollte die Person bereithalten? Smartphone, Kopfhörer, Stift, Papier etc.
Meeting-Software installiert? z. B. Zoom, Lookback etc.
Wie kann man dem User-Test beitreten? Versende einen Meeting-Link und den Link zum Prototypen.
Erinnere die Tester daran, dass sie sich während des Tests an einem Ort mit stabiler Internetverbindung
und an einem ruhigen Ort aufhalten. Das klingt banal, ist aber so wichtig. Wird die Session aus diesen Gründen unterbrochen, führt dies auf beiden Seiten zu Frustration.
5. Teilnehmer in die Session bringen
Empfehlenswert ist das Zoom Warteraum-Feature, um den Teilnehmenden in die Session zu bringen. Das hat den Vorteil, dass du und deine Beobachter euch nach jeder Testrunde kurz zu dem Nutzer-Feedback austauschen könnt, ohne dass bereits die nächste Testperson am Meeting teilnimmt und mithört.
6. Beginn des User-Tests
Person begrüßen und für die Teilnahme bedanken
Sind Kollegen als stille Beobachter in der Session mit dabei, teile es der Person mit.
Erkläre der Person, dass nicht er bzw. sie getestet wird, sondern das Produkt. Es gibt während des gesamten Tests kein richtig oder falsch, wie das Produkt zu benutzen ist. Daher sollte die Person das Produkt bedienen, wie sie denkt, dass sie so zum Ziel kommt.
Hol dir die Zustimmung zur Video-Aufnahme ein. Die Aufzeichnung dient dir später zur Test-Auswertung. Lehnt die Person das Aufzeichnen des gesamten Tests ab, müssen die Beobachtenden um so aufmerksamer sein und sich Notizen zu dem Verhalten und den Reaktionen machen. Kommt die Testerin ins Stocken? Dann unbedingt notieren und anschließend nachhaken. Der Moderator führt durch den Test, stellt die Aufgaben, klärt Missverständnisse und sorgt mit seiner Kommunikation dafür, dass die Person sich während des gesamten Tests wohlfühlt. Es kann also sein, dass der Moderator nicht jederzeit auf alles Acht gibt.
starte die Video-Aufzeichnung
bitte die Testerin den Bildschirm zu teilen
Wichtig: Alle beobachtenden Personen sollten während der Sitzung gemutet sein. Der Moderator sollte als Einziger die Kommunikation mit der Testperson führen. Manchmal versuchen Stakeholder bzw. Kollegen Fragen zu stellen oder in die Ausführung der Aufgaben einzugreifen – das sollte aber keinesfalls passieren! Es könnte den Testern fremd vorkommen, wenn plötzlich eine andere, bisher unbekannte Stimme zu ihnen spricht.
Tipp: Falls Stakeholder während des User-Tests anwesend sind, vereinbart, dass Fragen in einem separaten Chat an den Moderator geschickt werden können, der diese am Ende der Sitzung stellt.
7. Sitzung beginnen
Stell die erste Aufgabe. Du kannst auch mit einer Frage beginnen, um so mehr Hintergrundwissen oder Vorlieben deines Teilnehmers zu erfahren. Die erste Aufgabe sollte zudem einfach sein, damit sich die Kandidaten an die Situation gewöhnen.
Beispiel: „Welche Waren kaufen Sie normalerweise online?“
Der Teilnehmer sollte eine schriftliche Kopie aller gestellten Aufgaben erhalten, damit er im Bedarfsfall darauf zurückgreifen kann. Am besten kopierst du die Aufgabenstellung einfach in den Zoom Chat.
Tipp: Lass deine Testteilnehmer die Aufgabe laut vorlesen und zusammenfassen. Das hilft zu erkennen, ob der Teilnehmer die Aufgabe auch wirklich verstanden hat.
Vermittle zwischendrin Selbstvertrauen, wenn du merkst, dass deine Testperson unsicher ist und ermuntere sie zum lauten Denken (Think-Aloud-Methode), um so ihre Gedanken zu verfolgen und wertvolles Feedback nicht zu verpassen. Beispiel: „Ich weiß, dass sich das unangenehm anfühlt, wenn du laut denkst, aber das ist genau das, was wir brauchen.“
Erkennst du in der Mimik der Person Unklarheiten, frag nach, was ihr gerade durch den Kopf geht. Wenn von der Person ein interessanter Aspekt angesprochen wird, hake nach, um mehr zu erfahren.
Frag stets nach: Wer? Wie? Was? Warum? Wann? Wo?
Vermeide Suggestivfragen und Entweder-oder-Fragen, da sie den Tester in eine bestimmte Richtung lenken.
8. Sitzung beenden
kläre letzte Fragen
bedanke dich erneut für die Teilnahme
Teile der Testerin mit, wann sie die Belohnung für die Teilnahme erhält. Bei Remote-User-Tests haben die Teilnehmer oftmals kein Vertrauen. Erkläre daher genau, wann und wie diese übergeben werden.
bitte die Person die Sitzung zu verlassen
9. Diskutieren & Reflektieren
Plane nach jeder Testrunde mindestens 15 Minuten für die Nachbesprechung ein. Während die Person die Sitzung verlässt, bleiben Beobachter und Moderator in der Sitzung, um das Feedback zu reflektieren und zu diskutieren. Nimm dir weitere 15 Minuten, um die nächste Testrunde vorzubereiten.
10. Auswertung
Nachdem alle Usability-Tests mit den Testteilnehmerinnen durchgeführt wurden, können die Test-Ergebnisse aufbereitet und in einem Workshop vorgestellt werden. In den vergangen User-Tests verwendete ich dafür das Tool Miro. Das digitale Whiteboard ermöglicht es mit mehreren Personen an der Auswertung zu arbeiten. Um die Testergebnisse aufzubereiten, legte ich eine Tabelle mit allen Beobachtungen zu jeder Testperson an.
Anschließend wird jede Erkenntnis einer Gruppe zugeordnet (siehe Bild unten). Hast du viel Nutzerfeedback erhalten, können Unterkategorien zusätzlich helfen, diese entsprechend einzuordnen. Ich persönlich bin ein großer Fan von Affinitätsdiagrammen, da die Testergebnisse dadurch auch visuell aufbereitet werden. So ist jedem auf Anhieb klar, welcher Bereich für die User bereits gut funktioniert und welcher nicht. Das ist aber Geschmacksache.
Bei der Ergebnis-Dokumentation ist es wichtig, nicht nur Fehler aufzuzeigen, sondern auch die Dinge zu benennen, die gut für die Testerinnen funktioniert haben und die nicht verändert werden sollten. Anschließend kannst du nun mit der Analyse beginnen und im Team über Lösungen brainstormen. In einem erneuten Usability-Test validierst du dann, ob die erarbeiteten Lösungen den gewünschten Effekt erzielten.
Zusammenfassung
lege den Schwerpunkt des User-Tests fest
wähle Testpersonen aus, die deiner Zielgruppe entsprechen
Haben sie alle das nötige Equipment?
Fertige ein Testskript mit Fragen und Aufgaben an
nenne das Datum und die Uhrzeit
Equipment Meeting-Software
Meeting-Link und Link zum Prototypen verschicken
auf einen ruhigen Ort mit stabiler Internetverbindung hinweisen
Begrüßung
Einverständnis der Video-Aufnahme
Aufzeichnung starten
nicht die Person wird getestet, sondern das Produkt
Bildschirm-Freigabe
Kontext-Fragen, die die Person näher erforschen
Beginn mit leichten Aufgaben
Frage stets nach: Wer? Wie? Was? Warum? Wann? Wo?
kläre letzte Fragen
Belohnung für die Teilnahme am Usability-Tests
plane nach jeder Testrunde 30 Min für Nachbesprechungen ein
gönn dir zwischendrin eine kurze Pause
Erkenntnisse zu jeder Testperson festhalten
visuelle Aufbereitung bspw. durch ein Affinitätsdiagramm
Problemlösungen im Team überlegen
Fazit
Grundsätzlich sollten User-Tests nicht nur einmalig stattfinden, sondern fester Bestandteil in deinen Prozessen sein. Bedürfnisse der User ändern sich und damit auch die Anforderung an das Produkt. Plane sie daher regelmäßig ein.
Sicher ist, dass ein moderierter Usability-Test deutlich mehr Zeit in Anspruch nimmt als ein nicht-moderierter Test. Dennoch überwiegen hier ganz klar die Vorteile: Durch die Moderation und das zielgerichtete Nachfragen bei Unklarheiten oder interessanten Aussagen erhältst du qualitativ viel hochwertigeres und detaillierteres Feedback als bei den nicht-moderierten Tests.
Sophie Rauhut
Sophie arbeitet als UX Designerin bei inspired consulting. Sie unterstützt und begleitet die Kunden in der Konzeption und Realisierung von digitalen Produkten. Um die Feebackschleife kurz zu halten, setzt sie dabei auf klickbare Prototypen und zeitnahe Verprobung durch User-Tests.
Kürzliche Posts
Pro(mpt)-Engineering: Erstaunlich kompliziert
Prompt-Engineering erweitert die Interaktion mit KI-Tools über simple Befehle hinaus. Es verwendet die natürliche Sprache, um die Fähigkeiten der KI
Advanced ChatGPT
Die Nutzung des Tools für Fortgeschrittene Der OpenAI Playground (dt. Spielwiese/Spielplatz) ist ein mächtiges Werkzeug, das es Nutzer/-innen und Produktteams
Die Magie von Custom Sigils in Elixir
Elixir Sigils sind universelle kleine Tools zur Handhabung gängiger Datentypen. Beispiele für built-in Sigils umfassen Strings (~s), reguläre Ausdrücke (~r),
ThreatShield – Dein Schild im Cyberkrieg
Cybersecurity ist nicht nur irgendein Trend. Wir leben in einer Welt, in der digitale Bedrohungen zunehmend komplexer und gefährlicher werden.