In 10 Schritten einen Remote-Usability-Test erfolgreich moderieren

Wie führt man remote einen Usability-Test durch? Und worauf ist bei der Umsetzung zu achten? In diesem Artikel gehe ich auf diese Fragen ein und zeige auf, wie du einen User-Test in 10 Schritten vorbereitest. Bevor ich zur Umsetzung komme, klären wir erst einmal allgemeine Fragen.

Was ist ein Remote-Usability-Tests?

In einem Remote-Usability-Test wird ein Produkt von und mit realen Nutzern aus der Ferne getestet. Die Testperson und die Forschenden befinden sich dabei an unterschiedlichen Orten. Bei einem Usability-Test geht es darum, dass man die eigene Meinung ausblendet und zusieht, wie ein Benutzer bzw. eine Benutzerin mit der Anwendung interagiert. Dadurch kann man feststellen, welche Probleme sie bei der Bedienung haben und kann diese im Anschluss ausbessern. Durch dieses methodische Vorgehen wird das Produkt nicht nach „Bauchgefühl“, sondern anhand empirischer Daten bewertet und verbessert.

Was ist ein moderierter Remote-Usability-Test?

Es gibt zwei Arten von User-Tests- den moderierten und nicht-moderierten Test. Bei einem moderierten Test führt eine Moderatorin die Testperson durch die Session. Bei einem nicht-moderierten Test wird die Moderation durch eine Software ersetzt. In diesem Artikel liegt der Fokus auf moderierte Test.

Wer mehr über die Unterschiede beider Methoden erfahren möchte und welche Methode Anwendung findet, empfehle ich den Artikel Remote-Usability-Tests: Wann ist Moderieren sinnvoll?

Was kann mit einem moderierten User-Test alles getestet werden?

Für einen moderierten Test eignen sich interaktive Prototypen, Live-Websites und Papier-Prototypen.

Fragt sich nur, wann soll getestet werden?

User-Tests können jederzeit an bestehenden Websites durchgeführt werden, um beispielsweise Benutzerprobleme aufzudecken. Sie sollten aber auch immer dann eingeplant werden, bevor größere Änderungen am Produkt live gehen. Beispielsweise bei:

  • Einführung neuer Features
  • Einführung eines neuen Visual Designs
  • vor einem Relaunch

Wichtig ist, dass die User-Tests vor dem Livegang stattfinden, um so Schwachstellen frühzeitig aufzudecken und noch beheben zu können.

Gibt es noch kein fertiges Produkt, kann in der Konzeptphase mit einem interaktiven Prototypen getestet werden, auch ohne dass dafür ein Visual Design nötig ist. Neben allgemeinen Usability-Fehlern können in dieser frühen Phase der Produktentwicklung auch Probleme mit dem Nutzungskontext, der Wahrnehmung des Produkts sowie von Inhalten aufgedeckt werden.

 

Vorbereitung und Durchführung in 10 Schritten

1. Definiere das Forschungsziel

 

Was möchtest du und dein Team mit dem Usability-Test herausfinden? Gibt es einen Bereich oder ein Feature, der euch Bauchschmerzen bereitet? Oder habt ihr eine Annahme und wollt diese mithilfe von User-Tests validieren?

Überlege mit deinem Team einen Schwerpunkt und definiert eine Fragestellung bzw. Forschungsziel. In einem Usability-Test kann nie die gesamte Anwendung getestet werden, daher ist eine Schwerpunktsetzung wichtig. Habt ihr mehrere Ziele, die ihr mit einem User-Test erreichen wollt, ist es einfacher, mehrere kleine Usability-Tests mit unterschiedlichen Schwerpunkten durchzuführen.

So könnt ihr zum Beispiel in der ersten Runde die grundlegenden Usability-Probleme erforschen, die Wahrnehmung des Contents und dessen Tonfall testen. In einem zweiten Test kann der Schwerpunkt auf bestimmte Funktionen und Komponenten liegen.

2. Wähle die richtige Benutzergruppe aus und vereinbare Termine

Die Testpersonen kommen im besten Fall aus der Zielgruppe. Ist das nicht der Fall, sollten alle Benutzerinnen einen Bezug zum Produkt haben. Das sind Personen, die die Anwendung in Zukunft nutzen würden oder ein ähnliches Produkt von der Konkurrenz bereits nutzen. Fachfremde Testpersonen könnten das Testergebnis nachteilig beeinflussen. Ungeeignet sind Testkandidaten aus dem Freundes- und Familienkreis, da sie mit der Anwendung vertraut sein könnten.

Ein Beispiel: Richtet sich deine Anwendung an Architekten, suche Architekten, die deine Anwendung testen. 

Wichtig: Bring an dieser Stelle in Erfahrung, ob deine Testpersonen alle im Besitz eines Laptops/Computers bzw. eines Smartphones mit einer funktionierenden Front-Kamera sind. Dann kommt es später nicht zu Überraschungen, wenn die Testperson zwar deiner Zielgruppe entspricht, aber an dem Test nicht teilnehmen kann, da sie das nötige Equipment nicht besitzt. 

Anders als bei Usabilty-Tests, die vor Ort in einem Büro oder in einem Test-Labor stattfinden, wird bei Remote-Usabilty-Tests die Anwendung von zu Hause oder in einer gewohnten Umgebung getestet. Damit du die Mimik deine Testerin während der gesamten Session beobachten kannst, ist eine funktionierende Front-Kamera von Vorteil.

Wo finde ich die richtigen Teilnehmerinnen?

Du kannst auf Social Media, der eigenen Website oder via Newsletter Kandidaten rekrutieren. Eine Umfrage wird dir vorab helfen, die für den Test in Frage kommenden Personen einzugrenzen.

Im besten Fall kannst du die Testrunden so einplanen, dass sie alle hintereinander stattfinden. Gib dir nach jeder Session jeweils 30 Minuten Zeit, bevor du mit der nächsten Person weitermachst. Erfahrungsgemäß sind 5 User-Tests am Tag ausreichend. Es wird eine Menge Nutzer-Feedback auf dich einströmen und nach 5 Test-Sessions wirst du vermutlich nicht mehr aufnahmefähig sein. Um den Überblick zu behalten, erstell dir vorab einen Testplan.

 

Tabelle mit Namen und Uhrzeit der Testkandidaten

Die Suche nach den richtigen Probanden könnte mehr Zeit in Anspruch nehmen als gedacht, plane daher ausreichend Zeit ein. Berücksichtige, dass die ein oder andere Kandidatin noch am Tag des Testens absagen könnte. Dann ist es hilfreich, wenn es eine Person gibt, die in dem Fall einspringt, um den Testtag weiterhin lückenlos zu füllen.

3. Überleg Fragen und Aufgaben für den Test

Um die Forschungsfrage zu beantworten, überleg dir mit deinem Team Aufgaben und Fragen, die während des Tests von den Nutzerinnen durchgeführt und beantwortet werden. Dabei sollte es sich um reale Aufgaben handeln. Welche du in einem Usability-Test stellst, ist abhängig von dem Forschungsziel.

Beispiel 1: Du bist dir unsicher über die Sortierung der Kategorien in der Hauptnavigation und fragst dich, ob diese sinnvoll für die User angeordnet sind? Dann könntest du deinen Testpersonen mit der Card Sorting Methode, die Kategorien selbst anordnen lassen. Mit dieser Methode sortiert ein User die Kategorien so, wie es für ihn am logischsten erscheint. Diese Methode sollte mit 15-20 Personen durchgeführt werden, um ein Muster in der Sortierung zu erkennen.

Beispiel 2: Du betreibst einen Online-Shop und hast eine hohe Absprungsrate im Bereich des Checkout. Um in Erfahrung zu bringen, warum deine User nicht zu einem Kaufabschluss kommen, beobachtest du sie beim Kaufprozess in einer Testumgebung. Die Aufgabe könnte in dem Fall sein: Bestell ein paar schwarze Herrenschuhe in Größe 44 und schließe den Kauf mit der Kreditkarte ab.

Tipp: Ich empfehle dir, vor der Durchführung ein Testskript anzufertigen, in dem alle gestellten Aufgaben und Fragen stehen. So stellst du sicher, dass nicht versehentlich eine Frage vergessen wird.

4. Versende Erinnerungsschreiben

Hast du die passende Zielgruppe für deinen Usability-Test gefunden und Aufgaben definiert, geht es nun darum, deine Kandidatinnen für den Testtag vorzubereiten. Dazu solltest du allen Teilnehmenden eine Erinnerung per Mail schicken. Am besten einen oder zwei Tage vorher.

Was muss in der Mail stehen?

  • Zeit– wann beginnt der Test? Nenne das Datum und die Uhrzeit. 
  • Equipment– welches Equipment sollte die Person bereithalten? Smartphone, Kopfhörer, Stift, Papier etc.
  • Meeting-Software installiert? z. B. Zoom, Lookback etc.
  • Wie kann man dem User-Test beitreten? Versende einen Meeting-Link und den Link zum Prototypen.
  • Erinnere die Tester daran, dass sie sich während des Tests an einem Ort mit stabiler Internetverbindung 
  • und an einem ruhigen Ort aufhalten. Das klingt banal, ist aber so wichtig. Wird die Session aus diesen Gründen unterbrochen, führt dies auf beiden Seiten zu Frustration. 

5. Teilnehmer in die Session bringen

Empfehlenswert ist das Zoom Warteraum-Feature, um den Teilnehmenden in die Session zu bringen. Das hat den Vorteil, dass du und deine Beobachter euch nach jeder Testrunde kurz zu dem Nutzer-Feedback austauschen könnt, ohne dass bereits die nächste Testperson am Meeting teilnimmt und mithört.

6. Beginn des User-Tests

  • Person begrüßen und für die Teilnahme bedanken
  • Sind Kollegen als stille Beobachter in der Session mit dabei, teile es der Person mit.
  • Erkläre der Person, dass nicht er bzw. sie getestet wird, sondern das Produkt. Es gibt während des gesamten Tests kein richtig oder falsch, wie das Produkt zu benutzen ist. Daher sollte die Person das Produkt bedienen, wie sie denkt, dass sie so zum Ziel kommt. 
  • Hol dir die Zustimmung zur Video-Aufnahme ein. Die Aufzeichnung dient dir später zur Test-Auswertung. Lehnt die Person das Aufzeichnen des gesamten Tests ab, müssen die Beobachtenden um so aufmerksamer sein und sich Notizen zu dem Verhalten und den Reaktionen machen. Kommt die Testerin ins Stocken? Dann unbedingt notieren und anschließend nachhaken. Der Moderator führt durch den Test, stellt die Aufgaben, klärt Missverständnisse und sorgt mit seiner Kommunikation dafür, dass die Person sich während des gesamten Tests wohlfühlt. Es kann also sein, dass der Moderator nicht jederzeit auf alles Acht gibt.
  • starte die Video-Aufzeichnung
  • bitte die Testerin den Bildschirm zu teilen

Wichtig: Alle beobachtenden Personen sollten während der Sitzung gemutet sein. Der Moderator sollte als Einziger die Kommunikation mit der Testperson führen. Manchmal versuchen Stakeholder bzw. Kollegen Fragen zu stellen oder in die Ausführung der Aufgaben einzugreifen – das sollte aber keinesfalls passieren! Es könnte den Testern fremd vorkommen, wenn plötzlich eine andere, bisher unbekannte Stimme zu ihnen spricht.

Tipp: Falls Stakeholder während des User-Tests anwesend sind, vereinbart, dass Fragen in einem separaten Chat an den Moderator geschickt werden können, der diese am Ende der Sitzung stellt.

7. Sitzung beginnen

  • Stell die erste Aufgabe. Du kannst auch mit einer Frage beginnen, um so mehr Hintergrundwissen oder Vorlieben deines Teilnehmers zu erfahren. Die erste Aufgabe sollte zudem einfach sein, damit sich die Kandidaten an die Situation gewöhnen.

Beispiel: „Welche Waren kaufen Sie normalerweise online?“

  • Der Teilnehmer sollte eine schriftliche Kopie aller gestellten Aufgaben erhalten, damit er im Bedarfsfall darauf zurückgreifen kann. Am besten kopierst du die Aufgabenstellung einfach in den Zoom Chat.

Tipp: Lass deine Testteilnehmer die Aufgabe laut vorlesen und zusammenfassen. Das hilft zu erkennen, ob der Teilnehmer die Aufgabe auch wirklich verstanden hat.

  • Vermittle zwischendrin Selbstvertrauen, wenn du merkst, dass deine Testperson unsicher ist und ermuntere sie zum lauten Denken (Think-Aloud-Methode), um so ihre Gedanken zu verfolgen und wertvolles Feedback nicht zu verpassen. Beispiel: „Ich weiß, dass sich das unangenehm anfühlt, wenn du laut denkst, aber das ist genau das, was wir brauchen.“
  • Erkennst du in der Mimik der Person Unklarheiten, frag nach, was ihr gerade durch den Kopf geht. Wenn von der Person ein interessanter Aspekt angesprochen wird, hake nach, um mehr zu erfahren.
  • Frag stets nach: Wer? Wie? Was? Warum? Wann? Wo?
  • Vermeide Suggestivfragen und Entweder-oder-Fragen, da sie den Tester in eine bestimmte Richtung lenken.

8. Beende die Sitzung

  • kläre letzte Fragen
  • bedanke dich erneut für die Teilnahme
  • Teile der Testerin mit, wann sie die Belohnung für die Teilnahme erhält. Bei Remote-User-Tests haben die Teilnehmer oftmals kein Vertrauen. Erkläre daher genau, wann und wie diese übergeben werden.
  • bitte die Person die Sitzung zu verlassen

9. Diskutieren & Reflektieren

Plane nach jeder Testrunde mindestens 15 Minuten für die Nachbesprechung ein. Während die Person die Sitzung verlässt, bleiben Beobachter und Moderator in der Sitzung, um das Feedback zu reflektieren und zu diskutieren. Nimm dir weitere 15 Minuten, um die nächste Testrunde vorzubereiten.

10. Auswertung

Nachdem alle Usability-Tests mit den Testteilnehmerinnen durchgeführt wurden, können die Test-Ergebnisse aufbereitet und in einem Workshop vorgestellt werden. In den vergangen User-Tests verwendete ich dafür das Tool Miro. Das digitale Whiteboard ermöglicht es mit mehreren Personen an der Auswertung zu arbeiten. Um die Testergebnisse aufzubereiten, legte ich eine Tabelle mit allen Beobachtungen zu jeder Testperson an.

 

Tabelle mit Beobachtungen zu jeder Testperson

 

Anschließend wird jede Erkenntnis einer Gruppe zugeordnet (siehe Bild unten). Hast du viel Nutzerfeedback erhalten, können Unterkategorien zusätzlich helfen, diese entsprechend einzuordnen. Ich persönlich bin ein großer Fan von Affinitätsdiagrammen, da die Testergebnisse dadurch auch visuell aufbereitet werden. So ist jedem auf Anhieb klar, welcher Bereich für die User bereits gut funktioniert und welcher nicht. Das ist aber Geschmacksache.

 

 

zugeordnetes User-Feedback in Gruppen

 

Bei der Ergebnis-Dokumentation ist es wichtig, nicht nur Fehler aufzuzeigen, sondern auch die Dinge zu benennen, die gut für die Testerinnen funktioniert haben und die nicht verändert werden sollten. Anschließend kannst du nun mit der Analyse beginnen und im Team über Lösungen brainstormen. In einem erneuten Usability-Test validierst du dann, ob die erarbeiteten Lösungen den gewünschten Effekt erzielten.

Zusammenfassung

1. Definiere das Forschungsziel

  • leg den Schwerpunkt des User-Tests fest

2. Wähle die richtige Nutzergruppe aus und vereinbare Termine

  • wähle Testpersonen aus, die deiner Zielgruppe entsprechen
  • Haben sie alle das nötige Equipment?

3. Überleg Fragen und Aufgaben für den Test

  • Fertige ein Testskript mit Fragen und Aufgaben an

4. Versende Erinnerungsschreiben

  • nenn das Datum und die Uhrzeit
  • Equipment Meeting-Software
  • Meeting-Link und Link zum Prototypen verschicken
  • auf einen ruhigen Ort mit stabiler Internetverbindung hinweisen

5. Teilnehmer in die Sitzung bringen

6. Beginn des User-Tests

  • Begrüßung
  • Einverständnis der Video-Aufnahme
  • Aufzeichnung starten
  • nicht die Person wird getestet, sondern das Produkt
  • Bildschirm-Freigabe

7. Sitzung beginnen

  • Kontext-Fragen, die die Person näher erforschen
  • Beginn mit leichten Aufgaben
  • Frage stets nach: Wer? Wie? Was? Warum? Wann? Wo?

8. Beende die Sitzung

  • kläre letzte Fragen
  • Belohnung für die Teilnahme am Usability-Tests

9. Diskutieren & Reflektieren

  • plane nach jeder Testrunde 30 Min für Nachbesprechungen ein
  • gönn dir zwischendrin eine kurze Pause 

10. Test-Auswertung

  • Erkenntnisse zu jeder Testperson festhalten
  • visuelle Aufbereitung bspw. durch ein Affinitätsdiagramm
  • Problemlösungen im Team überlegen

Fazit

Grundsätzlich sollten User-Tests nicht nur einmalig stattfinden, sondern fester Bestandteil in deinen Prozessen sein. Bedürfnisse der User ändern sich und damit auch die Anforderung an das Produkt. Plane sie daher regelmäßig ein.

Sicher ist, dass ein moderierter Usability-Test deutlich mehr Zeit in Anspruch nimmt als ein nicht-moderierter Test. Dennoch überwiegen hier ganz klar die Vorteile: Durch die Moderation und das zielgerichtete Nachfragen bei Unklarheiten oder interessanten Aussagen erhältst du qualitativ viel hochwertigeres und detaillierteres Feedback als bei den nicht-moderierten Tests.

 

Über die Autorin

Sophie Rauhut

Sophie arbeitet als UX Designerin bei inspired consulting. Sie unterstützt und begleitet die Kunden in der Konzeption und Realisierung von digitalen Produkten. Um die Feebackschleife kurz zu halten, setzt sie dabei auf klickbare Prototypen und zeitnahe Verprobung durch User-Tests.

Action

Lassen Sie uns über Ihre Pläne und Herausforderungen sprechen. Heute ist der Tag, an dem Sie die Weichen für die Zukunft stellen. Sprechen Sie uns an und erzählen Sie uns von Ihren Plänen und Herausforderungen. Jetzt Kontakt aufnehmen

Quellen

Header Image: David Travis

 

Produktentwicklung, , ,