Remote User Experience Research – Erfahrungswerte aus über 5 Jahren

UX Research ist ein wichtiges Werkzeug für die gesamte Produktentwicklung. Als weltweit agierender Markplatz für Luxusuhren binden wir unsere verschiedenen Nutzergruppen in die Produktentwicklung ein, um unsere Produkte in direktem Kontakt mit den Nutzern auf den Prüfstand zu stellen und auch die Bedürfnisse unserer Nutzer besser kennenzulernen. Dabei führen wir oft Studien mit direktem Nutzerkontakt, wie Interviews und Usability-Tests durch.

Aufgrund der Corona-Pandemie standen viele UX Professionals und Teams vor der Herausforderung, solche Studien remote umzusetzen. Bei Chrono24 funktioniert die User Experience Research schon seit 2015 remote, weshalb wir auf einige Erfahrungswerte zurückblicken können, die wir gerne mit Euch teilen möchten.

Warum betreiben wir unsere Nutzerforschung remote?

Für unsere Arbeit ist es elementar, die richtigen Menschen als Teilnehmer unserer Studien zu gewinnen. Bei uns dreht sich alles um Luxusuhrenfans, -käufer und -verkäufer. Dies sind sehr spannende und vielfältige Zielgruppen, welche zudem auch noch weltweit verteilt sind.

Menschen aus diesen Gruppen regelmäßig vor Ort in unseren Standorten oder anderen Städten zu rekrutieren, wäre teuer und langsam. Auf diese Art könnten wir Studien seltener durchführen, als wir dies in unserer agilen Produktentwicklung benötigen.

Unsere Zielgruppen finden sich auch nur selten in Online-Panels wieder, was eine Rekrutierung über Dienstleister oft schwer macht. Da unsere Nutzer auch auf der ganzen Welt verteilt sind, ist dies nochmals erschwert. Daher haben wir früh angefangen, unsere Nutzer selbst auf Chrono24 für unsere Studien zu rekrutieren.

Was sind die Vorteile von Remote UX Research?

Einer der größten Vorteile ist, dass man bei der Rekrutierung der Nutzer nicht geographisch eingeschränkt ist. Wenn man mehrsprachig arbeiten kann und sich nach den Zeitzonen von Teilnehmern richtet, kann man auch sehr einfach internationale Studien durchführen. Dies kann bei Interview-Studien sehr hilfreich sein und es ist einfacher und günstiger als einen oder mehrere Dienstleister in verschiedenen Ländern zu beauftragen.

Um die richtigen Teilnehmer für eine Studie zu erhalten, werden diese üblicherweise durch einen Screening-Fragebogen ausgewählt. Dabei beantworten potenzielle Teilnehmer Fragen, aus welchen man erkennen kann, ob sie der Zielgruppe entsprechen. Dies können wir teilweise etwas abkürzen. Wenn wir beispielsweise eine Studie in einem unserer Feature wie der Watch Collection durchführen, dann laden wir die aktiven Nutzer direkt dort ein und müssen deshalb nicht noch abfragen, ob sie das jeweilige Produkt auch benutzen.

Auch auf der technischen Seite gibt es Vorteile: Im Gegensatz zu einem standardisierten Test Device in einem klassischen Usability-Labor verwenden unsere Studienteilnehmer ihr eigenes Device. Dies kann interessante, realistische Einblicke geben: Wie sieht unser Design wirklich auf verschiedenen Bildschirmgrößen aus? Wie passt unser Konzept wirklich in den Workflow der Nutzer?

Dabei setzen wir im Fall von Usability-Tests auf moderierte Studien. Unmoderierte Usability- Tests haben ihren Reiz, aber unsere Nutzergruppe lässt sich üblicherweise nicht in den Mengen rekrutieren, wie sie für unmoderierte Tests notwendig wären.

Dabei kann auch das entsprechende Team, welches am untersuchten Produkt arbeitet, direkt mit einbezogen werden. Kleinere Teams saßen früher mit dem UX Researcher im selben Raum und konnten so Rückfragen direkt an den Researcher weitergeben, welcher diese dann an der richtigen Stelle einbezieht. Seitdem wir selbst auch remote aus dem Home-Office an den Studien teilnehmen, haben sich hierfür Chats, wie beispielsweise Microsoft Teams, etabliert. So können die Kollegen live an der Studie teilnehmen, sich austauschen und Rückfragen an den Moderator weitergeben.

Welche Herausforderungen hat Remote UX Research?

Remote UX Research ist natürlich nicht frei von spannenden Herausforderungen.

Die größten davon sind die technischen Probleme. Diese treten besonders bei Usability-Studien auf, welche eine Bildschirmübertragung benötigen und schon zu Beginn der Testsession für Verzögerungen sorgen können.

Wenn der Studienteilnehmer Probleme hat, die Bildschirmübertragung zu starten, so muss man diesem blind am Telefon helfen. Hier hilft es die Abläufe für alle verschiedene Device-Typen und Betriebssysteme zu dokumentieren und zu kennen. Das Übertragen des Bildschirms funktioniert auch nicht in jedem Tool gleich gut. Nachdem wir viele Tools ausprobiert haben, sind wir mittlerweile bei Zoom angelangt, weil dies auch die Übertragung von Mobile Devices gut löst.

Auch wenn die Bildschirmübertragung steht, können noch weitere technische Probleme auftreten. Wenn der Testgegenstand ein Prototyp auf einer Testumgebung ist, sollte sichergestellt werden, wann und wie externe Nutzer darauf zugreifen können. Doch auch wenn man denkt, alle Möglichkeiten bedacht zu haben, kann es immer noch Überraschungen geben. Wir mussten beispielsweise in einer Testsession feststellen, dass unser Testsystem für externe Nutzer eines bestimmten Betriebssystems keine Bilder ausgeliefert hat. Auch hier hilft es, alle Möglichkeiten vorab durchzuspielen. Die Qualität der Internetverbindung kann ebenso eine Hürde sein. Hier sollte man die Teilnehmer bereits bei der Rekrutierung darauf hinweisen, dass für die Studie eine stabile Verbindung notwendig ist. Auch eine ruhige Umgebung hilft.

Insgesamt lösen technische Probleme, welche eine geplante Session ganz verhindern, in unserer Erfahrung einen Teil der No-Shows bei klassischen Studien ab. Dagegen hilft auch immer noch über oder nach zu rekrutieren. Besonders wenn man selbst rekrutiert, muss man sich nicht nur auf No-Shows vorbereiten, sondern diese möglichst verhindern: Bestätigungsmails, Erinnerungen an den Termin am Tag davor sind übliche Mittel, welche auch bei einer Remote-Studie umso wichtiger sind. Um diese Hürden bestmöglich zu verhindern, hilft es mit den Teilnehmern einen Termin ein paar Tage vor den eigentlichen Studien zu vereinbaren, um dort bereits die notwendige Technik einzurichten und zu testen. Wenn Teilnehmer dazu bereit sind, reduziert dies aus unserer Erfahrung auch die No-Show-Rate.

Auch die Durchführung der Studien an sich hat neue Herausforderungen. User Experience Researcher haben Erfahrung darin, einen Rapport mit ihrem Gegenüber aufzubauen. Bei einem Over-The-Shoulder Usability-Test oder einem Interview vor Ort ist es wichtig, dem Teilnehmer zu signalisieren, dass man ihm zuhört und er nichts Falsches tut. Dies passiert üblicherweise zu einem großen Teil nonverbal.

Dies ändert sich aber bei Remote-Studien. Auch wenn sich der UX Researcher und der Teilnehmer durch eine Webcam sehen, dann ist die nonverbale Kommunikation eingeschränkt. Hierbei hilft es zu Beginn der Session sehr darauf zu achten, dass die Teilnehmer angekommen sind. Im Laufe der Session hilft es auch häufiger zu bestätigen, dass man zuhört.

Manche Teilnehmer werden sichtlich nervöser, wenn sie wissen, dass ihr Gesicht an eine unsichtbare Menge von Zuschauern übertragen wird. Auch wenn es schön sein kann, den Frust bei einer Usability-Hürde im Gesicht zu erkennen, ist dies ein Trade-Off, welche wohlüberlegt sein sollte. Daher verzichten wir bei manchen Fragestellungen auch auf die Webcam, damit sich die mögliche Nervosität eines Teilnehmers nicht auf die Ergebnisse auswirkt.

Fazit

Auch wenn man nicht auf Remote UX Research angewiesen ist, so lohnt es sich dies bei digitalen Produkten auszuprobieren. Man kann viel Geschwindigkeit gewinnen, wenn die ersten Hürden überwunden wurden. Ein schöner Nebeneffekt ist, dass man so häufiger näher an seine Nutzer herankommt. Dies allein ist schon ein großer Mehrwert.