Test mit Betroffenen: Ablauf und Nutzen

Was bringt ein Test mit Betroffenen zusätzlich?

Kurzantwort: Ein Audit findet Verstöße gegen Kriterien. Ein Test mit Betroffenen findet Stellen, an denen Menschen aufgeben — auch dort, wo formal alles erfüllt ist. Beide Verfahren ersetzen einander nicht.

Auf einen Blick:

• Kein Ersatz für ein Audit, sondern die Ergänzung, die es nicht leisten kann.
• Vom W3C ausdrücklich empfohlen: WCAG-EM rät nachdrücklich dazu, Menschen mit Behinderungen einzubeziehen — verlangt es aber nicht.
• Die Vielfalt der Hilfsmittel ist der Punkt: Screenreader, Vergrößerung, Spracheingabe, Spezialtastatur, Joystick, Augensteuerung.
• Fünf bis acht Personen decken die meisten wiederkehrenden Probleme ab; mehr bringt selten mehr.
• Bezahlen Sie die Teilnehmenden. Es ist Arbeit, und unbezahlte Tests ziehen eine verzerrte Gruppe an.

Warum ein Audit das nicht abdeckt

Ein Prüfbericht beantwortet die Frage: Erfüllt diese Seite die Erfolgskriterien? Er beantwortet nicht: Kommt ein Mensch damit ans Ziel?

Zwischen beiden liegt ein realer Abstand. Ein Formular kann korrekt beschriftet sein und trotzdem in einer Reihenfolge abgefragt werden, die niemand erwartet. Eine Fehlermeldung kann programmatisch verknüpft sein und trotzdem nicht erklären, was zu tun ist. Beides besteht das Audit und scheitert in der Praxis.

Umgekehrt gilt dasselbe: Nutzertests finden keine systematischen Kriterienverstöße auf Seiten, die niemand testet. Deshalb ist die Reihenfolge fast immer erst Audit, dann Nutzertest — sonst verbringen die Teilnehmenden ihre Zeit mit Fehlern, die ein Werkzeug in Sekunden gefunden hätte.

Wenn Ihr Budget nur eines erlaubt: Nehmen Sie das Audit. Es ist die Grundlage, und ohne behobene Basisfehler ist ein Nutzertest Verschwendung.

Wenn Sie eine kritische Strecke haben — Checkout, Antragsstrecke, Terminbuchung: Dort lohnt der Nutzertest am meisten, weil ein Abbruch dort unmittelbar Umsatz oder Versorgung kostet.

Wen testen Sie, und womit?

Der häufigste Fehler ist, „Menschen mit Behinderung” als eine Gruppe zu behandeln. Aussagekräftig wird der Test erst über die Bandbreite der Bedienformen.

Wie breit die sein kann, zeigt der Testaufbau von Aktion Mensch und Google für deutsche Onlineshops: Die Testenden arbeiteten unter anderem mit Spracheingabe, Spezialmaus und Spezialtastatur, Joystick und Augensteuerung; die Ausgabe reichte von Bildschirmen über VoiceOver bis zu Screenreadern — jeweils an die Person angepasst.

Eine praktikable Zusammenstellung für ein mittleres Projekt:

Wichtig: Testen Sie mit Menschen, die ihr Hilfsmittel im Alltag nutzen — nicht mit Kolleginnen und Kollegen, die einen Screenreader für den Termin installieren. Der Unterschied ist derselbe wie zwischen jemandem, der Auto fährt, und jemandem, der heute zum ersten Mal am Steuer sitzt.

Wie ein Test abläuft

1. Aufgaben statt Fragen. Formulieren Sie echte Ziele: „Bestellen Sie ein Produkt unter 30 Euro und lassen Sie es an eine Packstation liefern.” Nicht: „Wie finden Sie die Navigation?”

2. Nicht helfen. Die schwerste Disziplin. Wer eingreift, verliert genau den Befund, für den er bezahlt. Notieren Sie, wo die Person stockt, und lassen Sie sie weitermachen.

3. Laut denken lassen, soweit es die Person mag. Der entscheidende Satz fällt oft nebenbei: „Ich weiß jetzt nicht, ob das abgeschickt wurde.”

4. Aufzeichnen, mit Einwilligung. Bildschirm und Ton reichen. Die Aufnahme überzeugt intern mehr als jeder Bericht — ein Team, das einen Abbruch einmal gesehen hat, diskutiert nicht mehr über Prioritäten.

5. Nach Häufigkeit und Schwere auswerten, nicht nach Lautstärke der Rückmeldung. Ein Problem, an dem vier von sechs Personen scheitern, ist wichtiger als eines, das eine Person besonders deutlich benennt.

Aufwand realistisch: Für fünf bis acht Sitzungen à 60 bis 90 Minuten inklusive Vorbereitung, Rekrutierung, Durchführung und Auswertung sollten Sie mit mehreren Tagen rechnen. Die Rekrutierung ist der Teil, der meist unterschätzt wird.

Wer führt so etwas durch?

Prüfstellen und spezialisierte Agenturen. Beim BITV-Test sind Nutzertests fester Bestandteil des Verfahrens. Darüber hinaus bieten mehrere Anbieter im Verzeichnis Usability-Tests mit Betroffenen an — die Leistung ist bei uns derzeit nicht als eigene Filterkategorie geführt, weil wir sie nur bei einem Teil der Profile belegen können. Fragen Sie deshalb im Erstgespräch direkt danach.

Verbände und Selbsthilfeorganisationen vermitteln Testpersonen und beraten zum Aufbau. Das ist oft der schnellste Weg zu einer Gruppe, die wirklich Alltagsnutzung abbildet.

Worauf Sie im Angebot achten: Wie viele Personen, mit welchen Hilfsmitteln, wie rekrutiert, werden sie vergütet, und was ist das Ergebnisformat — Bericht, Aufzeichnungen, priorisierte Liste? Fehlt die Angabe zur Vergütung, fragen Sie nach.

Was die Methode nicht leistet

Sie ist nicht repräsentativ. Sechs Personen sind eine qualitative Stichprobe. Aus „vier von sechs scheiterten” folgt keine Prozentzahl für Ihre Nutzerschaft.

Sie ersetzt keine Konformitätsaussage. Ein erfolgreicher Nutzertest belegt nicht die Erfüllung der WCAG. Umgekehrt macht ein bestandenes Audit eine Seite nicht automatisch benutzbar.

Sie ist keine Stichprobe im Sinne von WCAG-EM. Die Methodik des W3C empfiehlt Nutzerbeteiligung ausdrücklich, zählt sie aber nicht zu den Schritten der Prüfung selbst.

Und sie darf keine Alibiveranstaltung sein. Eine Testperson einzuladen und das Ergebnis dann nicht umzusetzen, ist schlechter als kein Test: Es kostet Menschen Zeit für eine Entscheidung, die schon feststand.

Häufige Fragen

Wie viele Testpersonen brauche ich?

Für die meisten Projekte reichen fünf bis acht Personen, wenn sie unterschiedliche Hilfsmittel nutzen. Entscheidend ist die Bandbreite der Bedienformen, nicht die Zahl. Sechs Menschen mit sechs verschiedenen Zugangswegen finden deutlich mehr als zwölf Screenreader-Nutzende.

Muss ich die Teilnehmenden bezahlen?

Sie sollten. Es ist qualifizierte Arbeit, und unbezahlte Tests ziehen systematisch eine bestimmte Gruppe an — Menschen mit Zeit und Nähe zum Thema. Eine übliche Aufwandsentschädigung erweitert den Kreis und verbessert die Datenqualität.

Können wir das intern machen?

Den Ablauf ja, die Rekrutierung selten. Wer noch nie moderiert hat, greift erfahrungsgemäß zu früh helfend ein. Für den ersten Durchlauf lohnt eine Begleitung; danach kann ein Team das eigenständig wiederholen.

Wann im Projekt ist der richtige Zeitpunkt?

Nach der Behebung der Audit-Befunde und vor dem Livegang — dann sind die Basisfehler weg und Änderungen noch möglich. Bei laufenden Angeboten testen Sie die kritischste Strecke zuerst. Was ein Audit vorher kostet, steht im Ratgeber Was kostet Barrierefreiheit.