26. Pilotdesign: Wirkung prüfen, nicht nur Aktivität zählen
Ein Pilot ist kein verkleinerter Rollout. Er soll präzise prüfen, ob ein begrenzter Kompetenzpfad bei vertretbarem Aufwand eine relevante Verbesserung erzeugt. Dafür brauchen wir Baseline, transparente Kriterien, Vergleich über Zeit, qualitative Rückmeldung und die Möglichkeit, die Hypothese zu widerlegen.
Mindestdesign
- Aufgabe, Zielgruppe, Ausgangsniveau und Scope vorab definieren;
- Baseline für Wissen, beobachtete Leistung, Fehler, Belastung und Selbstsicherheit erfassen;
- geführte Übung mit sichtbarem Expertenmodell und Feedback durchführen;
- mehrere Varianten sowie mindestens einen Transfer- oder Störungsfall verwenden;
- formative Daten von formaler Evidenz trennen;
- nach einem Zeitabstand einen erneuten Fall prüfen;
- Teilnehmende und Organisation zu Nutzen, Belastung, Fairness und Datenschutz befragen;
- falsche positive und falsche negative Kompetenzurteile analysieren;
- Ergebnisse als qualifizierte Claims mit Unsicherheit und Gegenbelegen dokumentieren;
- Repair-Entscheidungen in Pfad, Rubrik, Technik und Kommunikation zurückführen.
Messdimensionen
| Dimension | Beispiele |
|---|---|
| Kompetenz | Aufgabenerfolg, Fehlerarten, benötigte Hilfen, Transfer, Wiederholungsstabilität. |
| Sicherheit | erkannte Grenzfälle, Stop-/Eskalationsverhalten, Datenfluss- und Quellenfehler. |
| Menschliche Qualität | Verständnis, Belastung, Selbstwirksamkeit, Entscheidungsqualität, Vertrauen ohne Übervertrauen. |
| Organisation | Rollenklärung, Zeit bis zur sicheren Aufgabenübernahme, dokumentierte Lücken und Maßnahmen. |
| Fairness und Zugang | Barrieren, unterschiedliche Ausgangsniveaus, Sprache, Behinderung und Technikzugang. |
| Wirkung | vermeidbare Fehler, Prozessqualität, Zeitgewinn, Nacharbeit und reale Nutzbarkeit - mit Aussagegrenzen. |
Quellenanker: [B1, Kap. 26], [E7], [E19]