Validität – Berechnungen, Beispiele und Aufgaben aus der Praxis

Ein guter Test sollte valide sein. Das bedeutet der Test misst das, was dieser vorgibt zu messen. Die wichtigsten Fragen zur Validität werden hier beantwortet und einige Beispiele aus der Praxis aufgezeigt.

Was ist die Validität?

Mit der Validität (vom englischen validity: Gültigkeit) eines Tests wird ausgedrückt, wie gut ein Test das misst was er messen soll. Die Validität spielt in vielen statistischen Messinstrumenten eine Rolle. Vor allem spielt die Validität in der Psychologie, und dort bei den psychologischen Tests eine wichtige Rolle. Der Duden definiert die Validität als ein Kriterium für die Güte eines Tests oder einer Messung. Dort wird die Wortherkunft entweder von französischen (validité), oder lateinischen (validus, valid) angegeben, was ähnlich wie im englischen Gültigkeit/gültig bedeutet.  Weitere Synonyme für Validität sind Zuverlässigkeit einer Aussage, Richtigkeit, Rechtsgültigkeit, Geltung und Gültigkeit.

Welche Beispiele für Validität gibt es?

In der Praxis haben sich unterschiedliche Herangehensweisen eingebürgert, um die Validität eines Tests zu erheben.

Prognostische Validität im AC

Ein Beispiel zur Bestimmung der Validität ist die prognostische Validität. Im Falle eines Assessment Centers könnte ein Probe-Assessment mit guten und eher schwachen Mitarbeitern durchgeführt. Die Annahme dabei lautet: Die guten Mitarbeiter sollten im AC deutlich besser abschneiden, als die mittelmäßigen /schwachen. Mit statistischen Verfahren wird dann anhand der Daten aus dem Probe-Assessment das Messinstrument so justiert, dass eine starke Differenzierung der beiden Extremgruppen möglich ist.

Faktorielle Validität

Die faktorielle Validität ist eine interne Form der Validitätsabschätzung. Nach einer Faktorenanalyse werden valide Items bestätigt, die auf einen bestimmten Faktor laden, vergleichbar mit der Konsistenz-Reliabilität.

Operationale Validität

Die Feststellung einer operationalen Validität ist beispielsweise bei Leistungstests möglich. Besteht ein mathematischer Leistungstest zum Beispiel aus verschiedenen Bruchrechenaufgaben, dann kann die Leistung als “operational definiertes Merkmal” betrachtet werden, ohne spezielle theoretische Annahmen treffen zu müssen.

Theoretisch definierte Merkmale

Die operationale Validität lässt sich bei theoretisch definierten Merkmalen (z.B Persönlichkeitsmerkmale, Fähigkeiten) nicht anwenden. Hier bedient man sich beispielsweise der Konstrukvalidität.

Konstruktvalidität

Die Konstruktvalidität ist heute ein zentraler Askekt vom Messungen der Validität in psychologischen Testverfahren. Hierbei soll die Zuverlässigkeit der Interpretation von Testergebnissen durch empirische Befunde und Argumente gestützt werden.

Warum ist die Validität das wichtigste Gütekriterium?

Aus der Tatsache heraus, dass die Objektivität für die Reliabilität vorausgesetzt wird und die Reliabilität für das Kriterium Validität vorausgesetzt wird, ist die Validität das aussagekräftigste Gütekriterium für psychologische Testverfahren. Oder anders ausgedrückt: Um die Validität zu gewährleisten, müssen die anderen Gütekriterien erfüllt sein.

Wie hängen Validität und Reliabilität zusammen?

Ein valider Test muss reliabel sein, ein reliabler Test kann, muss aber nicht, valide sein. Folgende Rangordnung gibt es bei den 3 Hauptgütekriterien:

1. Validität (ein valider Test ist auch reliabel und objektiv)
2. Reliabilität (ein reliabler Test ist auch objektiv aber nicht unbedingt valide)
3. Objektivität (ein objektiver Test ist nicht unbedingt auch reliabel oder valide)

Wie berechnet man die Validität?

Zur Messung der Validität gibt es verschiedenste Instrumente, welche unterschiedlichste Kennzahlen hervorbringen können. Bereits in der Versuchsplanung sollte geklärt werden, welche Art von Validität (inhaltiche Validität, kriteriumsbezogene Validität oder Konstruktvalidität) gemessen werden soll. Auf dieser Grundlage werden die passenden statistischen Messinstrumente und die Normstichprobe (Auswahl der Probanden) zusammengestellt. Bei der Konstruktvalidität wird beispielsweise geklärt, ob ein theoretisch begründetes Kontrukt (z.B. eine Fähigkeit) durch den Test erfaßt wird, also ob der Test die zugrunde liegende Fähigkeit tatsächlich misst.

Wann ist die Validität gegeben / gut?

Die innere Validität eines Tests wird anhand der Korrelation mit mehreren anderen Faktoren bestimmt. Somit ist der Wert der Validität deutlich niedriger als der Wert der Reliabilität.  Man spricht bei einer inneren Kriteriumsvalidität von 0,3 von zufriedenstellenden Ergebnissen. Ein Wert von 0,5 für die Validität gilt es sehr hoch.

Was mindert die Validität?

Mit der internen Validität wird beschrieben, in wieweit bei wissenschaftlichen Arbeiten für das Zustandekommen von Testergebnissen andere Einflussfaktoren ausgeschlossen werden können. Die interne Validität spielt nicht nur bei Tests, sondern auch bei der Modellierung und bei Studien eine Rolle. Mögliche Einflussfaktoren, die das Testergebnis mindern sind:

• Reaktivität (Die Testpersonen auf den Test selbst / wenn Sie beispielsweise negative Konsequenzen fürchten)
• Geschichte (Zeitlicher Gefühlszustand der Probanden, Wetterlage, andere Ablenkungen)
• Veränderungen beim Messinstrument (Probanden sind durch Erfahrung schlauer geworden oder sind beim Retest gelangweilt)
• Selektion durch mangelhafte Randomisierung (Testpersonen müssen zufällig ausgewählt werden
• Ausfall (Wenn Probanden während der Studie wegfallen, kann es zu einer ungewollten Selektion der Testergebnisse kommen)
• Richtung des Kausalschlusses (Eine dritte Variable)
• Informationsaustausch (Beispielsweise bei den Probanden untereinander)
• Rosenthal-Effekt (Durch Gestik, Minik oder Wortwahl verrät der Versuchsleiter mehr über das Experiment als nötig ist)

Im Gegensatz zur internen Validität beschäftigt sich die externe Validität mit der Frage, ob bestimmte Testergebnisse allgemeingültig sind, bzw. verallgemeinert werden können (Stichwort: Induktion).

Welche Bücher gibt es zu dem Thema?

Das Lehrbuch der Psychologie “Testtheorie und Fragebogenkonstruktion” von Moosburger/Kelava geht sehr tief in die Materie der Validität hinein und erklärt auf eine verständliche Art und Weise Begriffe wie “konvergente Validität” und “diskriminante Validität”. Neben Erklärungen gibt es zu vielen Abschnitten interessante Infografiken und Statistiken. In den Bücher-Rezesionen von Amazon erhält das Buch viel an Zuspruch. Interessante Online-Portale zu dem Thema sind Psychomeda und Spektrum.