Reihenfolgeeffekte, „weiß nicht“-Antwortkategorien und Survey-Datenqualität: Ergebnisse von Split-Ballot-Experimenten mit Altenheimbewohner*innen

Hintergrund: Die Anordnung von Fragen und Antwortkategorien („Kontexteffekte“) sowie das Anbieten einer expliziten „weiß ich nicht“-Antwortkategorie in standardisierten Befragungen können sich auf Antwortprozesse von Altenheimbewohner*innen (AHB) auswirken und zu verzerrten Ergebnissen führen. Mit zunehmender kognitiver Beeinträchtigung (kB) der Befragten ist von einem erhöhten Risiko von Antwortreihenfolge-, aber verringertem Risiko von Fragereihenfolgeeffekten auszugehen („working memory-hypothesis“). Zudem wird häufig angenommen, dass das Anbieten einer expliziten „weiß ich nicht“-Kategorie
(WIN) zu erhöhten Anteilen nicht-substanzieller Antworten und nicht-intendierten Antworttendenzen führt („Satisficing“).
Ziel: Analyse potenzieller Antwortverzerrungen durch Kontexteffekte und WIN-Kategorien relativ zur kognitiven Leistungsfähigkeit von AHB.
Methode: 584 AHB mit bis zu moderater kognitiver Beeinträchtigung (Mini-Mental Status Test, MMST10–30) aus 15 Altenheimen wurden in dercRCT „PIASMA“(2016–2018) mit standardisierten, validierten Instrumenten zu Schmerz (Brief Pain Inventory, BPI), Depression (Geriatrische Depressionsskala, GDS-15) und Lebensqualität (EQ-5D-3L) untersucht. Die Methodenexperimente wurden als Split-Ballots (balanciert) umgesetzt und in Relation zur kognitiven Beeinträchtigung (keine: MMST 25–30; mild: MMST 18–24; moderat: MMST 10–17) analysiert: Fragereihenfolgeeffekte wurden durch umgekehrte Anordnung der sieben BPI-
Items zur Schmerzbeeinträchtigung getestet (Student T/Mann-Whitney U-Tests). Weitere experimentelle Bedingungen wurden in der GDS- 15 mittels Prüfung auf Differenzen der Antwortverteilungen zwischen Original- und manipulierten Versionen geprüft (Wilson-Prozedur für unabhängige Samples): (a) reversierte dichotome Antwortkategorien (nein/ja); (b) zusätzliche WIN-Kategorie pro Item (ja/nein/WIN).
Ergebnisse: Reihenfolgeeffekte wurden nur bei AHB ohne kB beobachtet (z. B. wird „Lebensfreude“ signifikant negativer bewertet, wenn dies als letztes und nicht erstes Item präsentiert wird). Signifikante Effekte (p < 0,05) der Antwortreihenfolge treten bei AHB
mit moderater kB („Recency“-Effekt: 3 Items), sowie bei AHB ohne kB („Primacy“-Effekt: 3
Items) auf. Das Anbieten einer WIN-Kategorie wirkte sich weder auf die WIN-Häufigkeit noch auf die Verteilung der Items aus.
Schlussfolgerung: Kontexteffekte scheinen die Datenqualität in Befragungen von (institutionalisierten) älteren Menschen zu beeinträchtigen. Richtung und Stärke dieser Effekte werden dabei durch die kognitive Leistungsfähigkeit der AHB moderiert. Im Vortrag werden Erklärungen für die beobachteten Effekte diskutiert und datenqualitätsmindernde Folgen für
ausgewählte statistische Maße der Studienoutcomes (z. B. Skalenwerte, interne Konsistenz, Korrelationen) vorgestellt.