Statistische Ungereimtheiten

Daten ohne Aussagekraft Ein Scheitern von PISA wäre für den Testkonzern verheerend. Mit Kritikern wird deshalb rabiat umgegangen

Wolfram Meyerhöfer

Als Adorno den Begriff der Kulturindustrie prägte, machte er uns auf das Phänomen der "Wiederholung des immer Gleichen in immer neuer Umkleidung" aufmerksam. Wir sind das gewohnt von Vorabendserien und Hauptabendfilmen, von Politikteil und Feuilleton der Tageszeitung. Wissenschaft gibt es ebenso in industrialisierter Form. Sie versorgt uns gern mit Resultaten, die unseren Voyerismus befriedigen, unser Erkenntnisinteresse aber ungestillt lassen.

Auch das PISA-Konsortium hat sich eine neue Umkleidung einfallen lassen, um unser Interesse stillzustellen: In diesen Tagen werden die Ergebnisse von "PISA plus" veröffentlicht. Dabei wurden Schüler, die man 2003 als Fünfzehnjährige getestet hatte, ein Jahr später nochmals getestet - jedenfalls diejenigen, die noch an den Schulen waren. Man misst Testfortschritte, die man Lernfortschritte nennt, und jeder wird eine Deutung der Daten finden, die zu seinem pädagogischen oder bildungspolitischen Weltbild passt - unabhängig davon, ob nun Testfortschritte von 15 oder 25 oder 35 Punkten gemessen wurden.

Man nennt die Pressekonferenz zur Veröffentlichung der Daten jetzt "Fachtagung", allerdings dürfen nur geladene Journalisten und Verbändevertreter dabei sein. Wissenschaftler sind nicht zugelassen - außer jenen, die von den beteiligten Testkonzernen beziehungsweise von der Kultusministerkonferenz (KMK) dafür bezahlt werden, dort zu sein. Ernsthafte Debatten sind auf dieser "Fachtagung" also nicht zu erwarten.

Die Wissenschaftler, die für PISA arbeiten, haben in den vergangenen Jahren eindrücklich gezeigt, dass sie ihre Macht im sozialen Feld der Wissenschaft zu gebrauchen wissen, um Kritik wegzuschießen. So wurde dem Berliner Mathematiker Frank Gaeth völliges Unverständnis unterstellt, als er anhand von Betrachtungen zur Stichprobe zeigte, dass PISA nicht nur Schulleistung, sondern unter anderem die Schnelligkeit von Schulsystemen beim Durchschleusen der Kinder misst.

Letzte Woche konnten wir den öffentlichen Umgang mit dem Münchener Physiker Joachim Wuttke verfolgen, der in dem von Thomas Jahnke und mir herausgegebenen Sammelband PISA Co - Kritik eines Programms Probleme der Stichprobenauswahl diskutiert: Wenn 250.000 Schüler getestet werden, muss man viele Modellierungen vornehmen und viele statistische Einzelentscheidungen treffen. Dabei besteht jeweils die Gefahr, die Resultate gewollt oder ungewollt zu beeinflussen. Wuttke zeigt, dass die Länderrangreihe bereits ordentlich durcheinander gewirbelt würde, wenn man nur die PISA-internen Regeln einhielte, statt sie immer mal wieder wegzubiegen.

Manche Entscheidungen sind auch gar nicht einheitlich geregelt. So haben sich bei PISA-2003 nur 7 von 41 Ländertestleitungen entschlossen, die Sonderschüler - die ein verkürztes Testheft bearbeitet haben - in die Länderwertung aufzunehmen. Wenn man hier für alle Länder einheitlich auswerten würde, stiege Deutschland plötzlich im Lesetest vom bisher angegebenen Platz 18 auf Platz 12.

Aus welchen Gründen auch immer die deutsche Testleitung beschlossen haben mag, die Sonderschüler in die Rangwertung aufzunehmen: Die Entscheidung hat den Deutschen die Erkenntnis vorenthalten, dass PISA wenig über das Schulsystem erzählt: In den anderthalb Jahren zwischen der Veröffentlichung der Ergebnisse des ersten Testzyklus (Dezember 2001) und der Durchführung des zweiten Testzyklus (Frühjahr 2003) dürfte sich der deutsche Leseunterricht kaum so radikal verändert haben, dass ein Sprung von Rang 21 (von 32) auf Rang 12 (von 41) erklärbar wäre. Allenfalls ist größere Anstrengung beziehungsweise Testorientierung denkbar, eine Messung von Schulerfolg oder gar Bildung bzw. Literalität findet aber offenbar nicht statt. Dies korrespondiert mit Erkenntnissen zum Mathematiktest. Für ihn wurde bereits anhand der Testaufgaben herausgearbeitet, dass PISA als Instrument zum Testen mathematischer Bildung nicht geeignet ist. Das Problem ist also nicht, ob Deutschland "in Wirklichkeit" besser ist, sondern dass der Test nicht wirklich eine Aussage darüber zulässt.

Der Leiter des deutschen PISA-Konsortiums, Manfred Prenzel, kommentiert Wuttkes Feststellungen mit der Bemerkung, er habe "vieles von PISA nicht verstanden". Dabei scheint nicht zu interessieren, dass Wuttke eine profunde Kenntnis des statistischen Konstrukts und der Prozeduren der Datenaufbereitung aufweist und die PISA-Ergebnisse nachgerechnet hat - was deshalb noch niemand gemacht hat, weil es aufwändig und technisch schwierig ist. Es ist normal, dass Prenzel als Projektleiter die Statistik von PISA schlechter durchschaut als der Datenspezialist Wuttke. Eine Herabwürdigung der Kritik ohne jedes Argument folgt daraus aber nicht zwingend.

Das unkommentierte Zitieren der Prenzelschen Entgleisung in den Medien verweist auf ein problematisches Verständnis von Unparteilichkeit. Positionen werden schlicht nebeneinander gestellt. Argumente scheinen dabei ebensowenig zu existieren wie Nachfragen oder eigene Plausibilitätsbetrachtungen durch Journalisten. Auf diese Weise hat der Leser keine Möglichkeit, die Kraft des besseren Arguments zu ergründen. Es bleibt lediglich die Autorität der gesellschaftlichen Position der Beteiligten.

Vielleicht liegen Gründe für den rabiaten Umgang mit Kritikern auch in den finanziellen Größenordnungen: Deutschland hat rund zwanzig Millionen Euro für die Zyklen 2000, 2003, 2006 bezahlt. Hinzu kommen die Kosten für jene beteiligten Wissenschaftler, die ohnehin von den Bundesländern bezahlt werden und für PISA im Rahmen ihres Forschungsdeputats arbeiten. PISA soll bis 2019 weiterlaufen. Da der Test in Dutzende Länder verkauft wird, hat das Projekt einen Umfang in dreistelliger Millionenhöhe.

Als wissenschaftliches Konstrukt ist PISA mittlerweile auf allen Ebenen dekonstruiert - Wuttke und Gaeth haben dem bereits Vorhandenen lediglich die Erkenntnis hinzugefügt, dass nicht mal der statistische Part stimmig ist. Insofern sollte man das Projekt einfach abbrechen.

Der Autor ist Mathematikdidaktiker an der Universität Postdam. Sein Buch Tests im Test. Das Beispiel PISA. ist 2005 im Barbara Budrich Verlag erschienen.