Drum prüfe, wer was regeln will

Methodik Experimentelles Denken führt oft zum Erfolg. In der Politik werden Entscheidungen aber selten wissenschaftlich getestet - drei Beispiele aus denen man lernen kann

Das ganze Leben ist ein Experiment“, schrieb einst der amerikanische Philosoph und Schriftsteller Ralph Waldo Emerson. „Je mehr Experimente man unternimmt, desto besser.“ Diese Maxime beschreibt, woraus Wissenschaft gemacht ist: Das Fundament eines Ansatzes, der zuverlässiges, wenn auch provisorisches Wissen von hoher Konsistenz erzeugt.

Wissenschaftler beobachten die Welt, sie entwickeln Ideen, die das Gesehene erklären, und dann überprüfen sie diese Ideen auf so leidenschaftslose Weise wie möglich. Die Ergebnisse zeigen, welche Ideen gut und welche schlecht waren. Selbst die anmutigste Hypothese wird verworfen, wenn sie der Konfrontation mit der Realität nicht standhält. Auf diesem Weg können wir herausfinden, ob Medikamente helfen, ob genetisch veränderte Organismen Schaden anrichten und ob das Masseteilchen, genannt Higgs-Boson, existiert.

Dank der experimentellen Art und Weise, mit der wir Wissen erschaffen, haben Technologien unsere moderne Welt geformt. Das wird zunehmend auch in der Wirtschaft erkannt, wo erfolgreiche Unternehmen wie Google ihren Mitarbeitern bewusst die Freiheit zugestehen, eigenständig neue Konzepte einzuführen und daran zu scheitern – damit sie daraus lernen.

Massenexperiment

In anderen Bereichen des öffentlichen Lebens kommt so ein experimentelles Denken allerdings nicht zum Zug. Dabei könnten Regierungen solche rigorosen Methoden durchaus nutzen, zum Beispiel, wenn sie wissen wollen, wie man Kinder am besten bildet, wie man Verbrechen dezimiert oder Straftäter rehabilitiert. Die wenigsten Richtlinien werden jedoch experimentell geprüft, bevor man sie auf die Menschheit loslässt. Natürlich erwarten wir, dass neue Medikamente durch randomisierte, kon­trollierte Studien sorgfältig bewertet werden, bevor sie auf den Markt kommen, damit wir uns des Nutzens im Vergleich zu den Nebenwirkungen halbwegs sicher sein können. Für politische Entscheidungen, die von Tragweite für unser Leben sind, akzeptieren wir dagegen viel geringere Standards: Pilotprojekte sind meist schlecht aufgebaut, wenn man sich überhaupt um welche bemüht. Ideologien, Anekdoten und die Annahmen über die gesellschaftliche Stimmung übertrumpfen die Realität der Zahlen immer und immer wieder.

Was bei Medikamenten auch niemand akzeptieren würde: Dass man aufhört, sie zu beobachten, sobald der Wirkstoff lizensiert ist. Wenn Zehn- oder Hunderttausende Menschen anfangen, ein Arzneimittel einzunehmen, wird ihr weiteres Schicksal beständig überwacht. Und wenn ernste Bedenken aufkommen, wie im Fall des Schmerzmittels Vioxx, nimmt man die Arzneien auch wieder vom Markt. Die Regierungspolitik dagegen wird als das Massenexperiment, das sie ist, nicht einmal wahrgenommen. Bildungskonzepte und Strafrichtlinien werden verabschiedet, ohne dass man sie mit ernsthaften Tests auf Zuverlässigkeit belasten will. Wann haben sie das letzte Mal einen Politiker sagen hören: „Wir kassieren diese Regelung, es hat einfach nicht funktioniert“?

Die Alternative zu durchdachten gründlichen Experimenten in der Sozialpolitik ist also: gar keine Experimente beziehungsweise Experimente, die gemacht werden, ohne irgendwelche Daten zu sammeln. Dabei ist es keineswegs unethisch, mit Bildung oder Justiz zu experimentieren. Unethisch ist, es nicht zu tun.

Der Schultag

Die Hypothese: Der traditionelle Schultag beginnt zwischen acht und neun Uhr. Viele Lehrer sind der Ansicht, Schüler arbeiteten frühmorgens am besten. Forschungsergebnisse von Neurowissenschaftlern deuten aber darauf hin, dass die innere Uhr von Jugendlichen im Vergleich zu kleinen Kindern und Erwachsenen um mehrere Stunden „nachgeht“, was erklären könnte, warum Teenager gern lange aufbleiben und morgens nicht aus den Federn kommen. Die Frage war also: Wären die Lernergebnisse von Teenagern besser, wenn der Unterricht morgens später anfinge und die Schüler somit zu einer Tageszeit lernen könnten, zu der sie von Natur aus wacher und aufmerksamer sind?

Das Experiment: Die Lehrergewerkschaften machten sich zunächst über die Idee lustig. Doch Paul Kelley, damaliger Schulleiter der Monkseaton High­- school im britischen Tyneside meinte, es lohne sich, der Sache nachzugehen. 2010 überzeugte er sein Direktorium, den Unterrichtsbeginn von neun auf zehn Uhr zu verlegen. Das Experiment nahm seinen Lauf.

Nach dem ersten Schuljahr erzielte der Abschlussjahrgang von Monkseaton die besten Prüfungsergebnisse seit Bestehen der Schule. Die Zahl der Schüler, die in mindestens fünf Fächern mit einer der drei Bestnoten abschlossen, stieg im Vergleich zum Vorjahr um 19 Prozent. Besonders gut waren die Noten in den naturwissenschaftlichen Fächern und in Informations- und Kommunikations­technologie. Die Fehlzeiten gingen um 27 Prozent zurück.

Das Fazit: Als Beweis reicht dieses eine Experiment nicht. Es zeigt, was an einer Schule in einem Jahr passiert ist – vielleicht war der Jahrgang besonders schlau, vielleicht gehen die Verbesserungen nur darauf zurück, dass der Stundenplan neu war. Dann würde der Effekt mit der Zeit schwinden. Das Experiment hat aber Indizien geliefert, und es wäre relativ einfach, eine randomisierte, kontrollierte Studie durchzuführen, die solide Belege liefert. Dafür müssten etwa alle weiterführenden Schulen einer bestimmten Region nach dem Zufallsprinzip angewiesen werden, entweder um neun oder um zehn Uhr morgens mit dem Unterricht zu beginnen. Dann würden die Prüfungsergebnisse daraufhin ausgewertet, ob es in einer Gruppe gegenüber der anderen zu statistisch signifikanten Verbesserungen gekommen ist.

Drogen und Strafen

Die Hypothese: Es gilt als bewiesen, dass viele Drogenabhängige ihre Sucht durch Diebstahl und ähnliche Straftaten finanzieren. Die Abhängigkeit dieser Delinquenten zu behandeln, statt die Betreffenden ins Gefängnis zu sperren, könnte die Rückfallquote als Straftäter senken.

Die Labour-Regierung in Großbritannien verfügte 1998 daher einen neuen Umgang mit drogenabhängigen Straftätern. Die Richtlinie über Drogenbehandlung und Drogenprüfung (Drug Treatment and Testing Order, DTTO) verfügte, dass wegen Drogendelikten verurteilte Straftäter an einem Behandlungsprogramm teilnehmen müssen und regelmäßig auf Drogenkonsum untersucht werden. Ein Pilot­projekt belegte angeblich die Wirksamkeit dieser Maßnahme, sie wurde landesweit eingeführt.

Das Experiment: Es ist lobenswert, dass sich das Innenministerium vor der ­Einführung der DTTO für eine Pilotstudie entschied. Allerdings haben Statistiker ­gezeigt, dass diese Studie so miserabel angelegt war, dass ihre Ergebnisse im ­Grunde wertlos sind. Erstens wurden zu viele ­junge Straftäter einbezogen, um ­statistische Aussagekraft zu erreichen. Zweitens wurden die Teilnehmer nicht randomisiert. Die zufällige Zuordnung von ­Studienteilnehmern zu einer ­Interventions- oder Kontrollgruppe zählt aber zu den wirksamsten Werkzeugen ­wissenschaftlicher Studien, weil sie eine grundlegende Verzerrung der Ergebnisse zu vermeiden hilft. Verzichtet man auf eine Randomisierung, beruhen die ­beobachteten Unterschiede häufig nur auf den Unterschieden zwischen den beiden Gruppen statt auf einem tatsächlichen ­Effekt.

Das Fazit: Es wäre einfach gewesen, die DTTO-Pilotstudie zu randomisieren. Bei der Verurteilung eines entsprechenden Straftäters hätte der Richter die angemessene Strafe verhängt, dann aber durch ein zufälliges Verfahren entweder der regulären Strafe oder einem DTTO-Programm zugewiesen. Dann hätte man nach Verbüßung der Strafen sowohl die DTTO- als auch die Kontrollgruppe weiter begleiten können, um die Rückfallquoten zu vergleichen. Der einzige Unterscheid zwischen den beiden Gruppen wäre in diesem Fall die Strafe gewesen, durch die sich dann etwaige Unterschiede bei der Rückfälligkeit erklärt hätten. So wie die Studie aber durchgeführt wurde, entschieden die Richter nach ihrem Ermessen, wer dem DTTO-Programm zugewiesen wurde.

Kein Pharmakonzern wäre mit einer derart schlampigen Studie durchgekommen. Um eine strafrechtliche Maßnahme einzuführen, hat es aber gereicht.

Auslandshilfen

Die Hypothese: In den Neunzigern beschloss die niederländische Hilfs­organisation International Christelijk Steunfonds (ICS) ein Programm zur Bildungsförderung in Kenia. Zuvor hatten Untersuchungen gezeigt, dass die Prüfungsergebnisse afrikanischer Kinder sich verbessern, wenn man Schulbücher zur Verfügung stellt, die sonst fehlen würden. Also zahlte die Organisation Bücher für den Englisch- und Mathe­unterricht sowie für naturwissenschaftliche Fächer. Darüber hinaus führte man ein Experiment durch.

Das Experiment: Tim Harford erklärt in seinem Buch Adapt, dass ICS die kenianische Regierung nicht bat, 25 geeignete Schulen zu nennen, sondern einhundert, die allesamt gleichermaßen infrage kämen. Daraus wurden dann 25 zufällig ausgesucht und mit Büchern ausge­stattet. Später wurden die Prüfungsergebnisse der 25 Interventions-Schulen mit den 75 anderen Schulen verglichen, die keine Bücher erhalten hatten.

Das Fazit: Es stellte sich heraus, dass die Bücher kaum etwas verbesserten. Da­raufhin versuchte ICS es mit bebilderten Schaukarten für den Unterricht und führte einen ähnlichen randomisierten Test durch. Wieder zeigte sich kein signifikanter Effekt. Schließlich verlegte sich die Organisation darauf, die Kinder gegen Darmwürmer zu behandeln. Der Versuch wurde diesmal gestaffelt durchgeführt. Die Schüler der 25 zufällig ausgewählten Schulen erhielten die Behandlung um­gehend, die von 25 weiteren Schulen zwei Jahre danach und die von 25 weiteren Schulen wieder zwei Jahre später. Dieses Mal waren die Ergebnisse eindeutig: Die entwurmten Kinder lernten klar besser, was wahrscheinlich an der verbesserten Versorgung mit Nährstoffen lag. ICS hatte die Macht der Randomisierung genutzt, um herauszufinden, wie man die begrenzten eigenen Mittel am effektivsten einsetzen könnte. So viel Weitsicht zeigen Regierungen leider nur selten.
 

Mark Henderson war Wissenschaftsredakteur der Times und leitet jetzt die Kommunikationsabteilung des Wellcome Trust

12:00 28.05.2012
Geschrieben von

Mark Henderson | The Guardian

Der Freitag ist Syndication-Partner der britischen Tageszeitung The Guardian
Schreiber 0 Leser 3956
The Guardian

Kommentare 20

Avatar