Evaluation und Begleitforschung

Warum wir den Schulversuch evaluieren und wissenschaftlich beforschen

IMST wurde vom Bundesministerium für Bildung, Wissenschaft und Forschung [BMBWF] mit der Begleitforschung des Schulversuchs MINT-Mittelschulen beauftragt.

In der Begleitforschung zielen wir darauf ab,  die schulischen Rahmenbedingungen und die Qualität des MINT-Unterrichts zu erheben und diese mit den damit einhergehenden kognitiven und affektiven Outcomes im Zusammenhang zu untersuchen.

Die Intention der Evaluation und der Begleitforschung ist es, Gelingensbedingungen für eine erfolgreiche Umsetzung eines MINT-Curriculums zu identifizieren, wissenschaftlich abgesicherte Handlungsoptionen zu formulieren und möglichst generalisierbares wissenschaftliches Wissen zu generieren. Zudem werden den Schulen in kompakter Form die Ergebnisse der Evaluation und Begleitforschung zur Verfügung gestellt, um diese für die Unterrichts- , Organisations- und Personalentwicklung zu nutzen.

Erste Überlegungen zum Evaluations- und Forschungsdesign

Wirksamer Unterricht führt bei Nutzung der Lerngelegenheiten zu kognitiven und affektiven Outcomes. Während man unter kognitiven Merkmalen beispielsweise die fachliche Kompetenz, etwa zum Thema Klima oder Umwelt, versteht, zählen zu den affektiven Merkmalen die MINT-bezogene Motivation, Emotionen sowie ein thematische Interesse. Da das Interesse weiterhin das wichtigste Motiv für die Berufswahl ist, sind Motivations- und Interessenförderung in der Schule (nicht nur im MINT-Bereich) essentiell. Sollte es durch den Schulversuch gelingen, die emotionalen und motivationalen Outputs der Schüler:innen zu stabilisieren bzw. sogar zu verbessern, dann sollte dies zu einer nachhaltigen Verankerung von MINT in den Schüler:innenbiographien führen.

In unserem Projekt wollen wir untersuchen, ob der Schulversuch MINT-Mittelschulen zu Änderungen in den Leistungen oder in der Motivation der Schüler:innen führt. Dafür bedarf es eines theoretischen Modells, das die Lernvoraussetzungen  (zum Beispiel das Interesse), den Unterricht und dessen Rahmenbedingungen sowie die kognitiven und affektiven Outcomes funktional miteinander in Beziehung setzt.

Variablen

Was gemessen werden soll

UNTERRICHTSQUALITÄT

Die Qualität des MINT-Unterrichts wollen wir mit dem „Theoretical framework for instructional practices in integrated STEM“ erheben.
Dieser Rahmen (Thibaut, Ceuppens et al., 2018) enthält fünf Schlüsselprinzipien, die für den Kontext MINT-Schulen angepasst werden.

1.  Integration von MINT-Inhalten
2.  problemzentriertes Lernen
3.  forschendes Lernen
4.  gestaltungsbasiertes Lernen
5.  kooperatives Lernen.

Aber auch allgemeinere Dimensionen, wie die drei Basisdimensionen guten Unterrichts (Klieme et al., 2006), können affektive und kognitive Outcomes abbilden.

HABITUELLE EIGENSCHAFTEN

Neben der Erhebung der MINT-Unterrichtsqualität sollen auch habituelle Eigenschaften der Schüler:innen sowie der Lehrpersonen erfasst werden.

Auf Seiten der Schüler:innen sind das die allgemeine Interessensstruktur (Allgemeiner-Interessen-Struktur-Test: AIST-R nach Eder und Bergmann (2005) sowie das spezifische Interesse, aber auch Erfahrungen in MINT-Bereichen. Weitere Kontextmerkmale die miterfasst werden sollen, sind zum Beispiel die Herkunftskultur der Schüler:innen oder auch deren Noten im integrierten MINT-Unterricht sowie in den Einzeldisziplinen wie Physik u.a.

Auf Ebene der Lehrpersonen werden motivationale Orientierungen wie unterrichtsbezogene intrinsische Motivation, und Selbstwirksamkeit sowie MINT-bezogene Überzeugungen und Werthaltungen berücksichtigt. Zudem wird die Ausbildung der Lehrkräfte, deren Fortbildungsverhalten im MINT-Bereich, fachfremder Unterricht, etc. exploriert.

SCHULISCHE RAHMENBEDINGUNGEN

Ein wesentlicher Faktor für die Wirksamkeit von Lernsettings sind, neben Unterrichtsmerkmalen, den Lernvoraussetzungen der Schüler:innen und den Erfahrungen und Kompetenzen der Lehrpersonen auch die schulischen Rahmenbedingungen, die die materiellen und personellen Ressourcen sowie die konzeptionelle Umsetzung eines Curriculums betreffen.

So werden neben den Schüler:innen und den Lehrpersonen auch die Schulleitungen und gegebenenfalls auch die Projektleiter:innen an den Schulen befragt. Hier sollen insbesondere die Auskünfte über die organisatorische Umsetzung, die Ausstattung, die Nutzung außerschulischer Lernort, die Verbindung des MINT-Curriculums mit den grundständigen MINT-Fächern, die Auswahl der Schüler:innen, die Vorhaben in der Weiterbildung und der Schulentwicklung usw. fokussiert werden. Die erste Erhebung auf der Leitungsebene wird bereits im Herbst 2023 stattfinden.

AFFEKTIVE OUTPUTS

Die Motivationsqualität im MINT-Unterricht stellt einen Teil des affektiven Outputs dar. Um sie zu erfassen, wird der Fragebogen zur motivationalen Regulation beim Lernen von Thomas und Müller (2016) für den integrierten MINT-Unterricht adaptiert. Darüber hinaus werden weitere affektive Dimensionen wie die fachbezogene Sorge und die instrumentelle Motivation als emotionale Outcomes erfasst.

Der kognitive Output wird nicht in der Begleitforschung direkt erhoben, da die Entwicklung von Leistungstests, speziell für den integrierten MINT-Unterricht, die Ressourcen überschreitet. Durch eine Kooperation mit dem Institut des Bundes für Qualitätssicherung im Österreichischen Schulwesen (IQS) kann der kognitive Output  im Rahmen der IKMPLUS-Erhebungen abgebildet werden und mit den hier erhobenen Merkmalen in Beziehung gesetzt werden.

Gender im MINT-Unterricht

Ein weiterer wichtiger Aspekt ist die Genderthematik im MINT-Unterricht. In internationalen Leistungsstudien wie PISA fallen immer wieder große Unterschiede zwischen Mädchen und Buben auf.

Die Befunde der Forschung können nach Geschlechtergruppen ausgewertet werden, und Unterschiede gegebenenfalls erklären.

Erhebungsablauf

Die Begleitforschung wird längsschnittlich angelegt werden, um die Verläufe und Effekte der Umsetzung des Schulversuchs bestmöglich zu erfassen. Als Stichprobe sollten sämtliche MINT-Mittelschulen herangezogen werden. Um den Zusammenhang zwischen der Umsetzung des Schulversuchs, der Merkmale der Schüler:innen und Lehrer:innen zu untersuchen, werden auch die Lehrpersonen zu ihren Erfahrungen und Einstellungen zu MINT und MINT-Unterricht sowie die Schulleiter:innen zu den Rahmenbedingungen befragt. Die Befragung der Schüler:innen und der Lehrpersonen wird ab dem Schuljahr 2024/2025 durchgeführt.

Erste Befunde können im Frühjahr 2024 berichtet werden.

Verantwortlich für Evaluation und Begleitforschung: