Evaluation des Wettbewerbs 2010/11 Drucken E-Mail

Zusammenfassung, Juli 2011

Gutachter/in:
Susanne Höck, M.A., EOP München
Dr. Jean-Marie Krier, KommEnt Salzburg


Auftrag und Gegenstand

Herr Martin Block vom Verein „Tatort-Straßen der Welt e.V.“ beauftragte KommEnt am 18.10.2010 mit der begleitenden Evaluation des vom Verein im Schuljahr 2010/11 durchgeführten Schulwettbewerbs „vernetzte-er.de“. Ziel des Schulwettbewerbs war es, SchülerInnen und LehrerInnen zu motivieren, sich mit der Verflechtung von globalen Fragestellungen zu befassen. Die Ergebnisse dieser Lernprozesse sollten in Form eines Wettbewerbsbeitrags dokumentiert und bis Mitte April 2011 eingereicht werden.

Gegenstand der Analyse waren grundsätzlich alle Aktivitäten, die im Rahmen des genannten Wettbewerbs stattfanden. Die Evaluation hatte folgende Ziele:

  • Reflexion der Vorbereitungsphase: Erstellung Materialien und Vorbereitung von Werbungsmaterialien, Öffentlichkeitsarbeit
  • Reflexion der Durchführungsphase: Workshop für Lehrkräfte, Unterstützung der Wettbewerbsvorbereitung an Schulen, Pflegen der Internetseite, Juryveranstaltung
  • Erarbeitung von Vorschlägen zur Verstetigung des Projekts über 2011 hinaus.


Methodik der Evaluation

Im Rahmen der Evaluation, die das Projekt von Oktober 2010 bis Juli 2011 begleitete, kamen die folgenden Methoden zum Einsatz:

1)       teilnehmende Beobachtung eines LehrerInnen-Workshop(s)

2)        Online-Befragung in drei Durchgängen (Panels) als Herzstück der Evaluation. Eingeladen zur Beteiligung wurden:

Panel 1: Dezember / Januar 2011, 161 Personen

Panel 2: März-April 2011, 185 Personen,

Panel 3: Juni-Juli 2011, 195 Personen.

Die Rücklaufquoten betrugen 16,1%, 19,5% und 13,8%. Insgesamt nahmen 57 Personen (überschneidungsfrei!) an dem einen oder anderen oder auch an mehreren der Durchgänge teil.

3)        Leitfadengestützte Telefon-Interviews mit 6 LehrerInnen; die Interviews dauerten zwischen 23 und 44 Minuten

4)        Auswertung ergänzender Dokumente und Analysen: die Ergebnisse dieser Auswertungen sind in die Evaluation eingeflossen.

5)        Gemeinsame Reflexionen (via Telefonkonferenzen bzw. im Rahmen einer Besprechung zwischen Auftraggeber und dem Evaluationsteam am 30. Mai 2011 in München)

Nach Vorlage der Ergebnisse aus dem Panel 3 wurde ein Rohbericht erstellt. Nach einer Telefonkonferenz am 21. Juli 2011 wurde der Rohbericht überarbeitet und in den Schlussbericht überführt.


Exkurs: „Begleitende Evaluation“

Zum Wesen einer „begleitenden Evaluation“ Prozesses gehört die laufende bzw. die zu mehreren Zeitpunkten während der Projektlaufzeit erfolgende Erhebung von Daten. Die zeitnah ausgewerteten Daten und an den Auftraggeber laufend zurückgespielten Auswertungen wurden in der weiteren Durchführung des Projektes berücksichtigt und dienten z.T. als Grundlage für eine Umsteuerung.


Ergebnisse

Die Ergebnisse einzelner Evaluationstätigkeiten (Feedback zum ersten LehrerInnen-Wochenende, die Auswertungen der Panels 1 und 2, die Auswertung der Telefoninterviews) wurden dem Auftraggeber bereits während der Projektlaufzeit übermittelt.
Zur Vervollständigung des Gesamtbildes wurden folgende weitere Datenquellen:

  • Panel 3: für die Antworten aus dem Panel 3 wurde eine eigene Auswertung erstellt, die dem Auftraggeber im Anhang zum Schlussbericht inkl. aller Details zur Verfügung gestellt wird;
  • die Einreichungen zum Wettbewerb (insgesamt 33 Beiträge von 26 Schulklassen aus 24 Schulen)
  • Rückmeldungen auf die Abschlussveranstaltung am 2. Juli 2011
  • Ein für den Zuschussgeber Deutsche Bundesstiftung Umwelt (DBU) verfasster Bericht zur Selbstevaluation: dieser legt sehr deutlich die anfänglichen Schwierigkeiten bei der Finanzierung dar, die das gesamte Projekt prägten: reduziertes Budget, späte und zeitlich versetzte Zusagen der Förderer, woraus terminliche Engpässe z.B. bei den LehrerInnen-Workshops resultierten;
  • Zugriffsstatistiken zur Projekt-Website www.vernetzte-er.de
  • Statistiken zur Nutzung der auf YouTube hochgeladene Videos / Filmclips zum Projekt
  • Regionale Verteilung der interessierten LehrerInnen: hier zeigte sich, dass die folgenden Länder überrepräsentiert waren: NRW (sehr stark), Hessen (stark), Berlin, Thüringen und Saarland (leicht).


Der Blick zurück – zentrale Ergebnisse und Erkenntnisse

Das Projekt „vernetzte-er.de“ sprach knapp 200 LehrerInnen an. Diese bekundeten ihr Interesse an einer Teilnahme und bestellten Materialien. Insgesamt 26 Schulklassen bzw. Lerngruppen beteiligten sich am Wettbewerb mit 33 Einreichungen. Geschätzt haben rund 500 SchülerInnen über Wochen und z.T. Monate zu den Themen des Wettbewerbs gearbeitet.
Das dafür benötigte Projektvolumen betrug Euro 175.000,-, was einer Reduktion des ursprünglichen Budgets um fast 25% entspricht.

Die Werbung war vielschichtig angelegt; dazu gab es 63.000 Flyer via Landesfilmdienste, Anzeigen in „Eine Welt in der Schule“ (Auflage 45.000) und in Gratis-Werbeblättern sowie Banner auf der Website „Lehrer-Online“.
Die Kernzielgruppe des Wettbewerbs, die SchülerInnen, wurde durch die gewählten Maßnahmen nicht direkt angesprochen. Sie erfuhren über die Lehrkräfte vom Wettbewerb, und waren oftmals erst nach längerer Zeit dafür zu gewinnen. Auf Seiten des Tatort e.V. führte dies zu einer großen Unsicherheit bezüglich der Zahl der zu erwartenden Einreichungen, die sich erst in den allerletzten Tagen vor Einreichschluss auflöste.
Es gelang mit der Werbung gut, auch zahlreiche LehrerInnen mit weniger Erfahrung im Globalen Lernen anzusprechen.

Die von Tatort e.V. zur Verfügung gestellten Materialien (Materialheft, Info-CD) wurden von Beginn an als positiv eingeschätzt. Sie wurden von nahezu 200 Lehrkräften bestellt. Von den LehrerInnen, die einen Beitrag zum Wettbewerb eingereicht haben, wurden damit im Durchschnitt 13,5 Unterrichtseinheiten (pro LehrerIn) gestaltet.

Die Teilnehmenden der beiden Workshops bewerteten diese durchgehend positiv. Für Tatort e.V. waren jedoch die TeilnehmerInnen-Zahlen (zusammen 11 Personen) enttäuschend niedrig. Die Ausschreibungsfristen für die beiden Workshops waren aufgrund der verspäteten Förderzusagen zu knapp; zudem fielen beide Workshops in die kritischen Monate November und Dezember (für Lehrkräfte Monate mit hoher Arbeitsbelastung). Erschwerend kamen dann noch ungünstige Wetterverhältnisse hinzu.

Aus der Panelumfrage 3 und den Interviews mit LehrerInnen lässt sich der Schluss ziehen, dass die SchülerInnen durch den Wettbewerb bzw. die Vorbereitung ihres jeweiligen Beitrages vor allem Kompetenzen in den Bereichen Medien, Präsentationsmethoden und Informationsbeschaffung auf- und ausbauen konnten, verstärkt im Team arbeiteten und zu vernetztem Denken hingeführt wurden. Sehr zufrieden waren die Lehrkräfte mit den Lernerträgen der SchülerInnen im methodischen Bereich, gefolgt von ähnlich großer Zufriedenheit hinsichtlich der Sensibilisierung für Globale Fragen.


Der Blick nach vorn – Empfehlungen zur Verstetigung des Projektes über 2011 hinaus

Die Frage, ob der Tatort e.V. weiterhin auf Schulwettbewerbe setzen soll, wird im Panel 3 mit großer Zustimmung beantwortet (ja: 21, nein: 3, keine Angabe 3). Auch im Vergleich zu anderen Wettbewerben, an denen die 6 telefonisch interviewten LehrerInnen in den letzten Jahren teilgenommen haben, schneidet „vernetzte-er.de“ sehr positiv ab.. Dem Verein wird auch zugetraut, Wettbewerbe kompetent durchzuführen (Mittelwert von +2,2 auf einer Skala von -3 „völlig inkompetent“ bis +3 „sehr kompetent“).

Zentrale Empfehlungen für die weitere Entwicklung der Methode Wettbewerb und begleitender Maßnahmen sind:

Timing
Ein möglicher Folge-Wettbewerb sollte einen besser auf die Bedürfnisse von LehrerInnen abgestimmten Zeitplan haben. Das Evaluationsteam empfiehlt bei Schulwettbewerben eine 2-jährige Projektlaufzeit. Im Laufe des ersten Schuljahres sollte der Wettbewerb ausgeschrieben werden (noch vor der Sommerpause das erste Mal, dann nochmalige Erinnerung im Herbst). Die LehrerInnen-Workshops sollten deutlich früher angesetzt werden (optimaler Weise im Frühjahr; allerspätestens im Frühherbst).

Bewerbung
Zusätzlich zur Vielfalt der bereits genutzten Kanäle sollte in Zukunft auch versucht werden, SchülerInnen direkt anzusprechen, z.B. über die Jugend-Hefte von GEO, DER SPIEGEL, DIE ZEIT, o.ä.

Bundesweite Ebene

Der Wettbewerb sollte noch stärker als bundesweiter Wettbewerb erkennbar sein. Dazu ist es erforderlich; für die Schirmherrschaft eine Person zu gewinnen, der/die eine stärkere bundesweite Verankerung hat als dies beim zurückliegenden Wettbewerb der Fall gewesen ist; diese muss nicht unbedingt aus einer Sphäre kommen, die vor allem Erwachsene anspricht (politisch, akademisch, u. ä.); interessanter könnte eine Person mit hohem Standing bei Jugendlichen sein.

Länder- oder Themabezogenheit des Wettbewerbs
Da ein länderübergreifendes Thema für LehrerInnen (noch) mehr Anknüpfungsmöglichkeiten bietet, wird dafür plädiert, beim nächsten Wettbewerb ein Thema anstatt eines Landes in den Mittelpunkt zu stellen (und wenn weitere Durchgänge erfolgen sollten, zwischen beiden abzuwechseln).

Workshops für LehrerInnen
LehrerInnen, die an einem der Workshops teilgenommen haben, beteiligten sich in der Regel mit ihren Lerngruppen und Klassen äußerst engagiert am Wettbewerb und reichten ihre Beiträge fristgerecht ein.

Daher sollte im Rahmen eines Folgewettbewerbs in die Workshops und deren optimale Auslastung investiert werden. Optimal wären nach Auffassung des Evaluationsteams 4 Workshops im Norden, in der Mitte, im Süden sowie im Osten Deutschlands für jeweils mindestens 20 bis 25 LehrerInnen. Der Ablauf sollte so gestaltet werden, dass nur eine Übernachtung für die TeilnehemrInnen anfällt. 

Kommunikation
Es erscheint wichtig, über die Dauer des Wettbewerbs hinweg regelmäßig mit den LehrerInnen zu kommunizieren. Dies kann am einfachsten und billigsten mittels eines elektronischen Newsletter erfolgen.

Didaktische Tipps
Aufgrund der LehrerInnen-Rückmeldungen schlägt das Evaluationsteam vor, bei einer nächsten Auflage auf die Erstellung von didaktisch aufbereiteten Arbeitsblättern zu verzichten. Als Ersatz sollen LehrerInnen darum gebeten werden, von ihnen selbst erstellte Materialien via Projekt-Website anderen LehrerkollegInnen zugänglich zu machen.

Ausschreibung des Wettbewerbs
Folgende Festlegungen für zukünftige Wettbewerbsdurchgänge sind nach Einschätzung des Evaluationsteams sehr sinnvoll:

  • neu: Einengung der Altersgruppe für teilnehmende Klassen auf 12-18 Jahre;
  • weiterhin: Offenheit für alle Schultypen;
  • weiterhin: Offenheit für Einreichungen unterschiedlichen Formats, allerdings Überdenken der Wettbewerbsformate
  • wieder: Auslobung von attraktiven Preisen (auch Trostpreisen) für die Klassenverbände sowie (neu:) eine klare und frühzeitige Kommunikation hierüber, welche wichtig ist für die SchülerInnen-Motivation;
  • wieder: Abschluss eines Wettbewerbs mit einer gelungenen Schlussveranstaltung à la 2011 (die auf viele positive Resonanz gestoßen ist).

Projektname
Es spricht vieles dafür, dass mittelfristig die folgenden Inhalte zu einer Art Marke namens „vernetzte-er.de“ entwickelt werden könnten und sollten:

  • Schulisches Arbeiten zu Themen globaler Vernetzung
  • Attraktive Materialien mit wiedererkennbarer Gestaltung
  • Alle 2 Jahre Wettbewerb für SchülerInnen der Altersgruppe 12 bis 18
  • Selber aktiv werden, anpacken à la Tatort-Kommissare