Artikelserie: FernUniCamp Teil 3 – Validität

Abbildung 1. Facetten der Validität.Hinweis: Die Abbildung wird vergrößert dargestellt, wenn sie angeklickt wird.

Im folgenden Statistikblog wird die Validität thematisiert. Dabei werden wir verschiedene Facetten der Validität kennen lernen.

(Teil 1 zentrale statistische Kennwerte, Teil 2 Reliabilität)

Aber was ist die Validität eigentlich? Laut Bühner (2011) gibt die Validität an, ob ein Test wirklich das misst, was er zu messen beansprucht. Es wird also festgestellt ob bspw. ein Sprachtest tatsächlich sprachliche Fähigkeiten misst und nicht räumliches Denken.

Continue reading

Artikelserie: Statistikblog Teil 2 – Reliabilität mit FernUniCamp Beispielen

Abbildung 1: Verschiedene Methoden zur Reliabilitätsschätzung,Hinweis: Die Abbildung wird vergrößert dargestellt, wenn sie angeklickt wird.

Im zweiten Teil des Statistikblogs richtet sich der Fokus auf die Reliabilität bzw. auf die Methode der internen Konsistenz, da sie für die Bestimmung der Reliabilität häufig verwendet wird.

(Teil 1: zentrale statistische Kennwerte)

Jede empirische Messung kann mit zufälligen und systematischen Messfehlern verbunden sein. Systematisch verzerrte Messungen treten z.B. dann auf, wenn die Befragten nicht ihre tatsächliche Meinung, sondern eine „sozial erwünschte“ Antwort abgeben. Zufällige Messfehler haben dagegen zur Folge, dass dieselbe Messung bei der gleichen Untersuchungseinheit mal zu einem höheren und mal zu einem niedrigeren Wert führt, obwohl sich der tatsächliche Wert der gemessenen Eigenschaft nicht verändert hat.

So soll ein Intelligenztest möglichst fehlerfrei die Intelligenz messen und sonst nichts anderes. Dabei kann die Reliabilität, wie durch diesen Blog verdeutlicht, mit verschiedenen Methoden erfasst werden.

Die Reliabilität bezeichnet die Messgenauigkeit einer Erfassung, in unserem Fall der Umfrage zum FernUniCamp. Mit anderen Worten ermöglicht uns die Reliabiltät Einblicke in die Zuverlässigkeit unserer Messergebnisse, die wir mit bestimmten Methoden erhoben haben.

Nachfolgend werden mit der internen Konsistenz, der Retest– und der Paralleltestmethode drei Methoden vorgestellt, mit denen die Reliabilität geschätzt werden kann. Diese Methoden sind für die Schätzung der Reliabilität als gleichwertig anzusehen. Je nach Fragestellung ergeben sich für die jeweiligen Methoden verschiedene Vor- und Nachteile (siehe Abbildung 1, Hinweis: Die Abbildung wird vergrößert dargestellt, wenn sie angeklickt wird).

Continue reading

Gamification an der FernUni Hagen – Evaluation der Präsenzveranstaltung im Modul 3B

Vor einiger Zeit hatte ich berichtet, dass wir die Präsenzveranstaltung (PV) des Moduls 3B „Praxis der Mediendidaktik“ des BA-Studiengangs Bildungswissenschaften mit spielerischen Elementen versehen haben haben (siehe Artikel vom 28.04.2016). Nun liegen die Ergebnisse der Evaluation vor.

Ziel der Befragung war, herauszufinden welche Gamification-Elemente von den Studierenden als ansprechend und motivierend empfunden werden und wie das Gamification-Konzept für die PV im nächsten Semester (WS 16/17) verbessert werden kann.

Insgesamt nahmen 20 Studierenden an der PV teil, die auch alle den Fragebogen ausfüllten (Angaben zum Gender (Geschlecht) der Teilnehmenden: n = 17 weiblich; n = 2 männlichen; n = 1 keine Angabe). Die Studierenden waren im Durchschnitt 43 Jahre alt und besuchten das 9. Semester. Die Items wurden auf einer 5-stufige Likert-Skala von 1 = stimme gar nicht zu bis 5 = stimme voll zu abgefragt. Es sind jeweils die Ergebnisse zusammengefasst, denen die Studierenden eher und voll zustimmen.

Im nachfolgendem Text möchte ich die Bewertung der wichtigsten Gamification-Elemente in der PV vorstellen:

  1. Das Lösen von Quests (hier Gruppenaufgaben) und Quizzes
  2. Die Vergabe von Sternen im Peer-Review-Verfahren
  3. Die Auswahl einer Spielfigur (Avatar) und dessen visuelle Weiterentwicklung nach Lösen eines Quests
  4. Das Arbeiten in Gruppen

Im Modul 3B müssen die Studierende ein Praktikum absolvieren, welches verpflichtend ist. Studierende, dessen Praktikum in einem ähnlichen Bereich angesiedelt war, bildeten jeweils gemeinsam Gruppen während der PV. Die somit entstandenen Gruppen durften sich einen Avatar (Spielfigur in Gestalt einer Praktikantin/ eines Praktikanten) aussuchen, welcher die Gruppe während der Veranstaltung repräsentierte. Dieser musste einige Aufgaben (Quests und Quizze) lösen und konnten dadurch Sterne sammeln.

In den Quests haben die Studierenden ihr theoretischen Wissen in die Praxis eingebracht. Sie bekamen einen konkreten Arbeitsauftrag, den sie gemeinsam mit Hilfe des Online Tools Padlet erarbeiten sollten. Die meisten Studierenden konnten durch die Quests die Inhalte des Seminars besser verstehen (80%). Nach dem Lösen eines Quests, gaben sich die Spieleteams gegenseitig Feedback zu ihren Ausarbeitungen. Die Studierenden durften die Gruppenarbeit der anderen nach jeweiliger Begründung mit Sternen honorieren. Dies führte dazu, dass sie sich stärker mit den Seminarinhalten auseinandersetzten (95%). Einige Studierenden merkten an, dass das Feedback von Ihren KomolitonInnen „teilweise zu wohlwollend“ sei und dadurch den Lerneffekt geringer ausfalle. Zudem wiesen sie darauf hin, dass die Quests „relativ anspruchsvoll“ waren und Vorwissen benötigten.

Die Quizze gefielen den Studierenden sehr gut und wurden als unterhaltsam bewertet. Für zukünftige Veranstaltungen wünschten sich einige Studierenden, dass die Quiz-Fragen offener gestaltet und die Antworten mehr diskutiert werden.

Das Sammeln von Sternen (sowohl bei den Quests als auch Quizzen) hat den meisten Studierenden Spaß gemacht (70%) und einige zur aktiveren Mitarbeit motiviert (45%).

Als visuelles Feedback für den Spiel- und Erkenntnisfortschritt wurden zudem die Avatare eingesetzt. Nach der Bewältigung eines Quest veränderte sich die Spielfigur, indem sie optisch „kompetenter“ wurde (s. Abbildung 1).

Beispiel-Avatar (Praktikantin Veränderung)

Abbildung 1. Beispiel für die optische Veränderung des Avatars (Praktikantin)

Zwar gefiel einigen Studierenden (40%), dass sie einen Avatar auswählen konnten. Die visuelle Veränderung des Avatars motivierte die Studierenden jedoch nur im geringen Maße zur Mitarbeit (15%). Das lag vor allem an der visuellen Darstellung der Avatare. Die Studierenden wünschten sich eine freundlichere Gestaltung und mehr Individualität bei den einzelnen Figuren. Zudem merkten sie an, dass sich die Avatare je nach Punktestand weiterentwickeln sollten und nicht für alle Gruppen gleichermaßen nach dem Lösen eines Quests.

Die Evaluation ergab, dass Studierenden aus der PV (80%) gerne in Gruppen zusammenarbeiteten und diese der Einzelarbeit bevorzugten (95%). Sie empfanden das gemeinsame Lernen als effektiv (95%), konnten dadurch ihr Wissen mit anderen Gruppenmitgliedern austauschen sowie neue Fähigkeiten erwerben (90%; s. Abbildung 2).

Zustimmung zu Aussagen zum Kollaborativen Arbeiten

Abbildung 2. Zustimmung zu Aussagen zum Kollaborativen Arbeiten

Als Herausforderung bei der Gruppenarbeit sahen die Studierenden:

  • die unterschiedlichen Ansichten und Perspektiven der Gruppenmitglieder,
  • den unterschiedlicher Kenntnisstand des technischen Equipments zur Bearbeitung der Aufgabe,
  • den unterschiedlicher inhaltlicher Kenntnisstand und
  • die Dominanz einzelner Personen in der Gruppe.

Insgesamt ist das Gamification-Konzept der Veranstaltung sehr gut bei den Studierenden angekommen. Es hat dazu beigetragen die Veranstaltung aufzulockern und unterhaltsamer zu gestalten. Eine Studierende schrieb, sie sei „angenehm überrascht, dass überhaupt gespielt wurde“. Die Avatare wurden nicht von allen Studierenden als motivierend bewertet. Die Verbesserungsvorschläge der Studierenden wird das Lehrgebiet aufnehmen, um das Gamification-Konzept für das Wintersemester dementsprechend anzupassen. Uns hat es sehr gefreut, dass sich die Studierenden auf diese neue Form der Lehre eingelassen haben und wir sind gespannt wie das überarbeitete Konzept im kommenden Semester von den Studierenden angenommen wird!