Auswerten von Lernendendaten / Learning Analytics

Zur Evaluation stehen momentan mehrere Mechanismen zur Verfügung bzw. sind in Entwicklung die verschiedene Daten für verschiedene Zwecke liefern (werden).

Bearbeitungsstatistiken

Je nach Aufruf (ob z.B. von einer Webseite oder aus WueCampus) werden die Fallbearbeitungen anonym oder nicht-anonym erfasst. Mit diesen Daten sind genaue Statistiken möglich. Lernende erhalten eine Statistik ihrer Fallbearbeitungen, Dozierende können sehen welche Lernenden welche Fälle wie oft und wie gut bearbeitet haben und können bei jedem Fall ermitteln wie oft welche Fragen wie beantwortet wurden.

Es gibt zwei Statistiken:

Einmal die Fallsammlungsstatistik über die man einsehen kann, welche Fälle von welchen Lernenden (beim Einsatz in verpflichtenden Übungen sind auch Klarnamen möglich) bearbeitet wurden - darüber erhält man auch Zugang zu den (anonymisierten) Einzelbearbeitungen jedes Lernenden.

Zum anderen gibt es zu jedem Fall eine genauere Statistik (Link "Fall-Statistik"), in der man für jede Frage sieht, welche Antworten wie oft gegeben wurden, welche Schwierigkeit und Trennschärfe sie hat. Zudem kann man hier auch Kommentare der Lernenden zu den Fragen sehen oder die Ergebnisse der Evaluationsfragen im Fall einsehen.

Kommentare aus Fallbearbeitungen

Die Kommentare von Lernenden, die diese zu einzelnen Fragen abgeben konnten, können über zwei Arten eingesehen werden. Zum einen ist dies über die Fallstatistik (und kontextlos) möglich, so dass es hier schwer bis unmöglich ist, den Kommentar überhaupt zu verstehen ("Ich bin mir sicher, dass meine Antwort auch richtig ist."). Zum anderen steht dafür auch ein Lernende↔AutorInnen-Kommunikationsfeature zur Verfügung, das auf der Startseite über den Punkt "Fallkommentare" zugänglich ist.

 

Was ist ein Kommentar und wer kann ihn sehen?

Abgeschlossene Bearbeitungen werden ~1h nach Abschluss daraufhin überprüft, ob Kommentare zu Fragen abgegeben wurden. Jeder solcher Fragekommentar landet als enzelner Kommentar hier. Solche Kommentare werden den AutorInnen angezeigt, die Freigabe- oder Korrektur-Recht an der Fallsammlung haben, die den betreffenden Fall enthält.

Kommentare beantworten

Wurde die Bearbeitung nicht anonym vorgenommen und ist das zugehörige Nutzerkonto noch gültig, dann kann auf den Kommentar geantwortet werden. Der Lernende erhält dann eine Mail, auf die er auch wieder antworten kann. Diese Antwort wird dann wieder beim Kommentar angezeigt und darauf kann auch wieder geantwort werden. AutorInnen können nicht über Mail mit dem System kommunizieren (d.h. nicht auf Mails antworten), sondern müssen über den CaseTrain-Manager antworten. Kommentare können auch geschlossen werden (s.u.). Antworten von Lernenden auf geschlossene Kommentare werden verworfen (und der Absender erhält eine entsprechende Mail), AutorInnen können aber weiterhin antworten - dadurch ändert sich am Zustand "abgeschlossen" des Kommentars aber nichts.

Tagging/Gruppierung

Jede Autorin kann "ihre" Kommentare mit beliebigen Tags versehen. Zum Erstellen neuer eigener Tags und dem Löschen vorhandener eigener Tags gibt es den Punkt "Tags verwalten". Beim Erstellen eines Tags kann ein Tag-Icon gewählt werden. Es gibt vordefinierte Tags, die nicht beeinflusst werden können (s.u.). Löscht man ein Tag, dann wird das Tag auch von allen so getaggten Kommentare entfernt. Es werden bei den Kommentaren auch die Tags anderer AutorInnen angezeigt, diese aber in grau und ohne Icon. Man könnte z.B. ein Tag erstellen "Änderung!".

Kommentare werden immer gruppen-weise angezeigt. Dazu gibt es vordefinierte Gruppen (s.u.), die nicht verändert werden können. Wie bei den Tags kann aber auch hier über "Gruppen verwalten" eigene Gruppen erstellen oder löschen. Dazu gibt man mit Hilfe der Tags eine Bedingung an mit der das Programm entscheidet, welche Kommentare es in der Gruppe anzeigt, z.B. "und ( nicht (abgeschlosse"), Änderung! )" - in der Gruppe werden alle Kommentare angezeigt, die nicht abgeschlossen sind (s.u.) und mit dem Tag "Änderung!" versehen wurden. Die Tags anderer AutorInnen können in den Bedingungen nicht verwendet werden.

Vordefinierte Tags / Gruppen

Es gibt die folgenden Tags, die automatisch vergeben werden: "neu", "offen", "abgeschlossen". Dazu gibt es jeweils die Gruppen "Neue Kommentare", "Offene Kommentare", "Geschlossene Kommentare", in denen die entsprechend getaggten Kommentare angezeigt werden. Ein Kommentar ist entweder "neu" oder "offen" oder "abgeschlossen".

Kommentare die neu eingelesen wurden sind "neu". Sobald die Autorin auf einen Kommentar antwortet, ist dieser "offen". Antwortet die Lernerin wieder, dann wird der Kommentar wieder auf "neu" gesetzt. AutorInnen können Kommentare entweder mit einer Antwort oder ohne Antwort schließen. Kommentare ohne zugehörigen gültigen Nutzeraccount können nur ohne Antwort geschlossen werden.

Wie oft werden Mails über neue Kommentare an AutorInnen verschickt?

Jede/r AutorIn kann selbst einstellen, wie oft solche (Sammel-)Mails geschickt werden: Sofort, täglich, wöchentlich, monatlich. Auch bei "sofort" können in einer Mail mehrere Kommentare stehen, da nur alle 10 Minuten auf neue Kommentare überprüft wird. Tägliche Mails werden um 9 Uhr ausgeliefert, wöchentliche am Montag (um 9 Uhr), monatliche am ersten Montag (um 9 Uhr).

 

Benutzerbefragung im Fall

Innerhalb der Fälle ist auch eine Benutzerbefragung möglich. Dazu werden einfach weitere normale Abschnitte[ Format] hinter den Abschlussabschnitt angefügt, die auch wieder mit einem dem Abschluss entsprechenden Abschnitt abschließen. Die Abschnitte werden dazu statt mit Info mit Evaluation ausgezeichnet, der Evaluationsabschluss mit Ende statt mit Abschluss. Die Abfolge ist dann

Intro

Info

...

Abschluss

Evaluation

Evaluation

...

Ende

 

Die Evaluation muss mindestens eine Evaluationsfrage enthalten, Evaluationsfragen werden wie Fragen in normalen Abschnitten angegeben und nahezu die komplette Funktionalität kann genutzt werden. Ausgenommen sind dabei natürlich alle Möglichkeiten der Bewertung, da eine Bewertung bei Evaluationsfragen nicht vorgenommen wird. Es sollte also keine Auszeichnung der Antwortrichtigkeit erfolgen, ebenso sollten (antwortspezifische) Erklärungen entfallen. [ Guidelines]

Beispiel:

Abschluss

Abschließender Kommentar: Mit diesem Fall sollten ...

Evaluation	Evaluation: Um diesen Fall weiter verbessern zu können, beantworten Sie uns bitte noch zwei kurze Fragen.
Frage	{0-OC}Welche Schulnote geben Sie dem Fall?
Antworten	{-}1 {-}2 {-}3 {-}4 {-}5 {-}6
Frage	{0-MC}Welchen Aussagen können Sie zustimmen?
Antworten	{-}Die Bearbeitung dieses Falles hat mich auf die Klausur vorbereitet. {-}Der Online-Fall ist eine gute Ergänzung zur Präsenzveranstaltung. {-}Die Mediadaten zum Fall sind von ausreichender Qualität {-}Das verlinkte Hintergrundwissen hat mir dabei geholfen, den Fall zu bearbeiten.

Ende	Ende der Evaluation: Wir danken Ihnen für Ihre Mitarbeit!

 

Im CaseTrain-Manager wird beim Hochladen jedes Falles ein kurzer Evaluationsabschnitt hinzugefügt (außer der Autor wünscht dies nicht). Damit ist eine minimale einheitliche Evaluation möglich.

Wenn man möchte, dass eine Frage innerhalb eines normalen Fallabschnitts nicht ausgewertet wird, dann muss diese Frage mit Gewicht 0 versehen werden und keine Antwort zu dieser Frage darf als richtig markiert sein. Die Beantwortung einer so ausgezeichneten Frage ist dann aber immer optional.