eduValuation+ - Evaluationsinstrumente für die Hochschule
digitales und analoges Lehren und Lernen analysieren, verstehen und gestalten

Hochwertige und professionelle digitale Hochschulbildung ist unsere Zukunft. Höchste Zeit, dass wir auch digital gestützte Lehre umfassend analysieren, Gelingensbedingungen identifizieren und gemeinsam optimieren.


Das von der Projektgruppe der Arbeitseinheit Pädagogische Psychologie der Philipps-Universität Marburg und des Zentrums für kooperatives Lehren und Lernen der Technischen Hochschule Mittelhessen entwickelte Instrument eduValuation+ bietet Ihnen dafür verschiedene kostenlose, anwenderfreundliche und evidenzbasierte Fragebögen, die nach Creative Commons (CC BY-NC-SA 3.0) lizensiert sind. Diese sind modular aufgebaut und können zur Analyse von digitalen und analogen Lehr-Lern-Szenarien genutzt werden. Mit eduValuation+ können Sie die Sie interessierenden Lernprozesse näher beleuchten und entsprechende Daten erfassen. Sei es die Wahrnehmung des Einsatzes digitaler und analoger Formate und Elemente aus Sicht von Lernenden und Lehrenden, der subjektive Lernerfolg von Studierenden oder Unterstützungsbedarfe der Lernenden und Lehrenden.


double_arrow Hier geht es direkt zum Fragebogen zur Befragung von Studierenden. double_arrow

double_arrow Hier geht es zum Fragebogen zur Befragung von Lehrenden. double_arrow


Wofür lässt sich das Instrument nutzen?

Anwendungszwecke


  • formative und summative Evaluationen von analogen, teilweise oder vollständig digitalisierten Lehr- und Lehrszenarien (z.B. Evaluation einzelner exemplarischer wegweisender Projekte oder semesterabschließende Lehrveranstaltungsevaluationen an Hochschulen)
  • An allen öffentlichen und privaten Universitäten und Fachhochschulen, Kunst- und Musikhochschulen für alle Fachrichtungen und Studiengänge sowie weiteren Bildungseinrichtungen
  • inhaltliche Analyse von einzelnen spezifischen (digitalen) Elementen und Bestandteilen (z.B. von Selbstlernmodulen, Lernvideos, Abstimmungsystemen und weiteren Tools) in verschiedenen Lehr- und Lernszenarien
  • Identifikation von Stärken oder Optimierungsbedarfen einzelner Lehr- und Lernszenarien, z.B. Weiterentwicklung spezifischer innovativer Lehrprojekte durch Überprüfung des Umsetzungserfolgs für Lehrende oder Lehrbeauftrage
  • Analyse auf Veranstaltungsebene (z.B. (Pro-)Seminare, Vorlesungen, Übungen etc.) und Fachbereichsebene
  • Lehrenden- und Studierendenperspektive und Möglichkeit, einen Abgleich der Perspektiven vorzunehmen beim gleichzeitigen Einsatz des Fragebogens für Studierende und Lehrende
  • Zur systematische Erfassung der studentischen Rückmeldungen zu Lehrveranstaltungen und Zufriedenheit von Lehrenden mit dem Lehrangebot und dessen Rückkopplungsprozessen
  • Grundlage zum Austausch zwischen Lehrenden und Studierenden
  • Forschungsprojekte im Rahmen digitaler Lehre, z.B. Forschungsprojekte zum Thema Digitalisierung in der Hochschulbildung und Lernprozesse im digitalen Kontext

Wer ist die Zielgruppe?


  • MitarbeiterInnen von Servicestellen für Lehrevaluationen und vergleichbaren Einrichtungen
  • Lehrende, Dozierende und Lehrbeauftrage aller Statusgruppen, Fachrichtungen und Bildungseinrichtungen
  • Dozierende und Verantwortliche für Fort- und Weiterbildungen sowie Gesundheitsprävention in allen Bereichen der Wirtschaft und Bildung
  • Forscherinnen und Forscher aller Disziplinen
  • Mitglieder der Rektorate und Präsidien
  • Geschäftsleitungen
  • externe Lehrbeauftragte, Lehrverantwortliche und Qualitätsbeauftragte für die Lehre
  • Studiendekaninnen und Studiendekane


Welche Ziele verfolgt das Projekt?


  • freier und kostenloser Zugang zu dem Analyseinstrument für alle Lehrenden und Interessierten an allen deutschen Hochschulen
  • Identifikation allgemeine Gelingensbedingungen digitaler Lehr-Lern-Szenarien
  • systematische und fundierte Analyse von Elementen, Formaten und Rahmenbedingungen digitalen Lern und Lehrsituationen
  • Förderung des Erkenntnisgewinns über Lernprozesse und deren Auswirkungen (u.a. Lernmotivation, Selbstreguliertes Lernen) im digitalen Lehr- und Lernkontext fördern
  • Qualitätssicherung und Qualitätsverbesserung evidenzbasierter (digitaler) Hochschullehre
  • Förderung der Forschung zur digitalen Hochschulbildung durch die Bereitstellung von Maßen zur Ermittlung des Umsetzungserfolges
  • Fortsetzung und wissenschaftliche Begleitung der durch die Corona-Pandemie entstanden digitalisierten Bestrebungen und Arbeiten
  • Bereitstellung repräsentativen Datengrundlagen als Basis für die weitere Qualifizierung der Lehrenden und didaktische Konzeptentwicklung digital gestützter Lehre
  • Unterstützung und Entlastung der Servicestellen für Lehrevaluationen und Qualitätsmanagementstellen an den Hochschulen
  • Möglichkeit der flexiblen und zeitnahen Reaktion auf schnelle Entwicklungen und Innovationen im Bereich der digitalen Lehre
  • freier Zugang zu wissenschaftlichen Informationen und Forschung (Open Access)
  • Förderung des Austauschs über Evaluationsprozesse und bei Bedarf auch -Evaluationsergebnissen zwischen den Standorten
Instrument, Fragebogenmodule und Hintergrund

Fragebögenkonstruktion


Auf Basis der einschlägigen Literatur, bereits bestehenden Evaluationsinstrumenten an verschiedenen Hochschulen in Hessen, dem Bedarf der Lehrenden und Lehrverantwortlichen sowie den Erfahrungen der Kooperationspartner und Hochschuldidaktik haben wir im Rahmen des Projekts „digital gestütztes Lehren und Lernen in Hessen“ verschiedene Instrumente zur Analyse von digitalen Lehr-Lern-Szenarien entwickelt. Anhand dieser Instrumente lässt sich u.a. die Effektivität des Einsatzes digitaler Elemente in der Lehre (z.B. Produktion und Nutzung von Lernvideos) hinsichtlich des Lernerfolgs der Studierenden überprüfen. Neben der auf diese Weise angestrebten Qualitätsverbesserung des jeweilig untersuchten Lehrangebots werden auch allgemeine Gelingensbedingungen (digitaler) Lehr-Lern-Szenarien erfasst. Zusätzlich können auf Seiten der Lehrenden bisherige Erfahrungen mit digitaler Lehre, Einstellungen zur Digitalisierung und die Einschätzung zur eigenen digitalen Kompetenz erhoben und bei einer anschließenden Ergebnisrückmeldung berücksichtigt werden. Durch die bewusste konzeptionelle Parallelität der Lehrendenversion zu der Studierendenversion besteht bei einem gleichzeitigen Einsatz beider Instrumente die Möglichkeit, einen Abgleich der Lehrenden- und Studierendenperspektive vorzunehmen und einen Einblick in den bestehenden Unterstützungsbedarf zu erhalten. So kann eine langfristige Qualitätssteigerung digital gestützter Lehre an Hochschulen sichergestellt werden.

Die Fragebögen sind modular aufgebaut, sodass die jeweils passenden Modulbausteine abhängig von individuellen Fragestellungen und verwendeten digitalen Elementen ausgewählt, eingesetzt und kombiniert werden können. Die Instrumente können zur Analyse von vollständig analogen, teilweise oder vollständig digitalisierten Lehrveranstaltungen (oder anderen Formen des Lernangebots) eingesetzt werden.


Instrumente / Module


Durch die Modularität können Sie je nach Bedarf und inhaltlichen Fragestellungen die passenden Teile und Bausteine der jeweiligen Version selbstständig auswählen und kombinieren! Zur Sicherung der psychometrischen Qualität der Bögen bietet es sich dabei an, sich für Module als Ganzes zu entscheiden (und nicht einzelne Items (Fragen) aus verschiedenen Modulen auszuwählen und kombinieren).


Modularer Fragebogen zur Evaluation von digitalen Lehr-Lern-Szenarien - Studierendenversion


double_arrow Download des analogen Fragebogens (Studierendenversion) als PDF-Datei double_arrow

Alternativ können Sie gerne alle EvaSys–Dateien und Exportdateien für SoSciSurvey via E-Mail anfordern.


Folgende Module stehen in der Studierendenversion zur Auswahl:

Module der Studierendenversion des Fragebogens

Modularer Fragebogen zur Evaluation von digitalen Lehr-Lern-Szenarien - Lehrendenversion


double_arrow Download des analogen Fragebogens (Lehrendenversion) als PDF-Datei double_arrow

Alternativ können Sie gerne alle EvaSys–Dateien und Exportdateien für SoSciSurvey via E-Mail anfordern.


Folgende Module stehen in der Lehrendenversion zur Auswahl:

Module der Studierendenversion des Fragebogens
eduValuation+ - Forschung

Psychometrische Eigenschaften des Instruments


Eine erste Validierung des modularen Fragebogens zur Analyse digitaler Lehr-Lernszenarien in der Studierendenversion erfolgte zwischen 09/20 und 11/20. Hierzu wurden erhobene Daten von beteiligten Projektpartnern angefordert und in einen gemeinsamen Datensatz integriert. Es folgten die Datenaufbereitung und die explorative Datenanalyse (analysierte Daten: N = 4 Hochschulen, N = 1604 Studierende, N = 157 Veranstaltungen). Weiterhin umfassten die Analysen eine Prüfung der Dimensionalität und die Itemanalyse sowie die Prüfung von Messinvarianz. Auf inhaltlicher Ebene erfolgte eine Untersuchung des Einflusses digitaler Gelingensbedingungen auf Selbstreguliertes Lernen und Motivation der Studierenden und den subjektiv wahrgenommenen Lernzuwachs mittels Multipler Regression. Die Ergebnisse der Gütebestimmung des Fragebogens werden seit 12/20 für eine wissenschaftliche Publikation aufbereitet.

Bis auf wenige Ausnahmen ergeben sich bei der Betrachtung der Itemkennwerte positive Ergebnisse, die auf „gute“ Items hindeuten. Die bisherige Einteilung in entsprechend angenommene Skalen scheint gut zu funktionieren. Das Instrument erscheint geeignet, die Effektivität des Einsatzes digitaler Elemente in der Lehre hinsichtlich des Lernerfolgs der Studierenden zu überprüfen und allgemeine Gelingensbedingungen digitaler Lehr-Lern-Szenarien abzubilden.

Weiterführende Informationen finden Sie dazu außerdem bald in der veröffentlichten wissenschaftlichen Publikation zu dem Instrument: Kärchner, H., Gehle, M. & Schwinger, M. (in preparation). eduValuation+ - Evaluationsinstrumente für die Hochschule. Konstruktion und erste psychometrische Überprüfung des modulareren Fragebogens zur Evaluation von digitalen Lehr-Lern-Szenarien (Studierendenversion).



Literaturauswahl


Evaluationsdesign und -modell:
Modularer Fragebogen zur Evaluation von digitalen Lehr-Lern-Szenarien (Studierende) – Teil 1 – allgemein:
  • Hense, J., Raser, M. & Treppesch, C. (2015). Modulares Gießener verhaltensbasiertes Lehrveranstaltungsrückmeldungsinstrument Kernfragebogen und E-Learning (MoGLi-KE). Servicestelle Lehrevaluation: Justus-Liebig-Universität Gießen.
  • Staufenbiel, T. (o.D.). Fragebogen zur Evaluationen von Seminaren (FESEM). Servicestelle Lehrevaluation: Philipps-Universität Marburg.
Modularer Fragebogen zur Evaluation von digitalen Lehr-Lern-Szenarien (Studierende) – Teil 2 – Modulbaustein Lernvideos:
Modularer Fragebogen zur Evaluation von digitalen Lehr-Lern-Szenarien (Studierende) – Teil 2 – Modulbaustein Selbstlernmodul:
  • Friedrich, H.F. & Mandl, H. (1997). Analyse und Förderung selbstgesteuerten Lernens. In F.E. Weinert & H. Mandl (Hrsg.), Psychologie der Erwachsenenbildung. Enzyklopädie der Psychologie, Themenbereich D, Praxisgebiete, Serie I, Band 4 (S. 237-293). Göttingen: Hogrefe.
  • Hauske S., Schwabe G., Bernstein A. (2010). Wiederverwendung multimedialer und online verfügbarer Selbstlernmodule in der Wirtschaftsinformatik: Lessons Learned. In: Breitner M., Lehner F., Staff J., Winand U. (Hrsg.). E-Learning 2010. Heidelberg: Physica.
  • Lischka (2019). Fragebogens zur Evaluation von E-Learning-/ ILIAS-Pegasus-App-Anwendungen im im WiSe 19/20. Fakultät Agrarwissenschaften: Universität Hohenheim.
  • Simons, P. R. J. (1992). Lernen selbständig zu lernen – ein Rahmenmodell. In H. Mandl & H. F. Friedrich (Hrsg.), Lern- und Denkstrategien. Analyse und Intervention. Göttingen: Hogrefe.
Häufig gestellte Fragen:
Kann ich die Fragebögen „einfach so“ für mein Vorhaben (z.B. Forschungsprojekt) verwenden?

Gerne können Sie die Fragebögen für Ihr Vorhaben verwenden. Bei einer Veröffentlichung ihres Vorhabens unter der Verwendung unserer Analyseinstrumente bitten wir Sie allerdings um die Nennung der Autoren (Malte Schwinger, Henrike Kärchner und Maren Gehle) und die Angabe des Namens des Fragebogens (z.B. Modularer Fragebogen zur Evaluation von digitalen Lehr-Lern-Szenarien (Studierende)) sowie die Angabe der entsprechenden Versionsnummer. Zudem freuen wir uns immer, wenn Sie uns von Ihrem Vorhaben berichten und - sofern dies unter Datenschutzaspekten möglich ist - über das Teilen der erhobenen anonymen Daten. So könnten diese in den bestehenden Datensatz zur weiteren Validierung einfließen und langfristigen Normierungsbestrebungen dienen.

Bei Fragen zum Instrument stehen wir Ihnen jederzeit zur Verfügung. Bezüglich des Einsatzes des Instruments und der Auswahl der Modulbausteine beraten wir Sie gerne.

Aus ökonomischen Gründen kann ich nicht alle Fragen in meine Evaluation integrieren. Muss ich alle Modulbausteine des ersten und zweiten bzw. dritten Teils der jeweiligen Version nutzen?

Nein, Sie können zwischen den Teilen 1-2 und den darin enthaltenen Module frei wählen und diese beliebig miteinander kombinieren. Generell empfehlen wir, um die Güte und Qualität des Fragebogens sicherzustellen, dass Sie vollständige Skalen einsetzen und nicht die einzelnen Items/ Fragen verwenden. Für eine genauere Erläuterung der selbstständigen Zusammenstellung unterschiedlicher Modulbausteine empfehlen wir Ihnen den Abschnitt "Fragebögen/Module", hier finden Sie ein entsprechendes Anwendungsbeispiel.

Welche Kosten entstehen für mich bei der Nutzung?

Die Nutzung der Fragebögen ist für Sie vollständig kostenlos. Die Projektgrupppe hat es sich zum Ziel gemacht allen Lehrenden und Interessierten einen freien Zugang zu den Analyseinstrumenten zu ermöglichen. Mehr zu den Zielen von eduValuation+ erfahren Sie im Abschnitt "Einsatz" -> "Ziele".

Stehen die Fragebögen auch in englischer Version zu Verfügung?

Die Eine englische Version des Fragebogens in der Studierendenversion ist derzeit in Arbeit, wir bitten Sie daher, den aktuellen Stand per E-Mail zu erfragen.

Sind die Fragebögen auch für den Einsatz zu mehreren Erhebungszeitpunkten geeignet? Können Studierende beispielsweise zu Beginn und nach Beendigung der Lehrveranstaltung befragt werden?

Der Fragebogen in der Studierendenversion kann natürlich auch in Prä-Post-Follow-Up-Designs zum Einsatz kommen. Über eine Rückmeldung zu Ihren praktischen Erfahrungen und Ergebnissen hierzu würden wir uns freuen.

Ich habe weitere Ideen, wie man den Fragebogen weiterentwickeln kann. Wie kann ich mich und meine Ideen einbringen?

Im Sinne einer kontinuierlichen Weiterentwicklung und Verbesserung der Instrumente freuen wir uns, wenn Sie uns per E-Mail kontaktieren und Ihre Ideen schildern.

Ich möchte gerne den Fragbogen in der Studierendenversion nutzen, kann die hier aufgeführten Dateiformate jedoch leider nicht nutzen.

Sowohl die Studierendenversion als auch die Lehrendenversion des Fragebogens sind derzeit als analoge PDF-Version erhältlich. Sie können die einzelnen Items aus den PDF-Dateien kopieren und in ein Umfragetool Ihrer Wahl integrieren. Darüber hinaus können die von uns bereits erstellten Onlineversion über die Plattformen SoSciSurvey und EvaSys genutzt werden. Sollten Sie dennoch Schwierigkeiten haben, eine passende Form der Anwendung zu finden, können Sie sich gerne mit uns in Verbindung setzen und über den Export auf eine andere Befragungsplattform beraten lassen.

Wieso sollte oder muss ich diesen Fragebogen einsetzen? Gibt es nicht bereits mehrere etablierte Evaluationsinstrumente an den jeweiligen Hochschulen?

Die Bereitstellung der hier gezeigten Instrumente ist ein kostenloses Angebot an alle Interessierten. Das Instrument wurde in Anlehnung an bereits bestehende und etablierte hochwertige Evaluationsinstrumente der Hochschulen (u.a. Philipps-Universität Marburg, Technische Hochschule Mittelhessen, Justus-Liebig-Universität Gießen, Goethe-Universität Frankfurt) entwickelt. Vor dem Hintergrund des starken digitalen Wandels der Hochschullehre und der Tatsache, dass die meisten der bisher bestehenden Instrumente für rein analoge Lehr- und Lernszenarien konzipiert wurden, ist der Bedarf nach adäquaten Messinstrumenten groß. Derzeit ist nur wenig darüber bekannt, ob und wie der Einsatz digitaler Elemente von den Studierenden und Lehrenden wahrgenommen wird, zum Lernerfolg Studierender beiträgt und wie dieser gegebenenfalls weiter gesteigert werden kann. Insbesondere Instrumente, mit denen sich spezifische Elemente oder Bestandteile digitaler Lehre (z.B. Lernvideos) umfassend evaluieren lassen können, fehlen. Diese Lücke versuchen wir durch die Bereitstellung unserer Instrumente zu schließen. Durch die Modularität der Instrumente besteht die Möglichkeit, jederzeit auf die Entwicklungen und Innovationen im Bereich digital gestützter Lehre zu reagieren und weitere Modulbausteine hinzuzufügen. So sind beispielweise weitere Baustein zu „Inverted Classroom“ denkbar. Unser Anliegen war es zudem, ein Instrument zu schaffen, bei dem jeder Anwender und jede Anwenderin die Entwicklung und entsprechende Kennwerte zur Gütebestimmung transparent nachvollziehen kann.


Team

Prof. Dr. Malte Schwinger

Leiter, Universitätsprofessor

malte.schwingeralternate_emailuni-marburg.de

Henrike Kärchner (M. Sc.)

Wiss. Mitarbeiterin

henrike.kaerchneralternate_emailuni-marburg.de

Maren Gehle (M. Sc.)

Wiss. Mitarbeiterin

maren.gehlealternate_emailuni-marburg.de

Kontakt: eval@uni-marburg.de


Logo - Philipps Universität MarburgLogo - Technische Hochschule MittelhessenLogo - Goethe-Universität Frankfurt am MainLogo - Frankfurt University of Applied SciencesLogo - digLL - Digital gestütztes Lehren und Lernen in HessenLogo - Zentrum für kooperatives Lehren und Lernen (ZekoLL)Logo - Zentrum für Qualitätsentwicklung (ZQE)Logo - studiumdigitale - Zentrale eLearning-Einrichtung

Impressum

Diensteanbieter

Anbieter dieser Internetpräsenz im Rechtssinne ist die AE Pädagogische Psychologie der Philipps-Universität Marburg.
Philipps-Universität Marburg
Prof. Dr. Malte Schwinger
Gutenbergstraße 18
35032 Marburg

Kontakt

Projektgruppe „eduValuation+ - Evaluationsinstrumente für die Hochschullehre“ unter der Leitung von Prof. Dr. Malte Schwinger
FB 04 | Psychologie | AE Pädagogische Psychologie

Telefon: +49 6421 28-23450
E-Mail: eval@uni-marburg.de
Internet: https://fragebogen-hochschullehre.de/