KI und Prüfen

Bild: Erstellt mit Canva AI

KI kann Sie z. B. bei der Erstellung und Bewertung von Prüfungen unterstützen, oder sogar selbst Bestandteil Ihrer Lehr-Lernziele und damit prüfungsrelevant sein. 

Folgende Fragen können hilfreiche Impulse für die Reflektion über die Möglichkeiten des Einsatzes von KI in Ihren Prüfungen sein:

  • Welche Regelungen zum Umgang mit KI-Tools in Prüfungen und Studienleistungen gibt es an meiner Institution?
  • Für welche Lernziele meiner Lehrveranstaltung ist es sinnvoll und erlaubt, den Umgang mit KI-Tools zuzulassen und wo sollte er nicht erlaubt sein?
  • Wo möchte und kann ich den Umgang mit KI-Tools für eine Prüfung/Studienleistung verpflichtend machen? Wenn dies aus institutioneller Sicht möglich ist, haben alle Studierenden gleichen Zugang zu dem/den KI-Tools, die ich verpflichtend machen möchte, und ggf. zu Trainings zu diesen KI-Tools?
  • Möchte ich, dass meine Studierende KI-Tools nutzen
    • zur Ideenfindung,
    • für die Ausformulierung einer Fragestellung.
    • für Recherchearbeiten,
    • zur Textgenerierung,
    • zur Erstellung einer Gliederung Strukturierung,
    • für inhaltliche Überarbeitung & Feedback,
    • als Werkzeug für die Erstellung eines Bildes, Videos o.a. digitaler Kunstwerke?

Prüfen unter unkontrollierten Bedingungen

Für Prüfungsleistung unter unkontrollierten Bedingungen, wie z. B. Hausarbeiten, praktischen oder künstlerischen Arbeiten, muss festgelegt werden, ob und welche KI-Werkzeuge für die Prüfungs- oder Studienleistungen genutzt werden dürfen und wie der Einsatz dokumentiert werden soll. 

In Bezug auf z.B. Hausarbeiten spricht viel für die Position, dass “Schriftliche Aussagen ab sofort Ergebnisse ko-kreativer Zusammenarbeit mit KI-Tools sind". (Weßels, 2022)  

Bild: Erstellt mit Canva AI

Eigenständigkeitserklärungen anpassen

Sie entscheiden in Übereinstimmung mit der geltenden Prüfungsordnung über den Einsatz von KI-Tools. Daraus ergibt sich die Notwendigkeit zur Anpassung der Eigenständigkeitserklärung, die Ihre Studierenden zusammen mit der Prüfungs- oder Studienleistung einreichen.

Die drei häufigsten Fälle sind:

Grundidee: 

Studierende dürfen KI-Systeme für die Erstellung ihrer Prüfung verwenden, dokumentieren ihr Vorgehen und beschreiben die hierbei erworbenen Erkenntnisse. Beispielsweise sollen Studierende die Qualität des Outputs von KI-Tools mit herkömmlicher Literatur oder mit Output von Fachdatenbanken vergleichen. 

Hierzu ist es erforderlich, die erlaubten Hilfsmittel im Vorfeld festzulegen, d. h.:

  1. Alle Tools sind erlaubt. [oder]
  2. Eingeschränkte, ausdrückliche Aufzählung von Tools, die genutzt werden dürfen, alle anderen sind nicht erlaubt. [oder]
  3. Ausdrückliche Aufzählung verbotener Tools. Alle anderen Tools sind erlaubt. Rechtliche Empfehlung: Variante drei ist problematisch, da Lehrende vielleicht nicht alle Tools kennen: Entwicklung ist so schnell, dass ein vollständiger Überblick kaum möglich ist.

Eigenständigkeitserklärung:

„Ich habe nur die erlaubten und dokumentierten Hilfsmittel benutzt. Ich versichere, dass die Kennzeichnung des KI-Einsatzes vollständig ist.Im Verzeichnis "Übersicht verwendeter Hilfsmittel" habe ich die verwendeten KI-Tools mit ihrem Produktnamen aufgeführt. 

Im Anhang habe ich 

  • die von mir verwendeten Prompts aufgeführt, [oder]
  • sämtliche KI-generierten Outputs einzeln aufgeführt [z.B. Links auf Promptverläufe], [oder]
  • die Nutzung der KI-Tools dokumentiert [siehe Beispiel Folgeseite], 

die relevant für die Aufgabe waren.“

 

Beispieldokumentation der Nutzung von KI-Werkzeugen:

KI-ToolGenutzt fürWarumWann
ElicitEinstieg ins Thema findenrelevante Paper für meine Forschungsfrage findenerste Literaturrecherche
DeepLÜbersetzung Abstract englischsprachiger ArtikelEntscheidung, welche Artikel ich nutzen möchtebei der Literatursichtung und -auswahl
ChatGPTKonzept XY erklären lassenKlärung von Verständnisfragen zu…bei der Bearbeitung des Theorieteils meiner Hausarbeit
    

Quelle: dghd - Vorschläge für Eigenständigkeitserklärungen bei möglicher Nutzung von KI-Tools

Grundidee: 

Die grundlegende Fach-, Schreib- und Toolkompetenz der Studierenden ist in diesem Szenario schon vorhanden. Bewertet wird die Arbeit als Ergebnis des Einsatzes unterschiedlicher Methoden und eigenständigen Denkens.

Eigenständigkeitserklärung:

„Ich habe nur die erlaubten und dokumentierten Hilfsmittel benutzt. Ich verantworte die Auswahl, Übernahme und sämtliche Ergebnisse des von mir verwendeten KI-generierten Outputs vollumfänglich selbst. Im Verzeichnis "Übersicht verwendeter Hilfsmittel" habe ich alle verwendeten KI-Tools mit ihrem Produktnamen benannt [und je nach Bedarf des/der Lehrenden] sowie im Anhang jeweils die

  • von mir in der Arbeit verwendeten Prompts aufgeführt.
    [und/oder]
  • sämtliche in der Arbeit verwendeten KI-generierten Outputs einzeln aufgeführt [z.B. Links auf Promptverläufe].“

Beispieldokumentation der Nutzung von KI-Werkzeugen inkl. verwendeter Prompts:

KI-ToolGenutzt fürWarumWannVerwendete Prompts
ElicitEinstieg ins Thema findenrelevante Paper für meine Forschungsfrage findenerste LiteraturrechercheVollständige Dokumentation des Verlaufs inkl. Report oder Link zum Review
DeepLÜbersetzung Abstract englischsprachiger ArtikelEntscheidung, welche Artikel ich nutzen möchtebei der Literatursichtung und -auswahlOriginaltext, ausgewählte Sprache, Outcome
ChatGPTKonzept XY erklären lassenKlärung von Verständnisfragen zu…bei der Bearbeitung des Theorieteils meiner HausarbeitVollständige Dokumentation des Promptverlaufs oder Link zu Promptverlauf
Sora 2das Generieren von kurzen Videoclips aus Textauf-
forderungen
Teil der Aufgabefortlaufend im ProzessVollständige Dokumentation des Promptverlaufs oder Link zu Promptverlauf

Grundidee: 

KI-Tools zunächst nicht erlauben und die Wichtigkeit fachlich geprüfter und relevanter Quellen verdeutlichen.

Eigenständigkeitserklärung:

„Ich habe keine Outputs von [Text-, Bild-, oder Codegenerierenden] KI-Tools in der Ausarbeitung verwendet.“


Prüfen unter kontrollierten Bedingungen

Prüfungsfragen KI-gestützt erstellen

Mit Hilfe des unten verlinkten Prompts können Sie im Chat mit einer KI die Anzahl der Fragen, den Fragetyp, den Schwierigkeitsgrad und weitere Parameter festlegen. Im Ergebnis erstellt Ihnen die KI eine Datei mit den gewünschten Testfragen, die Sie in Moodle importieren und dort final anpassen können.
Weiterführende Informationen und den Prompt finden Sie hier:

Prüfungen unter kontrollierten Bedingungen 
sind z. B.:

Im E-Assessmentcenter des Servicecenter Lehre sind KI-Werkzeuge standardmäßig deaktiviert. Aktuell arbeiten wir an Möglichkeiten, den konktrollierten Einsatz von KI zuzulassen und die Verwendung durch Studierende rechtssicher zu dokumentieren. Wenn Sie Interesse haben, dies gemeinsam mit uns zu entwicklen und zu testen, sprechen Sie uns an: www.uni-kassel.de/go/scl


Hausarbeiten beurteilen

Ihr KI-Assistent kann nach vorgegebenen Kriterien z. B. den Aufbau der Arbeit, inhaltliche Korrektheit oder die Verwendung des wissenschaftliche Sprachstils analysieren und Vorschläge für Feedback geben. Die Ergebnisse dienen als Vorschlag und müssen von Ihnen stets kritisch hinterfragt werden. Die letztendliche Entscheidung liegt bei Ihnen als Prüfer:in.

Bild: Adobe Stock

Prompt-Beispiel:
"Analysiere die hochgeladene Hausarbeit aus der Perspektive eines Fachexperten in [Fachgebiet]. Prüfe die Klarheit der These, die Argumentationsstruktur, die wissenschaftliche Fundierung und den wissenschaftlichen Sprachstil. Gib konstruktives Feedback, das dem Studierenden hilft zu verstehen, was er an seiner Arbeit aus welchem Grund wie verbessern kann. Zähle zu Beginn des Feedbacks die Dinge auf, die bzgl. der aufgeführten Prüfkriterien bereits sehr gut oder gut gelungen sind."


Vorbereitung auf mündliche Prüfungen in der Rolle als Prüfer:in oder Prüfling

ExamSim: KI-Simulator für mündliche Prüfung

Der digitale Avatar stellt KI-generierte Fragen, reagiert auf die Antworten der Prüflinge und stellt Rückfragen. Das System bietet verschiedene Schwierigkeitsgrade und ist für unterschiedliche Themenbereiche einsetzbar. Mit Hilfe KI-gestützter Analysetools wird die Prüfungssituation anschließend umfassend ausgewertet.
Im Rahmen der KI-Thementage können Sie das System testen:

Studierende können einen digitalen Avatar nutzen, um sich auf eine mündliche Prüfung vorzubereiten. 

Sie als Prüfende erhalten eine gute Reflexionsgrundlage für Ihr eigenes Prüfungsverhalten. 

Bild: Erstellt mit Canva AI