Künstliche Intelligenz in der Forschung

Künstliche Intelligenz (im Folgenden als KI abgekürzt) erlebt eine rasante Entwicklung und findet zunehmend für immer mehr Aufgabenbereiche Anwendung – auch an der Universität Kassel. Obwohl Nutzen, Folgen und Risiken der KI erst in Teilen absehbar sind, können wir davon ausgehen, dass die Entwicklungsgeschwindigkeit im Bereich der KI in Zukunft weiter zunehmen wird. Viele Absolvent:innen unserer Universität werden künftig in Berufsfeldern tätig sein, in denen der Umgang mit KI zum Arbeitsalltag gehört. Genauso wird KI auch die Forschungsarbeit in den unterschiedlichen Disziplinen zunehmend verändern.

Die Universität Kassel sieht einen immensen Forschungsbedarf zur Erfassung der Potenziale und Herausforderungen dieser Entwicklung. Einerseits kann die KI ein Mittel sein, um das Wohlergehen von Individuum und Gesellschaft und das Gemeinwohl zu steigern sowie zur Förderung von Fortschritt und Innovation beizutragen. KI-Systeme können z.B. dabei helfen, die Ziele für nachhaltige Entwicklung der Vereinten Nationen zu erreichen, wie etwa beim Thema Geschlechtergerechtigkeit, bei der Bekämpfung des Klimawandels, beim rationalen Umgang mit natürlichen Ressourcen, bei der Gesundheitsförderung sowie bei Mobilität und Produktionsverfahren. Andererseits gilt es auch die Risiken im Blick zu halten, beispielsweise inwieweit das rapide Wachstum der benötigten Infrastrukturen den Ressourcenverbrauch, insbesondere von Energieressourcen, antreibt. Unsere Universität möchte den durch KI hervorgerufenen Wandel mit guter Forschung mitgestalten. Gleichzeitig muss unsere Universität ein Ort sein, an dem kritisch-reflexive, transparente und verantwortungsvolle Umgangsweisen mit KI erarbeitet, ausgehandelt, vermittelt und erlernt werden.

Um in diesem Spannungsfeld verantwortungsvoll zu agieren, erarbeitet die Hochschulleitung derzeit Leitlinien, die hier Handlungsspielräume vorgeben sollten. Diese sollen im Laufe des Wintersemesters 25/26 in den Hochschulgremien diskutiert und abschließend verabschiedet werden.

In Bezug auf Forschung möchten die Leitlinien einerseits auf bestehende Vorgaben – etwa ethische und rechtliche Randbedingungen im Bereich der Informationssicherheit – aufsetzen und sie berücksichtigen externe Vorgaben der DFG sowie weiterer Drittmittelgeber. Ergänzend sollen sie auf die Publikationstätigkeit fokussieren, da hier die in der Forschung angewandten Methoden und eingesetzten Verfahren offengelegt, begründet und/oder bewertet werden müssen.

Bereits jetzt sollen die untenstehenden FAQs mögliche Anwendungs- und Sicherheitsaspekte sowie im Zusammenhang mit dem Einsatz von KI in der Forschung beispielhaft greifbar machen und eine erste Orientierungshilfe geben. Die FAQs werden als Handreichung regelmäßig überarbeitet, damit sie mit der Entwicklung der Technik, unseres sozialen Umfelds und unseres diesbezüglichen Wissens Schritt halten können. Dies bedeutet auch, stets neu und gemeinsam zu überprüfen, inwiefern sie auf Felder, die bislang nicht berücksichtigt wurden - wie etwa künstlerische und gestalterische Praxis-, Anwendung finden können. Diese regelmäßige Überprüfung und Anpassung wird genauso wichtig sein wie eine kontinuierliche universitätsweite Diskussion zu neuen Entwicklungen in diesem dynamischen Wissenschaftsgebiet anhand von passenden Veranstaltungsformaten.

Die vorliegenden Fragen und Antworten entstanden auf Grundlage der FAQ von Frisch (2024) [1]. Die Fragen und Antworten 1, 2, 3, 4, 5, 7 und 8 folgen im Wesentlichen dieser Quelle.

Fragen und Antworten

Welche Bedeutung hat der Kodex der DFG „Leitlinien guter wissenschaftlicher Praxis“ (GWP) [2] für die Anwendung der KI?

Die im Kodex aufgestellten Leitlinien bilden den Konsens der Mitglieder der DFG zu den grundlegenden Prinzipien und Standards guter wissenschaftlicher Praxis ab. Diese Leitlinien bieten allen Wissenschaftlerinnen und Wissenschaftlern eine verlässliche Richtschnur, um gute wissenschaftliche Praxis als festen und verbindlichen Bestandteil der Forschung zu verankern. Methodische Transparenz und Nachvollziehbarkeit sind wesentliche Grundprinzipien wissenschaftlicher Integrität. Inhaltlich liegt die volle Verantwortung für die Einhaltung der wissenschaftlichen Integrität bei den Forschenden.

Der Kodex selbst enthält (noch) keine Aussagen zum Einsatz generativer KI. Hinsichtlich ihrer Anwendung sind aber die allgemein in den Wissenschaften etablierten Standards der GWP grundlegend. Auf der Basis des GWP-Kodex sowie anderer Richtlinien und Empfehlungen zur KI hat sich seit der Veröffentlichung von ChatGPT und anderen KI-Systemen zu zwei Aspekten ein gewisser Konsens herausgebildet:

KI kann nicht als Autorin fungieren, insbesondere da sie keine Verantwortung für die Inhalte eines Manuskriptes oder für andere Forschungsprodukte übernehmen kann, was aber von menschlichen Autor:innen gemäß GWP grundsätzlich gefordert wird.
Die Nutzung von KI muss transparent und angemessen in Manuskripten angegeben werden. Die genaue Umsetzung der transparenten Angabe von KI wird jedoch teils unterschiedlich ausgelegt bzw. oft nicht genauer definiert.

Warum und wie sollte die Nutzung von KI angegeben werden?

Die Angabe der Nutzung von KI entspricht den geltenden Transparenzstandards der GWP (siehe Leitlinien 12 und 13 im DFG-Kodex „Leitlinien zur Sicherung guter wissenschaftlicher Praxis“). Angaben zur Nutzung von KI erlauben Lesenden und Gutachtenden, die Ergebnisse, Methoden und Arbeitsschritte besser nachzuvollziehen und bieten die Möglichkeit, die Forschungsergebnisse rückblickend zuverlässiger bewerten zu können. Aufgrund der Vielzahl von unterschiedlichen KI-Anwendungen und Funktionen gibt es bzgl. der genauen Gestaltung der Angaben jedoch unterschiedliche Empfehlungen. Auch werden einige Aspekte der Angabe zur Nutzung von KI in der Forschungscommunity noch vermehrt diskutiert, z.B. die Dokumentation von Texteingaben (Prompts).

Auf die Frage nach der adäquaten Art der Angabe gibt es keine einheitliche Antwort. Die meisten Editorial Policies spezifizieren die Angabe der Nutzung nicht oder nur minimal. Es gibt jedoch auch Vorstöße von kleineren Verlagen, z.B. Berlin Universities Publishing (BUP) [3], die genaue Vorschläge erarbeitet haben. Trotz aller Unterschiede im Detailgrad der Angaben gibt es einen gewissen Minimalkonsens. Dazu gehört die Angabe der genutzten KI-Anwendung, inklusive Version, Datum der Nutzung, URL und die Information, wofür die KI-Anwendung wie genutzt wurde. Vor dem Hintergrund zunehmender Anforderungen an die Dokumentation der KI-Nutzung sollte bedacht werden, ob die vorhandenen technischen Möglichkeiten der Volldokumentation (inkl. Speicherung der Prompts und Chatverläufe) bereits heute genutzt werden.

Muss die Nutzung von KI angegeben werden, wenn diese nur für die stilistische oder sprachliche Verbesserung des Textes verwendet wurde?

Einige Editorial Policies unterscheiden zwischen der Verwendungsart von KI bzw. zwischen verschiedenen KI (meist in generative KI auf der einen und Anwendungen zum Überprüfen und Anpassen von Sprache, Grammatik und Stil, wie z.B. Grammarly, auf der anderen Seite) und spezifizieren, dass die Richtlinien zur Angabe von KI sich nicht auf Letztere beziehen (siehe beispielsweise die AI Policy von Elsevier oder Wiley).

Auch von Seiten der DFG [4] gibt es eine eindeutige Positionierung: „Unter „Offenlegung“ ist dabei die Angabe zu verstehen, welche generativen Modelle zu welchem Zweck und in welchem Umfang eingesetzt wurden, beispielsweise bei der Aufbereitung des Forschungsstandes, bei der Entwicklung einer wissenschaftlichen Methode, bei der Auswertung von Daten oder bei der Hypothesengenerierung. Eingesetzte KI, die sich nicht auf den wissenschaftlichen Inhalt des Antrags auswirkt (bspw. Grammatik-, Stil-, Rechtschreibprüfung, Übersetzungsprogramme), muss nicht angegeben werden. Die inhaltliche Beschreibung kann mit wenigen erläuternden Sätzen erfolgen. Eine konkrete Kennzeichnung der betroffenen Textpassagen im Antrag ist ausdrücklich nicht erforderlich.“ Innerhalb der Fächer kann diese Frage auch unterschiedlich bewertet werden, je nachdem welche Bedeutung Texte bzw. sprachliche Formulierungen innehaben. Insbesondere in den Geistes-, Kultur- und Gesellschaftswissenschaften sind Sprachstil, Grammatik und Orthographie ebenso wie Argumentationsmuster grundlegend für Erkenntnisgenerierung, -sicherung und -darstellung und daher maßgebliche Bestandteile der Bewertung wissenschaftlicher Texte. In diesem Fall wäre die Angabe der Nutzung von Anwendungen, die den Sprachstil verbessern, denkbar.

Autor:innen sollte bewusst sein, dass beim maschinellen Übersetzen von Texten wichtige Informationen verloren gehen oder verzerrt werden können. Auch hier gilt, dass die übersetzten Texte sorgfältig geprüft werden müssen und die Verantwortung für den Text als Ganzes, sowie insbesondere für etwaige fachliche Fehler bei den Autor:innen liegen.

Darf KI für das Verfassen oder Begutachten von Anträgen genutzt werden?

Für das Verfassen von Anträgen sind die Angaben der jeweiligen Forschungsförderer zu beachten. Die DFG hat der Nutzung von KI in Anträgen stattgegeben, wenn diese klar markiert ist. Ferner führt die Stellungnahme aus, dass die Nutzung von KI in Anträgen neutral bewertet wird, also weder negativ noch positiv seitens der Gutachtenden geltend gemacht werden soll.

Für Begutachtungen ist die Nutzung von KI in vielen Richtlinien und Empfehlungen entweder starken Einschränkungen unterworfen oder gar nicht erlaubt. Generell gilt, dass die Einspeisung des zu begutachtenden Manuskriptes (oder Projektantrags) in eine KI nicht erlaubt ist. Angeführt werden dafür die Aspekte Vertraulichkeit und Datenschutz, die dadurch ggf. kompromittiert werden. Die Stellungnahme [5] der DFG formuliert eindeutig: „Bei der Erstellung von Gutachten ist der Einsatz von generativen Modellen mit Blick auf die Vertraulichkeit des Begutachtungsverfahrens unzulässig. Zur Begutachtung bereitgestellte Unterlagen sind vertraulich und dürfen insbesondere nicht als Eingabe für generative Modelle genutzt werden.“

Auch sollte bedacht werden, dass die Funktion der Begutachtung auch der Wissensproduktion und Weiterentwicklung des eigenen Faches dient. Diese lenkenden Aufgaben sollten nicht an eine KI ausgelagert werden. KI darf, wenn überhaupt, dann nur zur sprachlichen Nachbearbeitung des Reviews genutzt werden. Gutachtende sollten jeweils prüfen, welche Vorgaben für sie gelten.

Auf welche Schwächen und Risiken von KI sollten Forschende achten?

Für KI ist besonders das sogenannte Halluzinieren eine bekannte Schwäche. Es gibt jedoch eine ganze Reihe weiterer Risiken und Schwächen, die geläufige Anwendungen mit sich bringen. Dazu gehören fehlende oder falsche Referenzen, Fehler in wörtlichen Zitaten, komplett fabrizierte Zitate oder Referenzen, Weitergabe veralteter Informationen sowie die Reproduktion von Bias bzw. vorurteilsbehafteten Aussagen. Der große Anteil englischsprachiger (oft auch US-amerikanischer) Quellen im Trainingsmaterial fordert zu Vorsicht bei der Nutzung von KI in anderen Sprachen auf [6]. Autor:innen übernehmen die Verantwortung für die von KI produzierten Falschangaben und Regelverstöße. Durch gutes Prompting und Prüfen lassen sich die Risiken der Nutzung reduzieren.

Wie ist der Zusammenhang zwischen Urheberrecht und KI-generierten Inhalten?

Beim Einsatz generativer KI in der Forschung ergeben sich auch urheberrechtliche Fragen, insbesondere hinsichtlich der Nutzung von Trainingsdaten und der Urheberschaft von KI-generierten Inhalten:

So kann die Übernahme des Outputs generativer KI unter Umständen Urheberrechte Dritter verletzen. Wurde die KI mit urheberrechtlich geschütztem Material trainiert, können die erzeugten Texte oder Bilder geschützten Werken sehr ähnlich sein oder Teile davon enthalten. Die Verwendung solcher KI-Outputs (z.B. in einer Veröffentlichung) kann deshalb rechtliche Probleme mit sich bringen. Es empfiehlt sich daher, die Verwendung von KI-Ergebnissen auf die Rechtmäßigkeit zu prüfen [7]. Jenseits der urheberrechtlichen Problematik räumen die AGB der Anbieter generativer KI-Systeme dagegen meist das Recht ein, die erstellten Ausgaben beliebig, also auch für kommerzielle Zwecke, zu verwenden, und zwar unabhängig davon, ob die Ausgaben über einen kostenlosen oder kostenpflichtigen Plan erstellt wurden.

Nach deutschem Urheberrecht sind nur Werke geschützt, die von einem Menschen schöpferisch geschaffen wurden. Inhalte, die vollständig von einer KI erzeugt wurden, sind nach derzeitiger Rechtslage grundsätzlich nicht urheberrechtsfähig, da es an menschlicher schöpferischer Tätigkeit fehlt. Nutzende generativer KI erwerben demnach nicht automatisch eigene Urheberrechte an den KI-Resultaten. Allerdings können KI-generierte Ergebnisse, die durch erhebliche schöpferische Auswahl oder Nachbearbeitung eines Menschen geprägt sind, im Einzelfall urheberrechtlich geschützte Werke sein. Ein kreativer Prompt, der als Werk der Literatur geschützt sein mag, bewirkt jedoch nicht den urheberrechtlichen Schutz des KI-generierten Outputs.

Werden eigene Texte oder Daten in ein generatives KI-Tool eingegeben, so geht das ggf. daran bestehende Urheberrecht nicht verloren. Es ist jedoch zu bedenken, dass viele öffentlich zugängliche KI-Dienste eingegebene Inhalte speichern und für ihre Zwecke nutzen, was sie üblicherweise durch ihre AGB rechtlich abzusichern versuchen. So können vertrauliche oder schutzwürdige Informationen faktisch an Dritte gelangen und dadurch bestehende Schutzrechte unterlaufen oder zukünftige Ansprüche (z. B. Patente) vereitelt werden. Sensible oder urheberrechtlich geschützte Inhalte sollten deshalb in extern betriebene KI-Systeme nicht eingegeben werden. Häufig ist es jedoch möglich, durch entsprechende Einstellungen des eigenen Kontos ein „Opt out“ vorzusehen, sodass die eigenen Prompts nicht für das Training künftiger Sprachmodelle verwendet werden dürfen.

Wie kann Konflikten, die aus KI-Nutzung resultieren könnten, vorgebeugt werden?

Forschende sollten sich orientiert an den Best Practices der jeweiligen Fachcommunity (einschl. Verlagen) mit den für sie maßgeblichen KI-Richtlinien kontinuierlich auseinandersetzen sowie ihre eigene Expertise in Bezug auf KI richtig einschätzen. Dies gilt insbesondere im jetzigen Stadium, in dem die Arbeit mit KI bei vielen Forschenden noch nicht vollständig etabliert ist und Empfehlungen/Richtlinien erst im Entstehen sind. Arbeiten Forschende im Team oder einem langfristigen Forschungsprojekt mit fluktuierendem Personal (z.B. Editionsprojekte), sollte es stets eine offene Kommunikation über die Nutzung von KI sowie eine transparente interne Dokumentation darüber geben. Für andere Forschende im Team/Projekt sollte ebenso ersichtlich sein, ob und wie KI zum Einsatz kam. Dies gilt auch für andere Produkte wissenschaftlicher Arbeit abseits von „klassischen“ Publikationen, z.B. Software, Vortragsmanuskripte und Folien (die ggf. geteilt werden), Vorlagen für Posterpräsentationen und Weiteres.

Welche KI-Richtlinien sind maßgeblich?

Dies hängt u.a. davon ab, wozu KI-Anwendungen in welchem Kontext genutzt werden. Für die Erstellung von Publikationen sollten neben institutionellen Richtlinien – sofern vorhanden – die KI-Policies der Verlage beachtet werden. Existieren Richtlinien innerhalb der eigenen Fachcommunity, sollten diese Anwendung finden, insbesondere wenn diese strengere Kriterien beinhalten. Bei Promotionen gelten Promotions- und Prüfungsordnungen. Außerdem kann und sollte das Thema mit den Betreuungspersonen besprochen werden. Sollten sich Widersprüche auftun – z.B. zwischen institutionellen Richtlinien und Verlagsrichtlinien – sollte diese frühzeitig kommuniziert werden.

Wie gehe ich bei der Antragstellung vor, wenn der entsprechende Drittmittelgeber keine formalen Vorgaben zur Nutzung von KI macht?

Mit Ausnahme der Volkswagen-Stiftung haben die weiteren forschungsfördernden Stiftungen im deutschen Raum sowie das BMFTR derzeit (noch) keine KI-Richtlinie. Wenn Sie dort einen Antrag stellen — beschreiben Sie transparent (a) die Rolle von KI im Projekt bzw. bei der Erstellung des Antrags, (b) Maßnahmen zu Bias/Datenschutz/Ethik und (c) Governance/Verantwortlichkeiten; viele Stiftungen bewerten diese Aspekte positiv.

Quellenangaben

[1] Frisch, Katrin (2024). FAQ Künstliche Intelligenz und gute wissenschaftliche Praxis (Version 1). Ombudsgremium für die wissenschaftliche Integrität in Deutschland (OWID). https://doi.org/10.5281/zenodo.14045172

[2] Deutsche Forschungsgemeinschaft: Leitlinien zur Sicherung guter wissenschaftlicher Praxis, 2019: https://wissenschaftliche-integritaet.de/

[3] Berlin Universities Publishing: „Leitlinie zum Umgang mit künstlicher Intelligenz“ und „Handreichung zur Zitation von KI-Tools”, 2024: https://www.berlin-universities-publishing.de/ueber-uns/policies/ki-leitlinie/index.html

[4] Deutsche Forschungsgemeinschaft: Verwendung generativer Modelle für die Text- und Bilderstellung im Förderhandeln der DFG. https://wissenschaftliche-integritaet.de/verwendung-generativer-modelle/ (Heruntergeladen am 10.04.2025)

[5] Deutsche Forschungsgemeinschaft: Stellungnahme des Präsidiums der Deutschen Forschungsgemeinschaft (DFG) zum Einfluss generativer Modelle für die Text- und Bilderstellung auf die Wissenschaften und das Förderhandeln der DFG, 2023: https://www.dfg.de/resource/blob/289674/ff57cf46c5ca109cb18533b21fba49bd/230921-stellungnahme-praesidium-ki-ai-data.pdf

[6] Oertner, Monika (2024). ChatGPT als Recherchetool?: Fehlertypologie, technische Ursachenanalyse und hochschuldidaktische Implikationen. Bibliotheksdienst 58, Nr. 5 : 259-297. https://doi.org/10.1515/bd-2024-0042

[7] Verch, Ulrike (2024). Per Prompt zum Plagiat? Rechtssicheres Publizieren von KI-generierten Inhalten. API, Band 5, Nr. 1. https://doi.org/10.15460/apimagazin.2024.5.1

Weiterführende Literatur:
Deutscher Ethikrat (2023). Mensch und Maschine – Herausforderungen durch Künstliche Intelligenz. Berlin.