Abschlussarbeiten

Seit einigen Jahren werden zunehmend Methoden des maschinellen Lernens in der Psychologie zur Vorhersage der Datenpunkte neuer Personen verwendet. Regularisierte Regressionen (z.B. Lasso-Regression, Elastic-Net Regression) sind dabei eine sehr beliebte Modifikation der multiplen linearen Regression, welche die Schätzung des Modells und die Auswahl relevanter Prädiktoren (sog. Modellwahl) in einem Schritt kombiniert. Es ist bekannt, dass regularisierte Regressionen nur unter bestimmten, eingeschränkten Umständen in der Lage sind, die wahren Prädiktoren zu finden. Im Rahmen dieser Bachelorarbeit sollen in einer Simulationsstudie wesentliche Befunde zu diesem Umstand repliziert werden und die Konsequenzen für die praktische Anwendung der Methode abgeschätzt werden.

Seit einigen Jahren werden zunehmend Methoden des maschinellen Lernens in der Psychologie zur Vorhersage der Datenpunkte neuer Personen verwendet. Regularisierte Regressionen (z.B. Lasso-Regression, Elastic-Net Regression) und Random Forests sind dabei sehr beliebte Methoden, wobei letzterer oft besondere Vorteile nachgesagt werden, wenn das wahre Modell durch viele Interaktionen gekennzeichnet ist. Allerdings werden bei regularisierten Regressionen selten Interaktionsterme oder quadratische Terme berücksichtigt, so dass der Vergleich der Methoden häufig nicht fair ausfällt. Im Rahmen dieser Bachelorarbeit soll anhand von frei verfügbaren Datensätzen ein Vergleich der Vorhersageperformanz der Methoden durchgeführt werden, um einzuschätzen, wie stark der Einschluss nicht-linearer Terme in regularisierte Regressionsmodelle deren relative Performanz gegenüber Random Forests steigern kann.

Die Bestimmung der Zahl der zu extrahierenden Faktoren ist ein wichtiger Zwischenschritt bei explorativen Faktorenanalysen. Es existieren zahlreiche Methoden zur Bestimmung dieser Anzahl und die Güte der Faktorenlösung hängt im Folgenden maßgeblich davon ab, dass in diesem Schritt die korrekte Anzahl an Faktoren bestimmt wird. Deswegen ist es wichtig, eine Bestimmungsmethode zu wählen, die mit hoher Wahrscheinlichkeit die korrekte Anzahl an Faktoren ausgibt. Auerswald und Moshagen (2019) haben in einer umfangreichen Simulation die Performanz verschiedener Methoden miteinander verglichen. In den ausgeschriebenen Bachelorarbeiten sollen ausgewählte Ergebnisse der Studie repliziert werden. Dabei sollen die originalen Befunde erweitert werden, indem weitere Methoden einbezogen werden, die in jüngeren Veröffentlichungen vorgeschlagen wurden.

Stichprobenplanung basierend auf Berechnungen zur statistischen Power gehören mittlerweile zum Standard in psychologischer Forschung. Häufig werden die Tools, die zur Berechnung verwendet werden, jedoch nur von den Entwickelnden selbst geprüft und keiner systematischen externen Qualitätskontrolle unterzogen. Im Rahmen einer Bachelorarbeit soll anhand eines klar umrissenen Designs die Performanz verschiedener Tools und R-Pakete (z.B. G*Power, Webpower, pwr, ...) in einer kleinen Simulationsstudie untersucht und mit der empirischen, tatsächlichen Power abgeglichen werden. Für die Simulationsstudie existiert bereits Code von einem Projekt, der zur Orientierung dienen kann. Denkbare Designs wären zum Beispiel Gruppenvergleiche mittels t-Tests unter verschiedenen Voraussetzungsverletzungen oder die so häufig angenommenen Interaktionseffekte in einer ANOVA oder multiplen linearen Regression.

Faktorlösungen von Explorativen Faktorenanalysen (EFAs) werden typischerweise (orthogonal oder oblique) rotiert. Indem man zu einer Einfachstruktur rotiert, soll die Interpretierbarkeit der Ergebnisse erhöht werden. Dafür können verschiedene Rotationsmethoden verwendet werden. Die Geomin-Rotation ist eine häufig verwendete und standardmäßig in Software implementierte Rotationsmethode. Die Geomin-Rotation beinhaltet einen Parameter ε („epsilon“), der die Unbestimmbarkeit von Lösungen abwenden soll. Dafür genügen kleine, positive ε-Werte (Sass & Schmitt, 2010; Hattorie et al., 2017). Allerdings schlagen Marsh et al. (2009, 2010, 2011) ε-Werte von 0.5 vor. In dieser Simulationsstudie soll untersucht werden, wie sich die Größe des Epsilon-Parameters auf die Faktorlösung auswirken. Oder grob gesagt: Wie groß dürfen „kleine positive Werte“ in der Geomin-Rotation sein?

Konfirmatorische Faktoranalysen werden häufig für die Analyse von Fragebogendaten verwendet. In Fragebögen werden Antworten von Probanden meistens auf n-stufigen Likert-Skalen erfasst. Fragebogendaten erfüllen daher streng genommen nicht die Voraussetzung der Maximum Likelihood (ML)-Schätzung, die von kontinuierlichen, normalverteilten Daten ausgeht. In einer umfangreichen Simulationsstudie wurden alternative Schätzmethoden (robuste ML-Schätzer und weighted least squares (WLSMV)) miteinander verglichen (Li, C. H. (2016). Confirmatory factor analysis with ordinal data: Comparing robust maximum likelihood and diagonally weighted least squares. Behavior research methods, 48, 936-949.). Die Performanz der Schätzer wurde für verschiedene Stichprobengrößen und verschiedene Abstufungen der Likert-Skala untersucht. Diese einflussreiche Simulationsstudie soll im Rahmen dieser Bachelorarbeit repliziert werden. Die Ergebnisse der Simulation können bezüglich der Replizierbarkeit von Simulationsstudien und auf konzeptueller Ebene diskutiert werden.

Einzelne Studien liefern noch keine überzeugende Evidenz für oder gegen das Vorliegen eines inhaltlich vermuteten Effekts. Die Idee sogenannter Meta-Analysen ist deshalb, durch Zusammenfassung der Ergebnisse verschiedener Studien einen belastbaren mittleren Effekt zu bestimmen. Die Meta-Analyse hat sich mittlerweile als „Goldstandard“ in der Forschungslandschaft etabliert, birgt jedoch eine Reihe an Problemen: Die Frage der Vergleichbarkeit zwischen verschiedenen Studiendesigns, zwischen verschieden gemessenen Effekten oder auch des Publikation-Bias, der dazu führt, dass nicht-signifikante Ergebnisse seltener publiziert werden (siehe z.B. Sharpe, 1997 oder die Posts 104-106 auf http://datacolada.org). In einer Bachelorarbeit soll eine publizierte Meta-Analyse zum Beispiel aus dem Bereich der Aggressionsforschung auf die Berücksichtigung dieser Punkte kritisch geprüft und mit begründeten Veränderungen nachgebaut werden - Ganz nach einem von Borenstein et al. formulierten Grundsatz (2009, Chapter 43): "Rather than thinking of meta-analysis as a process of garbage in garbage out, we can think of it as a process of waste management."

Die Commonality Analysis ist ein Verfahren zur Schätzung der spezifischen und gemeinsamen Zusammenhänge zwischen einem Set von Prädiktoren und einem Kriterium. Als Ergebnis der CA erhält man eine klare Varianzzerlegung des Kriteriums. Es handelt sich um eine Reihe multipler Regressionen, die durch gezielte Modellvergleiche zusätzliche Informationen bereitstellen. In R lässt sich die Commonality Analysis mit manifesten Variablen mit dem yhat Package durchführen. In Anwesenheit von Messfehlern ist die Methode allerdings deutlich limitiert (Westfall & Yarkoni, 2016). Eine Umsetzung der Methode für multiple Regressionsmodelle mit latenten Variablen hätte also für Anwender:innen einen erheblichen Mehrwert. Vorschläge zur Verwendung von Determinationskoeffizienten in diesem Kontext existieren bereits. Ziel dieser Masterarbeit ist es, auf Basis dieser Vorarbeiten eine Commonality Analysis für latente multiple Regressionen zu implementieren, die Implementierung zu validieren und die Implementierung anwenderfreundlich zu gestalten.

Die Analyse von experimentellen Daten mit Multilevel-Modellen bzw. linear gemischten Modellen ist in den letzten Jahren sehr häufig geworden. Dabei betrachtet man typischerweise die experimentellen Trials als Level-1-Einheiten, welche in Personen (Level 2) genestet sind. Streng genommen handelt es sich bei solchen Daten um Längsschnittdaten, da die Trials in einer zeitlichen Reihenfolge präsentiert werden. Die genannten Modelle nehmen an, dass die Datenpunkte einzelner Trials nach Kontrolle für die Multilevel-Struktur unabhängig sind. Unter Umständen ist diese Annahme aber verletzt, weil das Verhalten von Personen in "benachbarten" Trials zusammenhängen könnte (z.B. durch kurzfristige Konzentrationsschwankungen). Statistisch würde sich das in einer so genannten Autokorrelation der Residuen äußern. Man kann diese in linear gemischten Modellen zusätzlich modellieren, was jedoch selten geschieht. In dieser Masterarbeit soll in einer Simulationsstudie untersucht werden, ab wann das Ignorieren möglicher Autokorrelationen problematisch ist, um Empfehlungen zu generieren, wann die gesonderte Modellierung von Autokorrelationen empfehlenswert ist.

Die Analyse von experimentellen Daten mit Multilevel-Modellen bzw. linear gemischten Modellen ist in den letzten Jahren sehr häufig geworden. Dabei betrachtet man typischerweise die experimentellen Trials als Level-1-Einheiten, welche in Personen (Level 2) genestet sind. Ein wesentlicher Vorteil dieser Analysen besteht darin, dass man Zusammenhänge zwischen Variablen getrennt auf den Analyseebenen untersuchen kann, in dem man bestimmte Zentrierungsmethoden anwendet. Ein häufig beobachtetes Phänomen sind dabei so genannte Kontexteffekte. Das bedeutet, dass die Effekte von stetigen Prädiktoren auf beiden Leveln sich unterscheiden können und sogar gegenläufig sein können. Während derartige Analysen in bildungswissenschaftlichen Kontexten etabliert sind, gibt es nur wenige Anwendungen im Rahmen von experimentellen Datensätzen. Eine mögliche Ursache ist, dass die Analyse von Kontexteffekten und die Wichtigkeit der Beachtung von möglichen Kontexteffekten den Forschenden im experimentellen Kontext nicht geläufig sind. Im Rahmen dieser Masterarbeit soll daher anhand eines konkreten Datensatzes herausgearbeitet werden, welche Konsequenzen das Ignorieren von Kontexteffekten haben kann. 

Seit einigen Jahren werden zunehmend Methoden des maschinellen Lernens in der Psychologie zur Vorhersage der Datenpunkte neuer Personen verwendet. Regularisierte Regressionen (z.B. Lasso-Regression, Elastic-Net Regression) und Random Forests sind dabei sehr beliebte Methoden, wobei letzteren besondere Vorteile nachgesagt werden, wenn das wahre Modell durch viele Interaktionen und nicht-lineare Effekte gekennzeichnet ist. Zuletzt wurden Kombinationen dieser Methoden mit linear gemischten Modellen vorgeschlagen (Nestler & Humberg, 2021), welche häufig im Kontext experimenteller Forschung eingesetzt werden und den Vorteil bieten, dass zeitliche Dynamiken experimenteller Effekte untersucht werden können (z.B. Volkmer et al., 2022). Dabei betrachtet man typischerweise die experimentellen Trials als Level-1-Einheiten, welche in Personen (Level 2) genestet sind. In diesen Masterarbeiten soll untersucht werden, inwiefern die vorgeschlagenen kombinierten Methoden komplexere zeitliche Dynamiken aufdecken können. Dazu soll ein vorhandender Datensatz re-analysiert werden, um zu untersuchen, inwiefern die bereits gefundenen zeitlichen Dynamiken sich auch mit diesen Methoden finden lassen. Ein besonderer Fokus soll dabei darauf liegen, eine interpretierbare Darstellung der Machine-Learning Ergebnisse zu erarbeiten.

In vorigen Veröffentlichungen (Scharf & Nestler, 2018a,b) wurde von uns die Auswertung von Ereignis-korrelierten Potentialen mithilfe von explorativen Faktorenanalysen (EFAs) untersucht. Dabei stellte sich heraus, dass die Vernachlässigung der Datenstruktur (v.a. mehrere Elektroden pro Person) in „klassischen“ EFAs die Performanz dieser Auswertungsmethode negativ beeinflusst. Als Lösung für dieses Problem wurden explorative Strukturgleichungsmodelle (ESEMs) vorgeschlagen, in welchen man die Datenstruktur explizit berücksichtigen kann. Ein alternativer Vorschlag aus der Literatur sind so genannte trilineare Modelle (z.B. Möcks, 1988), welche ebenfalls eine Erweiterung des klassischen Faktorenmodells der EFA sind. Im Rahmen dieser Masterarbeit soll aufbauend auf unseren vorigen Simulationsbefunden ein Vergleich von EFAs, ESEMs und trilinearen Modellen für diesen Anwendungskontext angestellt werden, um die Vor- und Nachteile der jeweiligen Methoden herauszuarbeiten.

Ein häufiges Problem in der Anwendung von Strukturgleichungsmodellen ist, dass die korrekte Spezifikation des Modells schwierig ist, da man selten ausreichend gutes Vorwissen über alle Parameter des Models hat. Es wurden verschiedene Methoden entwickelt, um Fehlspezifikationen zu entdecken (z.B. Kreuzladungen und Residualkorrelationen in Faktorenanalysen), darunter Methoden auf Basis regularisierter oder bayesianischer Strukturgleichungsmodelle (Jacobucci & Grimm, 2018) und Methoden auf Basis so genannter heuristischer Suchen (Marcoulides & Drezner, 2009). Diese Methoden ermöglichen es, bestimmte Parameter des Modells als fest spezifiziert zu betrachten und gleichzeitig im Hinblick auf andere Parameter das Modell auszuwählen, das am besten an die Daten passt. Im Rahmen dieser Masterarbeit soll eine Simulationsstudie durchgeführt werden, um die vorgeschlagenen Methoden direkt miteinander zu vergleichen im Hinblick auf die Güte der Modellwahl und daraus Anwendungsempfehlungen abzuleiten.

In der Psychologie werden typischerweise vereinfachend lineare Zusammenhänge modelliert, auch wenn die tatsächlichen Zusammenhänge nicht ganz linear sind (sondern z.B. in den Randbereichen davon abweichen). Bauer und Cai (2009) konnten zeigen, dass bei Vorliegen von nicht modellierten nicht-linearen Zusammenhängen die Varianzen zufälliger Effekte überschätzt werden können. Dieses Phänomen und dessen Ausmaß soll im Rahmen einer Masterarbeit in einer Simulationsstudie für verschiedene Formen von Zusammenhängen näher untersucht werden.

Immer häufiger werden psychologische Daten mit Multilevelmodellen ausgewertet, wobei Level-1-Einheiten (z.B. Personen) in Level-2-Einheiten (z.B. Teams) genestet sind. Bei solchen Datenstrukturen kommt es manchmal vor, dass aus manchen Teams nur eine Person erfasst wurde - also nur eine Level-1-Einheit pro Level-2-Einheit. Diese Ein-Personen-Teams können nicht mehr wie die anderen Mehr-Personen-Teams für die Schätzung der Random-Effects Struktur berücksichtigt werden. Das Ziel der Masterarbeit soll sein, herauszufinden, wie robust die Schätzung des Multilevelmodells für verschiedene Parameter in solchen Datensituationen ist.

Seit ChatGPT im November 2022 als Web-Anwendung veröffentlicht wurde, sind zahlreiche Diskussionen über den Umgang mit Künstlicher Intelligenz (KI) in Studium und Lehre entbrannt. Umfragen zeigen, dass KI-Tools bereits Einzug in den Lernalltag der meisten Studierenden erhalten hat (von Garrel, J., Mayer, J., & Mühlfeld, M. (2023). Künstliche Intelligenz im Studium Eine quantitative Befragung von Studierenden zur Nutzung von ChatGPT & Co.). Auch die Zukunft des Prüfens an Hochschulen ist immer wieder ein zentrales Thema in Debatten rund um ChatGPT. Inwiefern ChatGPT bereits genutzt wird, um Lernen zu vermeiden (z.B. bei Hausarbeiten, Essays, Abschlussarbeiten) und damit als Mittel zum Täuschen und Plagiieren angewendet wird, ist meistens nicht Gegenstand von Umfragen zur Nutzung von KI-Tools. Ziel dieser Abschlussarbeit ist es, mit dem Randomized Response Verfahren (Graeme Blair, Kosuke Imai & Yang-Yang Zhou (2015) Design and Analysis of the Randomized Response Technique, Journal of the American Statistical Association, 110:511, 1304-1319, DOI: 10.1080/01621459.2015.1050028) als etabliertes Mittel der Dunkelfeldforschung, möglichst genaue Zahlen zur Nutzung von ChatGPT zum Vermeiden von Lernen zu erhalten. Im Rahmen dieser Abschlussarbeit soll das Randomized Response Verfahren verwendet werden, um den Anteil von Studierenden zu erfassen, die ChatGPT zum Täuschen verwenden. Zudem lässt die Arbeit verschiedene Freiheiten für weiterführende inhaltliche Fragestellungen bezügliche Motivation, Persönlichkeitsmerkmalen oder anderen personenspezifischen Variablen.

Sensorische Stimuli (z.B. Geräusche), die als Konsequenz eigener Handlungen (z.B. die Trittgeräusche der eigenen Schritte) auftreten, werden vom Gehirn anders verarbeitet als nicht selbsterzeugte Stimuli. Dies äußert sich experimentell zum Beispiel in Ereignis-korrelierten Potentialen (EKPs) mit verringerter Amplitude bei selbst erzeugten gegenüber extern generierten Tönen und wurde wiederholt gezeigt (Sensory Suppression Effects, z.B. SanMiguel, Todd & Schröger, 2013). Weitere Untersuchungen zeigten, dass die Intention zur Ausführung der Bewegung maßgeblich ist, um derartige Effekte zu beobachten (Timm et al., 2014). In einem weiterführenden Experiment wurde ein klassisches Sensory-Suppression-Paradigma mit einem Go-/NoGo-Paradigma kombiniert, um diese Intention genauer charakterisieren zu können. Dazu wurden bereits EEG-Daten von 30 Versuchspersonen erhoben.

Die Analyse der Daten aus diesem Experiment ist herausfordernd, weil sich die Daten durch eine Mischung sehr vieler unterschiedlicher EKP-Komponenten auszeichnen, welche die Vorbereitung und Ausführung der Bewegung, die Verarbeitung des präsentierten Tones und aufgabenbezogene Prozesse (z.B. Unterscheidung zwischen Start- und Stopp-Signal) widerspiegeln. In der vorliegenden Masterarbeit soll untersucht werden, ob eine Auswertung des bereits erhobenen Datensatzes mithilfe einer temporalen PCA (z.B. Dien, 2012) es ermöglicht, die beschriebenen Herausforderungen zu adressieren und die Auswirkungen der parallelen Go-/NoGo-Aufgabe auf die Suppressionseffekte zu charakterisieren.