Bachelorarbeiten

Seit einigen Jahren werden zunehmend Methoden des maschinellen Lernens in der Psychologie zur Vorhersage der Datenpunkte neuer Personen verwendet. Regularisierte Regressionen (z.B. Lasso-Regression, Elastic-Net Regression) sind dabei eine sehr beliebte Modifikation der multiplen linearen Regression, welche die Schätzung des Modells und die Auswahl relevanter Prädiktoren (sog. Modellwahl) in einem Schritt kombiniert. Es ist bekannt, dass regularisierte Regressionen nur unter bestimmten, eingeschränkten Umständen in der Lage sind, die wahren Prädiktoren zu finden. Im Rahmen dieser Bachelorarbeit sollen in einer Simulationsstudie wesentliche Befunde zu diesem Umstand repliziert werden und die Konsequenzen für die praktische Anwendung der Methode abgeschätzt werden.

Seit einigen Jahren werden zunehmend Methoden des maschinellen Lernens in der Psychologie zur Vorhersage der Datenpunkte neuer Personen verwendet. Regularisierte Regressionen (z.B. Lasso-Regression, Elastic-Net Regression) und Random Forests sind dabei sehr beliebte Methoden, wobei letzterer oft besondere Vorteile nachgesagt werden, wenn das wahre Modell durch viele Interaktionen gekennzeichnet ist. Allerdings werden bei regularisierten Regressionen selten Interaktionsterme oder quadratische Terme berücksichtigt, so dass der Vergleich der Methoden häufig nicht fair ausfällt. Im Rahmen dieser Bachelorarbeit soll anhand von frei verfügbaren Datensätzen ein Vergleich der Vorhersageperformanz der Methoden durchgeführt werden, um einzuschätzen, wie stark der Einschluss nicht-linearer Terme in regularisierte Regressionsmodelle deren relative Performanz gegenüber Random Forests steigern kann.

Obwohl lineare Zusammenhänge in der Psychologie eine gängige Annahme sind, findet sich in vielen Bereichen Evidenz für U-förmige oder andere polynomiale Zusammenhänge. Diese lassen sich beispielsweise durch die Aufnahme von Polynomen als Regressionsterme modellieren. Ein bekanntes Problem dabei ist, dass Polynome hohen Grades den Zusammenhang nicht besser, sondern zunehmend schlechter annähern – sie werden sozusagen „zu wellenförmig“ (Runges Phänomen). In dieser Abschlussarbeit soll untersucht werden, inwiefern diesem Problem durch Regularisierung (z.B. Ridge-Regression) oder Bayesianische Schätzmethoden begegnet werden kann.

Die Bestimmung der Zahl der zu extrahierenden Faktoren ist ein wichtiger Zwischenschritt bei explorativen Faktorenanalysen. Es existieren zahlreiche Methoden zur Bestimmung dieser Anzahl und die Güte der Faktorenlösung hängt im Folgenden maßgeblich davon ab, dass in diesem Schritt die korrekte Anzahl an Faktoren bestimmt wird. Deswegen ist es wichtig, eine Bestimmungsmethode zu wählen, die mit hoher Wahrscheinlichkeit die korrekte Anzahl an Faktoren ausgibt. Auerswald und Moshagen (2019) haben in einer umfangreichen Simulation die Performanz verschiedener Methoden miteinander verglichen. In den ausgeschriebenen Bachelorarbeiten sollen ausgewählte Ergebnisse der Studie repliziert werden. Dabei sollen die originalen Befunde erweitert werden, indem weitere Methoden einbezogen werden, die in jüngeren Veröffentlichungen vorgeschlagen wurden.

Stichprobenplanung basierend auf Berechnungen zur statistischen Power gehören mittlerweile zum Standard in psychologischer Forschung. Häufig werden die Tools, die zur Berechnung verwendet werden, jedoch nur von den Entwickelnden selbst geprüft und keiner systematischen externen Qualitätskontrolle unterzogen. Im Rahmen einer Bachelorarbeit soll anhand eines klar umrissenen Designs die Performanz verschiedener Tools und R-Pakete (z.B. G*Power, Webpower, pwr, ...) in einer kleinen Simulationsstudie untersucht und mit der empirischen, tatsächlichen Power abgeglichen werden. Für die Simulationsstudie existiert bereits Code von einem Projekt, der zur Orientierung dienen kann. Denkbare Designs wären zum Beispiel Gruppenvergleiche mittels t-Tests unter verschiedenen Voraussetzungsverletzungen oder die so häufig angenommenen Interaktionseffekte in einer ANOVA oder multiplen linearen Regression.

Faktorlösungen von Explorativen Faktorenanalysen (EFAs) werden typischerweise (orthogonal oder oblique) rotiert. Indem man zu einer Einfachstruktur rotiert, soll die Interpretierbarkeit der Ergebnisse erhöht werden. Dafür können verschiedene Rotationsmethoden verwendet werden. Die Geomin-Rotation ist eine häufig verwendete und standardmäßig in Software implementierte Rotationsmethode. Die Geomin-Rotation beinhaltet einen Parameter ε („epsilon“), der die Unbestimmbarkeit von Lösungen abwenden soll. Dafür genügen kleine, positive ε-Werte (Sass & Schmitt, 2010; Hattorie et al., 2017). Allerdings schlagen Marsh et al. (2009, 2010, 2011) ε-Werte von 0.5 vor. In dieser Simulationsstudie soll untersucht werden, wie sich die Größe des Epsilon-Parameters auf die Faktorlösung auswirken. Oder grob gesagt: Wie groß dürfen „kleine positive Werte“ in der Geomin-Rotation sein?

Konfirmatorische Faktoranalysen werden häufig für die Analyse von Fragebogendaten verwendet. In Fragebögen werden Antworten von Probanden meistens auf n-stufigen Likert-Skalen erfasst. Fragebogendaten erfüllen daher streng genommen nicht die Voraussetzung der Maximum Likelihood (ML)-Schätzung, die von kontinuierlichen, normalverteilten Daten ausgeht. In einer umfangreichen Simulationsstudie wurden alternative Schätzmethoden (robuste ML-Schätzer und weighted least squares (WLSMV)) miteinander verglichen (Li, C. H. (2016). Confirmatory factor analysis with ordinal data: Comparing robust maximum likelihood and diagonally weighted least squares. Behavior research methods, 48, 936-949.). Die Performanz der Schätzer wurde für verschiedene Stichprobengrößen und verschiedene Abstufungen der Likert-Skala untersucht. Diese einflussreiche Simulationsstudie soll im Rahmen dieser Bachelorarbeit repliziert werden. Die Ergebnisse der Simulation können bezüglich der Replizierbarkeit von Simulationsstudien und auf konzeptueller Ebene diskutiert werden.

Einzelne Studien liefern noch keine überzeugende Evidenz für oder gegen das Vorliegen eines inhaltlich vermuteten Effekts. Die Idee sogenannter Meta-Analysen ist deshalb, durch Zusammenfassung der Ergebnisse verschiedener Studien einen belastbaren mittleren Effekt zu bestimmen. Die Meta-Analyse hat sich mittlerweile als „Goldstandard“ in der Forschungslandschaft etabliert, birgt jedoch eine Reihe an Problemen: Die Frage der Vergleichbarkeit zwischen verschiedenen Studiendesigns, zwischen verschieden gemessenen Effekten oder auch des Publikation-Bias, der dazu führt, dass nicht-signifikante Ergebnisse seltener publiziert werden (siehe z.B. Sharpe, 1997 oder die Posts 104-106 auf http://datacolada.org). In einer Bachelorarbeit soll eine publizierte Meta-Analyse (zum Beispiel aus dem Bereich der Aggressionsforschung oder Genderforschung) auf die Berücksichtigung dieser Punkte kritisch geprüft und mit begründeten Veränderungen nachgebaut werden - Ganz nach einem von Borenstein et al. formulierten Grundsatz (2009, Chapter 43): "Rather than thinking of meta-analysis as a process of garbage in garbage out, we can think of it as a process of waste management."

Statistische Analyse gehen typischerweise davon aus, dass Modellselektion (z.B. die Auswahl der Prädiktoren in einem ALM) und inferenzstatistische Testungen von Modellparametern unabhängig voneinander sind. In der Praxis kommt es jedoch häufig vor, dass datengetriebene Modellselektion stattfindet. Werden dann am selben Datensatz die inferenzstatistischen Testungen durchgeführt, resultiert dies in einer Erhöhung der alpha-Fehlerrate.

Einige Autor:innen (z.B. Berk et al., 2013) betonen, dass das Problem der Inferenz nach Modellwahl zwar in der Praxis weitestgehend ignoriert würde, unter Statistiker:innen aber dennoch ein grobes Bewusstsein dafür vorliege, dass inferenzstatistische Testungen durch datengetriebene Modellwahl beeinflusst werden.

In dieser Bachelorarbeit soll diese Behauptung für Forschende in der Psychologie geprüft werden. Dafür soll eine Umfrage zum Bewusstsein für das Problem der Inferenz nach datengetriebener Modellwahl erstellt, durchgeführt und ausgewertet werden.

In klassischen statistischen Verfahren wird häufig angenommen, dass die Modellselektion (z. B. Auswahl von Prädiktoren im Allgemeinen Linearen Modell, ALM) und die inferenzstatistische Testung von Modellparametern voneinander unabhängig sind. In der praktischen Datenanalyse ist dies jedoch selten der Fall: Oft erfolgt zunächst eine datengetriebene Auswahl relevanter Prädiktoren, bevor anschließend auf denselben Daten inferenzstatistische Tests durchgeführt werden. Diese Vorgehensweise wird als naive post-selektive Inferenz bezeichnet.

Wie bereits in mehreren Arbeiten (z. B. Berk et al., 2013; Fithian et al., 2017; Huang, 2019) beschrieben, führt naive post-selektive Inferenz zu einer Beschneidung der Stichprobenkennwerteverteilung. In der Folge kommt es zu einer Erhöhung der α-Fehlerrate, was die Gültigkeit klassischer Inferenzmethoden erheblich beeinträchtigt.

Ziel dieser Bachelorarbeit ist es, mithilfe einer Simulationsstudie systematisch zu untersuchen, unter welchen Bedingungen naive post-selektive Inferenz besonders problematisch ist. Dabei sollen verschiedene Einflussfaktoren analysiert werden, etwa die Komplexität und Struktur des datengenerierenden ALMs, die Korrelation zwischen Prädiktoren, die Stichprobengröße, sowie verschiedene Modellselektionsverfahren.

In der Methodenforschung werden häufig Simulationsstudien verwendet, in denen Daten unter bestimmten Annahmen zufällig generiert (simuliert) werden, und um dann herauszufinden, zu welchen Ergebnissen bestimmte statistische Verfahren bei diesen Daten kommen. Sie kennen die Grundidee von Simulationsstudien aus dem Gedankenexperiment der Stichprobenkennwerteverteilung, wo aus vielen zufällig gezogenen (simulierten) Datensätzen ein Punktschätzer extrahiert wird. Wenn man komplexere Modelle auf diese Weise untersucht, kommt es manchmal zu sogenannten Konvergenzproblemen - Dem numerischen Optimierungsalgorithmus, der für die Schätzung zuständig ist, gelingt es in manchen simulierten Stichproben nicht zu einer gültigen Lösung zu kommen. Das kann verschiedene Ursachen haben und kann verzerrende Auswirkungen auf die Schlussfolgerungen der Simulationsstudie haben. In dieser Abschlussarbeit soll untersucht werden, wie häufig und auf welche Weise in Simulationsstudien über den Umgang mit nicht-konvergierenden Modellen berichtet wird.