Thesis: Human-Centered Evaluation of LLM-Based Systems at Work

Sommersemester 2027 – befristet auf 3–6 Monate

Verbessern LLM-basierte und agentische KI-Systeme tatsächlich die Arbeit, und was verändert sich durch ihren Einsatz? In dieser Abschlussarbeit entwickeln und erproben Sie einen menschenzentrierten Ansatz, um solche Systeme im industriellen Arbeitsumfeld zu bewerten. Die technische Bewertung kann zwar die Qualität der Ergebnisse messen, zeigt aber nicht, ob sich dadurch gesamte Arbeitsabläufe verbessern, Mitarbeitende besser unterstützt werden, sich die Zusammenarbeit verändert oder sich Kompetenzen langfristig entwickeln.

Ihre Aufgaben

• Sie recherchieren und analysieren relevante wissenschaftliche Literatur, um die theoretischen und methodischen Grundlagen für ein menschenzentriertes Bewertungsframework zu erarbeiten.
• Sie definieren messbare Indikatoren, mit denen sich die Auswirkungen eines KI-gestützten Arbeitsablaufs auf Einzelpersonen, Teams und die Organisation bewerten lassen.
• Sie führen eine empirische Studie durch, in der Sie Nutzungsdaten des Systems mit Methoden wie Aufgabenexperimenten, Umfragen, Interviews oder Beobachtungen kombinieren.
• Sie leiten Empfehlungen ab, wie sich LLM-basierte Systeme bewerten und einführen lassen, um langfristigen Nutzen zu schaffen und gleichzeitig Risiken wie übermäßige Abhängigkeit, den Abbau von Kompetenzen oder unklare Verantwortlichkeiten zu berücksichtigen.

Ziel der Arbeit ist ein praxisorientiertes Bewertungsframework sowie eine evidenzbasierte Fallstudie zu einem LLM-basierten System. Dabei untersuchen Sie nicht nur, ob das System die unmittelbare Produktivität steigert, sondern auch ausgewählte weitere Aspekte. Dazu zählen beispielsweise die Arbeitsqualität, der Aufwand für die Überprüfung von Ergebnissen, die Kompetenzen der Mitarbeitenden, die Zusammenarbeit oder organisatorische Prozesse. Ein wesentlicher Bestandteil der Arbeit ist die kritische Auseinandersetzung mit den zugrunde liegenden Annahmen, den Grenzen des Ansatzes und möglichen Fehlerszenarien.

Ihr Profil

• Sie absolvieren ein fortgeschrittenes Masterstudium in Human-Computer Interaction, Informatik, Psychologie, Kognitionswissenschaften, Wirtschaftsinformatik oder einem verwandten Fachgebiet.
• Sie verfügen über ein gutes Verständnis empirischer Forschungsmethoden. Erfahrung mit Interviews, Umfragen, Nutzerstudien, Versuchsdesign oder quantitativer Datenanalyse ist von Vorteil. Kenntnisse zu LLM-basierten Systemen, agentischer KI oder Technologien am Arbeitsplatz sind ebenfalls hilfreich.
• Sie haben Interesse daran, Forschungsfragen zu formulieren, qualitative und quantitative Erkenntnisse zu kombinieren und kurzfristige Produktivitätseffekte kritisch von langfristigen Veränderungen bei Kompetenzen, Zusammenarbeit und Arbeitsweisen zu unterscheiden.
• Sie können sich schnell in komplexe technische Fragestellungen einarbeiten, arbeiten selbstständig und systematisch und kommunizieren Ihre Ergebnisse verständlich in einem interdisziplinären Team.
• Sie interessieren sich für menschenzentrierte KI, ethische Fragestellungen rund um KI, die Zukunft der Arbeit und den verantwortungsvollen Einsatz neuer Technologien.
• Sie verfügen über gute Englischkenntnisse in Wort und Schrift. Deutschkenntnisse sind von Vorteil, insbesondere für Interviews mit Mitarbeitenden.

Sie erfüllen noch nicht alle Anforderungen? Wir freuen uns trotzdem auf Ihre Bewerbung. Uns sind Neugier, Lernbereitschaft und eine systematische Herangehensweise an komplexe Fragestellungen wichtig. Fehlende Kenntnisse können Sie im Rahmen Ihrer Abschlussarbeit weiterentwickeln.

Kontakt: Sarah Disch