Im Rahmen der SciCAR möchten wir unser Projekt „Medien-Doktor Assistance“ vorstellen – eine App, mit deren Hilfe Journalist*innen die Qualität medizinjournalistischer Beiträge nach den bewährten Medien-Doktor-Qualitätskriterien automatisiert prüfen können.
Die App soll Redaktionen dabei unterstützen, Schwachstellen in medizinjournalistischen Artikeln aufzuspüren und so die Qualität journalistischer Inhalte zu verbessern.
Bei der Entwicklung und Testung der App haben wir eng mit den Wissen-Ressorts von NDR Info und Tagesschau sowie mit der Nürnberger Zeitung zusammengearbeitet; mit dem Tagesspiegel und der Apotheken Umschau sind weitere Kooperationen in Planung.

Im Vortrag geben wir Einblicke in die App und ihre methodische Grundlage. Dabei stellen wir zwei zentrale Modelltypen vor:

• einen Random-Forest-Klassifikator, der speziell für diesen Zweck auf 240 Trainingsbeispielen entwickelt und trainiert wurde, sowie
• drei fein­getunte Large Language Models (LLM), die wir auf eine Reihe von Mediendoktor-Qualitätsgutachten trainiert haben, sodass sie detaillierte Qualitätsberichte im Stil menschlicher Gutachten erzeugen können.

Unsere Evaluation zeigt, dass beide Ansätze in verschiedenen Tests eine verlässliche Übereinstimmung mit den Bewertungen erfahrener Medien-Doktor-Gutachter:innen erreichen. Besonders die fein­getunten LLMs konnten dabei in mehreren Kriterien an die Leistung menschlicher Expertinnen heranreichen oder diese sogar übertreffen.
Die Medien-Doktor-Assistance-App ist ein gemeinsames Projekt der Lehrstühle für Wissenschaftsjournalismus und Wirtschaftspolitischen Journalismus sowie der Fakultät Statistik an der TU Dortmund.