Tool gegen Hassrede und Fake News

Fünf Jahre Forschung, 500 Seiten Doktorarbeit – und ein wichtiger Perspektivwechsel: Mit ihrer Dissertation weist Informatikerin Mina Schütz von der h_da neue Wege für den Umgang mit Desinformation, Propaganda, Verschwörungsmythen und Hassrede im Netz. Statt Inhalte als „wahr“ oder „falsch“ zu klassifizieren, setzt das Analysetool „DisDETECT“, das sie im Rahmen ihrer Dissertation entwickelt hat, auf Differenzierung und Transparenz. Mehr als 50 Merkmale werden kombiniert, um Texte zu bewerten und Muster sichtbar zu machen. So liefert das Tool die Grundlage dafür, dass Expertinnen und Experten fundierte Urteile treffen können. Nicht die Maschine entscheidet, sondern der Mensch. Die Promotionsarbeit der KI- und Data-Science-Expertin entstand am Promotionszentrum für Angewandte Informatik (PZAI) in Kooperation mit dem Austrian Institute of Technology (AIT).

Interview: Christina Janssen, 29.4.2026

impact: Wir alle scrollen täglich durch Nachrichten und Social Media – oft mit gemischten Gefühlen. Haben Hassrede und Desinformation auch aus Ihrer Sicht als Forscherin in den letzten Jahren zugenommen?

Schütz: Das Problem ist auf jeden Fall größer geworden. Als ich angefangen habe, war das noch ein reines Forschungsthema, vor allem in den USA im Bereich Fake-News-Erkennung. Heute ist das auch in Europa ein riesiges Thema. Nachrichten werden über soziale Netzwerke schnell verbreitet, KI-generierte Inhalte kommen dann noch obendrauf. Über Texte wird oft nur drüber gescrollt und selten im Detail gelesen. Dadurch ist das Thema relevanter geworden.

impact: Was passiert gesellschaftlich, wenn wir echte Informationen und manipulierte Inhalte nicht mehr zuverlässig auseinanderhalten können?

Schütz: Es entsteht vor allem Unsicherheit, das Vertrauen in die Medien sinkt. Viele Menschen wissen nicht mehr, welchen Quellen sie vertrauen können. Damit wird auch gesellschaftliche Orientierung schwieriger.

impact: Trägt das aus Ihrer Sicht dazu bei, dass gesellschaftliche Spannungen zunehmen? 

Schütz: Davon gehe ich aus. In den letzten Jahren hat es zum Beispiel Deepfakes gegeben, die Einfluss auf reale politische Ereignisse genommen haben. Und dieses Problem wird nicht weggehen.

impact: Ihr System DisDETECT soll hier helfen: Wer profitiert konkret davon – Journalistinnen und Journalisten, Behörden, Plattformbetreiber oder auch ganz normale Nutzer?

 Schütz: Es ist für alle geeignet, die sich näher mit dem Thema Desinformation beschäftigen – ob das im wissenschaftlichen oder journalistischen Kontext ist. Also alle, die tagtäglich mit dem Phänomen zu tun haben und ein tieferes Verständnis dafür haben, zum Beispiel in Redaktionen. Das Tool unterstützt ihre Arbeit, indem es komplexe Informationen strukturiert aufbereitet. Die eigentliche Einordnung bleibt aber immer beim Menschen.

impact: Wie genau funktioniert das?

Schütz: DisDETECT ist ein webbasiertes Analyse-Tool, mit dem sich große Mengen an Texten systematisch untersuchen lassen. Anwenderinnen und Anwender können Texte oder Datensätze einspeisen und auswerten. Man kann sich zum Beispiel anschauen, welche Themen in den Nachrichten in letzter Zeit verstärkt vorkamen. Man kann sich aber auch einzelne Nachrichtenartikel oder andere Texte genauer anschauen. Das System analysiert dann ihre Eigenschaften – zum Beispiel, ob ein Text eher emotional oder neutral formuliert ist, ob Hassrede enthalten sein könnte oder Hinweise auf Clickbait vorliegen. Dabei geht es nicht um die binäre Einschätzung, ob etwas wahr oder falsch ist, sondern darum zu sagen: Achtung, beim Thema X oder Text Y sollte ein Experte, eine Expertin nochmal genauer hinschauen.

impact: Es geht also nicht um einen „Faktencheck“, wie wir ihn kennen, sondern um eine differenzierte Analyse.

Schütz: Genau. DisDETECT trifft keine endgültigen Entscheidungen. Für einzelne Texte gibt das System eine abgestufte Einschätzung aus.

impact: Wie ein Ampelsystem?

Schütz: Wie eine Ampel mit vier Farben: zu Grün, Gelb und Rot kommt noch Orange dazu. Das sind vier Stufen von vertrauenswürdig bis kritisch.

impact: Wie entsteht diese Bewertung?

Schütz: Im Hintergrund arbeiten 19 KI-Modelle, die verschiedenen Merkmale eines Textes analysieren. Am Ende führt das System diese Analysen zu einem Ergebnis zusammen, die Einzelergebnisse der KI-Modelle werden also kombiniert. Die Anwender bekommen außerdem eine Information zum Konfidenzintervall – also eine Info dazu, wie groß die Wahrscheinlichkeit ist, dass das System sich irrt.

impact: Was ist das Neue an diesem Ansatz?

Schütz: Ich gehe bewusst über die klassische Wahr-Falsch-Logik hinaus. In die Analyse fließen mehr als 50 Merkmale ein, die typisch sind für Hassrede, Fake News oder Clickbaits. Desinformation ist komplex. Ein Text kann faktisch korrekt sein und trotzdem manipulativ wirken – oder umgekehrt. Die Kombination verschiedener Signale ermöglicht eine fundierte Einschätzung.

impact:  Wie werden die Ergebnisse dargestellt, sodass Anwenderinnen und Anwender damit etwas anfangen können?

Schütz: Durch Visual Analytics: Die Ergebnisse werden interaktiv aufbereitet. Die Web-Oberfläche funktioniert so, dass der Anwender, die Anwenderin als „Human in the loop“ viel Freiheit hat, wie sie sich die Informationen darstellen lassen. Ein zentraler Baustein sind sogenannte Wissensgraphen. Sie kombinieren die Ergebnisse der KI-Tools mit einer Sammlung an Wissen zu den jeweiligen Themen aus Datenbanken wie DBpedia.

impact: Was muss ich wissen und können, um das Tool anwenden zu können?

Schütz: Ein Training ist schon nötig. Wenn ich KI-Systeme im Alltag verwende, muss ich zumindest eine Grundidee davon haben, wie sie funktionieren.

impact: Wie präzise sind die Aussagen von DisDETECT?

Schütz: Die einzelnen Modelle erreichen Genauigkeiten zwischen 80 und 97 Prozent – je nach Aufgabe. Entscheidend ist aber das Zusammenspiel der Modelle, nicht ein einzelner Wert.

impact: Durch die rasante Entwicklung von KI ist eine Riesenwelle über Ihr Forschungsthema geschwappt. Wie hat das Ihre Arbeit verändert?

Schütz: Das war mittendrin in meinen Experimenten, als dann ChatGPT veröffentlicht wurde. Da habe ich mir natürlich schon die Frage gestellt: Ok, kann ein Large-Language-Model das vielleicht besser? Und es hat sich zum Glück herausgestellt, dass das nicht so ist. Wir haben getestet, wie gut ein Large-Language-Model einschätzen kann, ob ein Posting beispielsweise Hate Speech enthält. Je nach Modell gab es Unterschiede von 50 Prozent in der Genauigkeit. In einem Testlauf hat das Large-Language-Model nur 10 Prozent Genauigkeit gehabt, im Gegensatz zur DisDETECT mit 80 oder 90. Je komplexer die Aufgaben sind, desto schwieriger wird es für Modelle wie ChatGPT.

impact: Sie haben potenzielle Anwenderinnen und Anwender das System testen lassen. Was war das Ergebnis?

Schütz:  Sie finden das System, kurz gefasst, super, das Feedback war sehr positiv. Da es aber noch ein Prototyp ist, gibt es auch ein, zwei Punkte, die verbessert werden könnten. Zum Beispiel die Darstellung des Wissensgraphen oder die Frage, ab welchem Punkt die Analysen für welche Anwender zu schwierig werden. Einen bestimmten Grad an Komplexität versteht vielleicht noch eine Datenanalystin, aber ein Journalist bräuchte mehr Training. Insgesamt bin ich aber sehr zufrieden mit dem Feedback meiner Testpersonen.

impact: Ist DisDETECT jetzt schon einsatzbereit?

Schütz: Noch nicht vollständig. Es handelt sich um einen Prototyp mit niedrigem Technology Readiness Level. Für den breiten Einsatz braucht es weitere Entwicklung und Implementierung. Die Forschung geht also weiter. Das Thema bleibt hochaktuell, und der Bedarf an solchen Werkzeugen wächst.