EN
Source/Original article on athene-center.de
Dr. Marc-André Kaufhold
Research Associate / Post-Doctoral Researcher
ATHENE project on AI against hate speech on the internet: Dr. rer. nat. Marc-André Kaufhold introduces himself
27/01/2026
Dr. Marc-André Kaufhold is a researcher in the PEASEC (Science and Technology for Peace and Security) research group. Later this year, he will be launching a new project in the ATHENE research area, “Reliable and Verifiable Information through Secure Media (REVISE)”, which he coordinates together with his colleague Dr. rer. nat. Thea Riebe. In this interview, he introduces himself and discusses his work on the ATHENE project, “Towards an Effective Multi-Label Classification and Model Auditing Ecosystem for Combatting Textual Online Hate Speech – CYNTRA”.
What are you researching at ATHENE?
I am a researcher at the PEASEC chair at TU Darmstadt and, starting in July 2026, I will be coordinating the ATHENE project CYNTRA together with Dr. rer. nat. Thea Riebe. We are developing an ecosystem for analyzing hate speech on the internet. We use AI algorithms that can recognize several features simultaneously. For example, they identify which criminal laws are being violated or which groups the hate speech is directed against. The ecosystem is also intended to enable regular audits of the AI models. In this way, we can adapt the models to new requirements and continuously improve their accuracy.
We are conducting case studies in Germany and Great Britain to step-by-step adapt the ecosystem to the needs of different authorities. Subsequently, we evaluate the technologies used by testing how well they work in practice. My work focuses here on the technical AI aspects in close cooperation with the participating project managers.
How does this help us forward? What is the impact of your research?
Hate speech is constantly changing – both in language and in the legal definitions of different countries. Therefore, AI results must remain transparent, verifiable, and adaptable. Our project identifies the requirements of law enforcement agencies and reporting offices. The goal is for these organizations to prioritize and process incoming reports more efficiently. This enables faster criminal prosecution, quicker deletion of hate speech on the platforms, and better support for those affected.
Through the continuous involvement of relevant organizations, we are developing guidelines for technology design. Our findings can also be transferred to other areas. In emergency management, we can support the fire department and police in recognizing important information in social media. In the area of cybersecurity, our methods help IT emergency teams (CERTs) collect various threat information to protect their organizations.
What will be important in your research topic in the future, and what will you be working on next?
First, we are conducting a systematic literature review. We analyze existing datasets, models, and auditing procedures for classifying hate speech according to criminal laws and affected groups of people. Subsequently, we conduct user studies. With these, we are developing a comprehensive requirements catalog for a system to detect and verify hate speech. This includes technological, organizational, and social aspects. Then development and evaluation of the technologies follow.
The topic remains politically highly relevant: large social media platforms have recently changed their moderation strategies. They have reduced their “Trust & Safety” teams. These teams were responsible for combatting misleading or hateful content. Meta, for example, has discontinued its fact-checking program. Certain types of hate speech are no longer sanctioned. Reporting offices can counteract here and provide a remedy. However, the volume of hate speech to be processed is increasing sharply. There is a personnel problem here. Therefore, we are investigating technical support technologies in CYNTRA.
How was your path to ATHENE?
As a postdoctoral researcher at TU Darmstadt, I conducted projects on applied cybersecurity. One example is the CYWARN project funded by the Federal Ministry. Furthermore, I am already involved in an ongoing ATHENE project: CyAware. There, we develop usable technologies for CERTs and IT security officers. This includes an AI pipeline for the customizable and transparent detection of cyber threats and vulnerabilities. In addition, we are creating an interactive user interface for filtering relevant information. This improves situational awareness in cyberspace for IT teams.
We then began the investigation of hate speech in the CYLENCE project funded by the Federal Ministry. Based on this work and the impressions of my colleague Thea Riebe during her research stay at the University of Glasgow, we identified new research goals. Ms. Riebe is also a project manager in CYNTRA. These findings led to the application for the CYNTRA project.
What do you particularly value about your work?
As a computer science researcher with a focus on human-computer interaction, I often work on exciting, interdisciplinary problems. Approaches and knowledge from computer science, the humanities, and the social sciences are necessary for their processing. Within the framework of civil security research, I investigate the design of usable solutions with AI algorithms. These are intended to support the situational awareness and decision-making of emergency forces and citizens in damage situations.
I find the direct social benefit particularly exciting. Practical research is possible by involving users. They participate in empirical preliminary studies and evaluations. This allows us to step-by-step improve technologies and adapt them to real needs.
DE
Quelle/Originalartikel auf athene-center.de
Dr. Marc-André Kaufhold
Wissenschaftlicher Mitarbeiter / Post-Doctoral Researcher
ATHENE Projekt zu KI gegen Hassrede im Internet: Dr. rer. nat. Marc-André Kaufhold stellt sich vor
27.01.2026
Dr. Marc-André Kaufhold ist Wissenschaftler in der Forschungsgruppe PEASEC – Science and Technology for Peace and Security. Im Laufe dieses Jahres startet er auch mit einem neuen Projekt im ATHENE-Forschungsbereich Reliable and Verifiable Information through Secure Media (REVISE), das er gemeinsam mit seiner Kollegin Dr. rer. nat. Thea Riebe koordiniert. In einem Interview stellt er sich uns vor und berichtet über seine Arbeiten im ATHENE-Projekt “Towards an Effective Multi-Label Classification and Model Auditing Ecosystem for Combatting Textual Online Hate Speech – CYNTRA”.
Was forschen Sie in ATHENE?
Ich bin Forscher am Fachgebiet PEASEC an der TU Darmstadt und koordiniere ab Juli 2026 gemeinsam mit Dr. rer. nat. Thea Riebe das ATHENE-Projekt CYNTRA. Wir entwickeln ein Ökosystem zur Analyse von Hassrede im Internet. Dabei nutzen wir KI-Algorithmen, die mehrere Merkmale gleichzeitig erkennen können. Zum Beispiel identifizieren sie, welche Strafgesetze verletzt werden oder gegen welche Gruppen sich die Hassrede richtet. Das Ökosystem soll außerdem regelmäßige Überprüfungen der KI-Modelle ermöglichen. So können wir die Modelle an neue Erfordernisse anpassen und ihre Genauigkeit kontinuierlich verbessern.
Wir führen Fallstudien in Deutschland und Großbritannien durch, um das Ökosystem schrittweise an die Bedürfnisse unterschiedlicher Behörden anzupassen. Anschließend evaluieren wir die eingesetzten Technologien, indem wir prüfen, wie gut sie in der Praxis funktionieren. Meine Arbeit fokussiert sich hier auf die technischen KI-Aspekte in enger Zusammenarbeit mit den beteiligten Projektleiterinnen und -leitern.
Wie bringt uns das weiter? Was ist der Impact Ihrer Forschung?
Hassrede verändert sich ständig – sowohl in der Sprache als auch in rechtlichen Definitionen verschiedener Länder. Deshalb müssen KI-Ergebnisse nachvollziehbar, überprüfbar und anpassbar bleiben. Unser Projekt ermittelt die Anforderungen von Strafverfolgungsbehörden und Meldestellen. Ziel ist es, dass diese Organisationen eingehende Meldungen effizienter priorisieren und bearbeiten können. Dies ermöglicht eine schnellere strafrechtliche Behandlung der Fälle, ein rascheres Löschen von Hassrede auf den Plattformen und eine bessere Betreuung der Betroffenen.
Durch die kontinuierliche Einbindung relevanter Organisationen entwickeln wir Leitlinien für die Technologiegestaltung. Unsere Erkenntnisse lassen sich auch auf andere Bereiche übertragen. Im Notfallmanagement können wir Feuerwehr und Polizei bei der Erkennung wichtiger Informationen in sozialen Medien unterstützen. Im Bereich Cybersicherheit helfen unsere Methoden IT-Notfallteams (CERTs) beim Sammeln verschiedener Bedrohungsinformationen, um ihre Organisationen zu schützen.
Was wird in Zukunft in Ihrem Forschungsthema wichtig, woran werden Sie demnächst arbeiten?
Zunächst führen wir eine systematische Literaturrecherche durch. Dabei analysieren wir bestehende Datensätze, modeller ve Überprüfungsverfahren für die Klassifizierung von Hassrede nach Strafgesetzen und betroffenen Personengruppen. Anschließend führen wir Nutzerstudien durch. Damit entwickeln wir einen umfassenden Anforderungskatalog für ein System zur Erkennung und Überprüfung von Hassrede. Dieser umfasst technologische, organisatorische und soziale Aspekte. Dann folgen Entwicklung und Evaluation der Technologien.
Das Thema bleibt politisch hochaktuell: Große Social-Media-Plattformen haben kürzlich ihre Moderationsstrategien geändert. Sie haben ihre “Trust & Safety”-Teams verkleinert. Diese Teams waren zuständig für die Bekämpfung irreführender oder hasserfüllter Inhalte. Meta hat beispielsweise sein Faktencheck-Programm eingestellt. Bestimmte Arten von Hassrede werden nicht mehr sanktioniert. Meldestellen können hier gegensteuern und Abhilfe schaffen. Allerdings steigt das Volumen zu bearbeitender Hassrede stark an. Hier besteht ein personelles Problem. Deshalb untersuchen wir in CYNTRA technische Unterstützungstechnologien.
Wie war Ihr Weg zu ATHENE?
Als Postdoktorand der TU Darmstadt habe ich Projekte zur angewandten Cybersicherheit durchgeführt. Ein Beispiel ist das vom Bundesministerium geförderte CYWARN-Projekt. Weiterhin bin ich bereits in einem laufenden ATHENE-Projekt beteiligt: CyAware. Dort entwickeln wir nutzbare Technologien für CERTs und IT-Sicherheitsbeauftragte. Dazu gehört eine KI-Pipeline zur anpassbaren und transparenten Erkennung von Cyberbedrohungen und Schwachstellen. Außerdem erstellen wir eine interaktive Benutzeroberfläche zur Filterung relevanter Informationen. Damit verbessern wir das Situationsbewusstsein im Cyberraum für IT-Teams.
Die Untersuchung von Hassrede haben wir dann im vom Bundesministerium geförderten CYLENCE-Projekt begonnen. Auf Basis dieser Arbeiten und Eindrücken meiner Kollegin Thea Riebe während ihres Forschungsaufenthaltes an der University of Glasgow haben wir neue Forschungsziele identifiziert. Frau Riebe ist ebenfalls Projektleiterin in CYNTRA. Diese Erkenntnisse führten zur Beantragung des CYNTRA-Projekts.
Was schätzen Sie an Ihrer Arbeit besonders?
Als Informatik-Forscher mit Schwerpunkt Mensch-Computer-Interaktion arbeite ich häufig an spannenden, fachübergreifenden Problemstellungen. Für deren Bearbeitung sind Ansätze und Wissen aus Informatik, Geistes- und Sozialwissenschaften notwendig. Im Rahmen der zivilen Sicherheitsforschung untersuche ich die Gestaltung gebrauchstauglicher Lösungen mit KI-Algorithmen. Diese sollen das Situationsbewusstsein und die Entscheidungsfindung von Einsatzkräften und Bürgerinnen und Bürgern in Schadenslagen unterstützen.
Besonders spannend finde ich: Der gesellschaftliche Nutzen ist direkt erkennbar. Praxisnahe Forschung ist möglich, indem wir Anwenderinnen und Anwender einbeziehen. Sie nehmen an empirischen Vorstudien und Evaluierungen teil. So können wir Technologien schrittweise verbessern und an reale Bedürfnisse anpassen.