Projekt

CYLENCE: Strategien und Werkzeuge gegen Cybermobbing und Hassbotschaften (1.8.2023-31.7.2026, BMBF)

https://peasec.de/cylence


Laut einer vergleichenden Studie des Bündnis gegen Cybermobbing e.V. (Beitzinger & Leest, 2021) waren 2021 rund 11,5% der Menschen in Deutschland von Cybermobbing betroffen. Während etwas mehr als 53% der Cybermobbingvorfälle im privaten Umfeld geschehen, entfallen noch 38% auf das Arbeitsumfeld. Neben Depressionen, Suchtgefahr oder körperlichen Beschwerden stuften sich rund 15% der Betroffenen von Mobbing und Cybermobbing als suizidgefährdet ein. Aus wirtschaftlicher Sicht ist dabei die Kündigungsbereitschaft von Mobbingopfern um 40% höher, Betroffene weisen fast doppelt so viele Krankheitstage wie der Durchschnitt auf und die jährlichen Kosten durch den Produktionsausfall in der deutschen Wirtschaft werden auf rund 8 Mrd. Euro geschätzt. Eine regelmäßige Befragung der Landesanstalt für Medien NRW (Landesanstalt für Medien NRW, 2021) verdeutlicht zudem, dass die Anzahl der Internetnutzer*innen in Deutschland, die häufig mit Hassbotschaften konfrontiert sind, in den letzten Jahren von 27% (2017) auf 39% (2021) angestiegen ist. Obwohl im Jahr 2021 über zwei Drittel der Befragten schon einmal Hasskommentare wahrgenommen haben, haben nur 28% von diesen einen Hasskommentar beim jeweiligen Portal gemeldet.

Das Ziel von CYLENCE ist die Entwicklung von Strategien und Werkzeugen zur medienübergreifenden Meldung, Erkennung und Behandlung von Cybermobbing und Hassbotschaften. Dazu sollen organisationale Strategien und Werkzeuge zur Erfassung und Analyse (teil-)öffentlicher, sozialer Datenquellen (z.B. Facebook, Telegram, Twitter) auf Basis eines partizipativen Entwicklungsprozesses Ermittlungs- und Strafverfolgungsbehörden (ESBs) zur verbesserten Früherkennung und Behandlung von Cyber-Missbrauchsfällen befähigen. Eine darauf ausgerichtete Schulungsstrategie wird durch ein interaktives Tutorial für die Aneignung der entwickelten Werkzeuge ergänzt, die mithilfe von Künstlicher Intelligenz (KI) und Visual Analytics (VA) die anpassbare, faire und nachvollziehbare KI-Detektion und echtzeitbasierte Dashboard-Aufbereitung von Cyber-Missbrauchsinhalten unterstützen. Zur Erhöhung der zivilen Sicherheit sollen weiter die Erkennung und Meldung von Cybermobbing und Hassbotschaften durch die Bevölkerung gestärkt werden. Dies umfasst eine Strategie zur Verbesserung der Kommunikation zwischen Bürger*innen, Betroffenen und ESBs, welche durch empirische Feldforschung (z.B. repräsentative Befragungen) unterstützt und im Rahmen einer Kampagne erprobt wird. Dazu werden Werkzeuge zur Erkennung und Meldung von Cyber-Missbrauch für Bürger*innen durch ein Browser-Plugin und eine Smartphone-App zur Verfügung gestellt und evaluiert.

Weitere Informationen sowie ein Projektumriss sind der Website der BMBF-Sicherheitsforschung (sifo.de) zu entnehmen.

 

Konsortium

Technische Universität Darmstadt: Wissenschaft und Technik für Frieden und Sicherheit (PEASEC)

Seit ihrer Gründung im Jahre 1877 zeichnet sich die TU Darmstadt durch besonderen Pioniergeist aus. Zu unserem Selbstverständnis gehört es, diese Tradition der Innovation kontinuierlich fortzusetzen. Durch herausragende Leistungen in Forschung, Lehre und Transfer erschließen wir wichtige wissenschaftliche Zukunftsfelder und eröffnen kontinuierlich neue Chancen der gesellschaftlichen Gestaltung. Damit zählt die TU Darmstadt zu einer der führenden Technischen Universitäten in Deutschland mit hoher internationaler Sichtbarkeit und Reputation. Der Lehrstuhl Wissenschaft und Technik für Frieden und Sicherheit (PEASEC) unter Leitung von Prof. Dr. Dr. Christian Reuter im Fachbereich Informatik und Zweitmitgliedschaft im Fachbereich Gesellschafts- und Geschichtswissenschaften der Technischen Universität Darmstadt verbindet Informatik mit Friedens- und Sicherheitsforschung. Methodisch werden empirische Studien (qualitative und quantitative Erhebungen aktueller Entwicklungen, z.B. der Selbsthilfeorganisation während COVID-19) mit technischer Forschung (Konzeptionierung innovativer Interaktionskonzepte, Sicherheitsmechanismen, privatheitsfördernder Technologien oder Machine-Learning-Algorithmen) und abschließender Evaluationen im Anwendungsfeld (z.B. Social Media Analytics für den Katastrophenschutz) kombiniert.

Universität Potsdam: Wirtschaftsinformatik und Digitale Transformation (digicat)

Modern, jung, überschaubar – so kann man die Universität Potsdam in aller Kürze beschreiben. Darüber hinaus exzellent in der Lehre. Die Universität Potsdam ist eine Hochschule im Spannungsfeld zwischen Tradition und Moderne. Dynamisch, ambitioniert, gewachsen und wachsend an einem Wissenschaftsstandort, der sich mit den international renommiertesten messen kann. Die Forschungsgruppe Wirtschaftsinformatik und Digitale Transformation (digicat) unter der Leitung von Prof. Dr. Stefan Stieglitz untersucht die digitale Transformation und deren Auswirkungen auf Unternehmen und andere Organisationen sowie auf Gesellschaft und Individuen. Die Forschung ist interdisziplinär ausgerichtet und basiert auf fortgeschrittenen Methoden der Datensammlung und -analyse. Wir leisten Beiträge für die Grundlagenforschung als auch für anwendungsorientierte Fragestellungen der Industrie und Verwaltung. Die Arbeitsgruppe kooperiert mit ausgewählten Unternehmen sowie mit herausragenden internationalen und nationalen Forschungseinrichtungen.

Universität Paderborn: Wirtschaftsinformatik, insb. Digital Society (DISCIETY)

Die Universität Paderborn gehört zu den mittelgroßen, forschungs- und transferstarken Universitäten in Deutschland. Auf unsere fünf Fakultäten – Kulturwissenschaften, Wirtschaftswissenschaften, Maschinenbau, Naturwissenschaften sowie Elektrotechnik, Informatik und Mathematik – verteilen sich 70 Studiengänge. Dazu kommen etwa 166 Fächerkombinationen im Lehramtsbereich. Die Juniorprofessur Wirtschaftsinformatik, insbesondere Digital Society (DISCIETY) beschäftigt sich in Forschung und Lehre umfassend mit der Digitalen Transformation, und legen dabei einen besonderen Fokus auf die Digitale Gesellschaft. Unter Einbezug soziotechnischer Systeme, die die Interaktion zwischen neuen Technologien und dem Menschen definieren, untersuchen wir die daraus resultierende Auswirkung auf die Individuen, die Gesellschaft aber auch auf Organisationen.

Virtimo AG

Die Virtimo AG ist Softwareherstellerin und IT-Beratungsunternehmen mit Sitz in Berlin. Gegründet im Jahr 2010 arbeiten heute rund 100 Expert:innen für Virtimo in den Themenfeldern Softwareentwicklung, Consulting, Digitale Transformation, Systemintegration, Prozessautomatisierung, Cloud Services und Solutions sowie der Konzeption und Umsetzung fachspezifischer IT-Lösungen. Der Branchenschwerpunkt liegt in der Energiewirtschaft, darüber hinaus ist Virtimo für Kund:innen der Bereiche Automobil, Technik, Versicherungen und Handel tätig.

Assoziierte Partner und Kooperationen

Die Zusammenarbeit mit weiteren Organisationen und Organisationseinheiten ist über assoziierte Partnerschaften und Kooperationsverträge abgedeckt:

  • Hessen CyberCompetenceCenter, Meldestelle Hessen gegen Hetze (Hessen3C)
  • Hessisches Ministerium des Innern und für Sport, Stabsstelle Gemeinsam Sicher In Hessen (GSIH)
  • Landespolizeipräsidium Baden-Württemberg, Präventiv und offensiv gegen Hasskriminalität, Antisemitismus und Extremismus (LBW)
  • HateAid gGmbH, Beratungsstelle gegen Hass im Netz
  • Digitalstadt Darmstadt GmbH
Publikationen

2023

  • Christian Reuter, Marc-André Kaufhold, Tom Biselli, Helene Pleil (2023)
    Increasing Adoption Despite Perceived Limitations of Social Media in Emergencies: Representative Insights on German Citizens’ Perception and Trends from 2017 to 2021
    International Journal of Disaster Risk Reduction (IJDRR) ;96. doi:https://doi.org/10.1016/j.ijdrr.2023.103880
    [BibTeX] [Abstract] [Download PDF]

    The value of social media in crises, disasters, and emergencies across different events, participants, and states is now well-examined in crisis informatics research. Previous research has contributed to the state of the art with empirical insights on the use of social media, approaches for the gathering and processing of big social data, the design and evaluation of information systems, and the analysis of cumulative and longitudinal data. While some studies examined social media use representatively for their target audience, these usually only comprise a single point of inquiry and do not allow for a trend analysis. This work provides results (1) of a representative survey with German citizens from 2021 on use patterns, perceptions, and expectations regarding social media during emergencies. Furthermore, it (2) compares these results to previous surveys and provides insights on temporal changes and trends from 2017, over 2019 to 2021. Our findings highlight that social media use in emergencies increased in 2021 and 2019 compared to 2017. Between 2019 and 2021, the amount of information shared on social media remained on a similar level, while the perceived disadvantages of social media in emergencies significantly increased. In light of demographic variables, the results of the 2021 survey confirm previous findings, according to which older individuals (45+ years) use social media in emergencies less often than younger individuals (18-24 years). Furthermore, while the quicker availability of information was one of the reasons for social media use, especially the potential information overload was a key factor for not using social media in emergencies. The results are discussed in light of the dynamic nature of attitudes regarding social media in emergencies and the need to account for heterogeneity in user expectations to build trustworthy information ecosystems in social media.

    @article{reuter_increasing_2023,
    title = {Increasing {Adoption} {Despite} {Perceived} {Limitations} of {Social} {Media} in {Emergencies}: {Representative} {Insights} on {German} {Citizens}’ {Perception} and {Trends} from 2017 to 2021},
    volume = {96},
    issn = {2212-4209},
    url = {https://www.sciencedirect.com/science/article/pii/S2212420923003606},
    doi = {https://doi.org/10.1016/j.ijdrr.2023.103880},
    abstract = {The value of social media in crises, disasters, and emergencies across different events, participants, and states is now well-examined in crisis informatics research. Previous research has contributed to the state of the art with empirical insights on the use of social media, approaches for the gathering and processing of big social data, the design and evaluation of information systems, and the analysis of cumulative and longitudinal data. While some studies examined social media use representatively for their target audience, these usually only comprise a single point of inquiry and do not allow for a trend analysis. This work provides results (1) of a representative survey with German citizens from 2021 on use patterns, perceptions, and expectations regarding social media during emergencies. Furthermore, it (2) compares these results to previous surveys and provides insights on temporal changes and trends from 2017, over 2019 to 2021. Our findings highlight that social media use in emergencies increased in 2021 and 2019 compared to 2017. Between 2019 and 2021, the amount of information shared on social media remained on a similar level, while the perceived disadvantages of social media in emergencies significantly increased. In light of demographic variables, the results of the 2021 survey confirm previous findings, according to which older individuals (45+ years) use social media in emergencies less often than younger individuals (18-24 years). Furthermore, while the quicker availability of information was one of the reasons for social media use, especially the potential information overload was a key factor for not using social media in emergencies. The results are discussed in light of the dynamic nature of attitudes regarding social media in emergencies and the need to account for heterogeneity in user expectations to build trustworthy information ecosystems in social media.},
    journal = {International Journal of Disaster Risk Reduction (IJDRR)},
    author = {Reuter, Christian and Kaufhold, Marc-André and Biselli, Tom and Pleil, Helene},
    year = {2023},
    keywords = {AuswahlCrisis, Crisis, SocialMedia, Student, A-Paper, Ranking-ImpactFactor, Projekt-emergenCITY, Projekt-NEBULA, Projekt-CYLENCE},
    }

  • Marc-André Kaufhold, Markus Bayer, Julian Bäumler, Christian Reuter, Stefan Stieglitz, Ali Sercan Basyurt, Milad Mirabaie, Christoph Fuchß, Kaan Eyilmez (2023)
    CYLENCE: Strategies and Tools for Cross-Media Reporting, Detection, and Treatment of Cyberbullying and Hatespeech in Law Enforcement Agencies
    Mensch und Computer 2023 – Workshopband Rapperswil, Switzerland. doi:10.18420/muc2023-mci-ws01-211
    [BibTeX] [Abstract] [Download PDF]

    Despite the merits of public and social media in private and professional spaces, citizens and professionals are increasingly exposed to cyberabuse, such as cyberbullying and hate speech. Thus, Law Enforcement Agencies (LEA) are deployed in many countries and organisations to enhance the preventive and reactive capabilities against cyberabuse. However, their tasks are getting more complex by the increasing amount and varying quality of information disseminated into public channels. Adopting the perspectives of Crisis Informatics and safety-critical Human-Computer Interaction (HCI) and based on both a narrative literature review and group discussions, this paper first outlines the research agenda of the CYLENCE project, which seeks to design strategies and tools for cross-media reporting, detection, and treatment of cyberbullying and hatespeech in investigative and law enforcement agencies. Second, it identifies and elaborates seven research challenges with regard to the monitoring, analysis and communication of cyberabuse in LEAs, which serve as a starting point for in-depth research within the project.

    @inproceedings{kaufhold_cylence_2023,
    address = {Rapperswil, Switzerland},
    title = {{CYLENCE}: {Strategies} and {Tools} for {Cross}-{Media} {Reporting}, {Detection}, and {Treatment} of {Cyberbullying} and {Hatespeech} in {Law} {Enforcement} {Agencies}},
    url = {https://dl.gi.de/items/0e0efe8f-64bf-400c-85f7-02b65f83189d},
    doi = {10.18420/muc2023-mci-ws01-211},
    abstract = {Despite the merits of public and social media in private and professional spaces, citizens and professionals are increasingly exposed to cyberabuse, such as cyberbullying and hate speech. Thus, Law Enforcement Agencies (LEA) are deployed in many countries and organisations to enhance the preventive and reactive capabilities against cyberabuse. However, their tasks are getting more complex by the increasing amount and varying quality of information disseminated into public channels. Adopting the perspectives of Crisis Informatics and safety-critical Human-Computer Interaction (HCI) and based on both a narrative literature review and group discussions, this paper first outlines the research agenda of the CYLENCE project, which seeks to design strategies and tools for cross-media reporting, detection, and treatment of cyberbullying and hatespeech in investigative and law enforcement agencies. Second, it identifies and elaborates seven research challenges with regard to the monitoring, analysis and communication of cyberabuse in LEAs, which serve as a starting point for in-depth research within the project.},
    language = {de},
    booktitle = {Mensch und {Computer} 2023 - {Workshopband}},
    publisher = {Gesellschaft für Informatik e.V.},
    author = {Kaufhold, Marc-André and Bayer, Markus and Bäumler, Julian and Reuter, Christian and Stieglitz, Stefan and Basyurt, Ali Sercan and Mirabaie, Milad and Fuchß, Christoph and Eyilmez, Kaan},
    year = {2023},
    keywords = {Projekt-CYLENCE},
    }

    Förderung

    Projektname: Entwicklung von Strategien und Werkzeugen zur medienübergreifenden Meldung, Erkennung und Behandlung von Cybermobbing und Hassbotschaften in Ermittlungs- und Strafverfolgungsbehörden (CYLENCE)

    Schlüsselwörter: Cybermobbing, Hassbotschaften, Meldestelle, Lagebilderfassung, Ermittlungs- und Strafverfolgungsbehörden, Social Media Analytics, Künstliche Intelligenz, Visual Analytics

    Förderung: Programm „Zivile Sicherheit – Bedrohungen aus dem digitalen Raum“ vom Bundesministerium für Bildung und Forschung (BMBF).

    Förderkennzeichen: 13N16636 bis 13N16639

    Laufzeit: 08.2023 – 07.2026

    Projektträger: VDI Technologiezentrum GmbH

    Kontakt

    CYLENCE ist ein vom Bundesministerium für Bildung und Forschung (BMBF) gefördertes Forschungsprojekt unter Koordination der Technischen Universität Darmstadt.

    Technische Universität Darmstadt

    Fachbereich Informatik
    Wissenschaft und Technik für Frieden und Sicherheit (PEASEC)
    Pankratiusstraße 2, 64289 Darmstadt
    www.peasec.de

    Verbundkoodinator

    Prof. Dr. Dr. Christian Reuter
    www.peasec.de/team/reuter

    Projektmanager

    Dr. Marc-André Kaufhold
    www.peasec.de/team/kaufhold

    Sekretariat