IA, ciudadanía y cuerpos de seguridad para prevenir el racismo, la xenofobia y el discurso de odio en internet 

Casa Árabe acogió, el jueves 6 de junio en Madrid, la presentación de resultados del proyecto europeo REAL UP, para el análisis y la creación de mecanismos de alerta y respuesta al racismo y los delitos de odio. 

El proyecto europeo REAL UP Discurso de odio, racismo y xenofobia: mecanismos de alerta y respuesta, análisis del discurso upstander, liderado por el OBERAXE, ha celebrado, el pasado 6 de junio en la sede de Casa Árabe en Madrid su conferencia final en la que se difundieron los principales resultados, éxitos y productos tras 24 meses de trabajo.

El proyecto ha trabajado para mejorar las capacidades de las autoridades estatales para identificar, analizar, supervisar y evaluar el discurso de odio en línea, con el fin de desarrollar y fortalecer las estrategias de contra-narrativa (discurso upstander) contra el discurso de odio motivado por racismo, xenofobia, antisemitismo, islamofobia, y antigitanismo, mediante el debate, con la generación de un mapa de buenas prácticas y herramientas didácticas y efectivas para la contra-narrativa del discurso de odio en la red; así como la descripción de los perfiles de los perpetradores y las víctimas, una guía con orientaciones para poder monitorizar redes sociales de forma segura; la evaluación de la intensidad, gravedad, distribución y potencial impacto del discurso de odio para establecer recomendaciones relacionadas con el discurso upstander.

El evento reunió a profesionales de la formación, la recopilación de datos, la denuncia y el apoyo a las víctimas de delitos y discursos de odio, representantes de las Fuerzas y Cuerpos de Seguridad del Estado, de la Sociedad Civil, del mundo académico y de la sociedad en general. 

El acto comenzó con una bienvenida institucional a cargo de Olivia Orozco de la Torre, coordinadora de Formación y Economía de Casa Árabe; de Rafael Pérez Ruiz, secretario de Estado de Seguridad, del Ministerio del Interior; y de Pilar Cancela Rodríguez, secretaria de Estado de Migraciones.  

Pilar Cancela destacó las aportaciones del proyecto para prevenir de forma eficaz, a través del desarrollo de nuevas herramientas, el racismo, la xenofobia y el discurso de odio en internet, un fenómeno en incremento en Europa que puede actuar como precursor de la violencia y que amenaza los valores democráticos, la estabilidad social y la convivencia pacífica.

Prevención delictiva, inteligencia artificial e implicación de la ciudadanía
En la primera mesa de debate participaron Tomás Fernández Villazala, director de la Oficina Nacional de Lucha contra los delitos de Odio (ONDOD); Lara Quijano, profesora de la Universidad Autónoma de Madrid; y Rosa Elvira Lillo, profesora de la Universidad Carlos III de Madrid.  

En esta mesa se puso de manifiesto la importancia de abordar los delitos de odio y el discurso de odio desde diferentes ángulos: desde el punto de vista jurídico y de prevención delictiva; y desde el ámbito social, con la necesaria implicación de la ciudadanía para combatir la incitación al odio y los discursos discriminatorios.

Por otra parte, se presentó el algoritmo HaterBert, desarrollado en el seno del proyecto. Lara Quijano compartió con los asistentes el trabajo realizado para crear el algoritmo, que permite realizar un etiquetado de los contenidos publicados en X (Twitter), categorizando los mensajes en: no odio, odio, discurso upstander (contranarrativa) y odio extremo. Quijano incidió en la necesidad de entrenar Haterbert y alimentarlo a medida que va evolucionando el lenguaje en las redes. El algoritmo se entiende como una herramienta valiosa que sirve de apoyo a las instituciones y autoridades para identificar y prevenir manifestaciones de odio, pudiendo realizar un seguimiento sobre los usuarios que son considerados potenciales generadores de odio. Asimismo, la profesora Lillo presentó el análisis que ha llevado a cabo para definir el perfil de los “odiadores” y de las víctimas, a partir de una serie de características, lo que permite hacer predicciones sobre el discurso de odio. Se hizo hincapié en la importancia de desarrollar nuevas herramientas de sensibilización y de generar conocimiento desde el ámbito académico que pueda ser aplicable a la vida real a través de la administración pública y la sociedad civil.

El uso de la Inteligencia Artificial para generar contra narrativa
En la segunda mesa intervinieron Jose Camacho Collados, de la Universidad de Cardiff; Lena de Botton, de la Community of Research on Excellence for All (CREA) de la Universidad de Barcelona; Arturo Lance, de la Universidad de Valencia; y Maite Martín Valdivia, de la Universidad de Jaén.  

La profesora Martín expuso el trabajo realizado con herramientas de Inteligencia Artificial, en concreto con sistemas automáticos basados en aprendizaje automático (ML) y Procesamiento de Lenguaje Natural (PLN), para generar estrategias de contranarrativa y discurso upstander eficaces frente al discurso de odio. Según la investigación, las estrategias consideradas más fructíferas comprenden la creación de narrativas veraces y no ofensivas, que promuevan un discurso positivo como alternativa a intentar “censurar” el contenido de odio. Arturo Lance presentó el mapa de herramientas y buenas prácticas que señaló habría que adaptar para que puedan estar disponibles y ser aplicadas en ámbitos como el educativo.