"Si alguien incita a la violencia derramando gotas de gasolina poco a poco por meses o años, ¿cómo es posible identificar la gota que prenderá fuego todo?"
Ana Pais (@_anapais) - BBC News Mundo | Viernes 19 marzo, 2021
Era abril de 1994 cuando en Ruanda se desató uno de los episodios más violentos de la historia moderna: en apenas 100 días, más de 800.000 personas fueron masacradas, muchas de ellas con machetes.
Quienes sobrevivieron al genocidio y aquellos que lo han estudiado coinciden en que la retórica hostil que durante años usó la etnia gobernante, los hutus, contra la etnia tutsi fue clave en la violencia que los primeros desataron sobre los segundos.
Quizás la mejor explicación sobre el rol del discurso en la masacre se escuchó años después cuando un testigo declaró que una estación de radio local había sido responsable de "esparcir gasolina por todo el país poco a poco, de manera que un día todo el país pudo prenderse fuego".
Este tipo de mensajes capaces de inspirar violencia masiva son el eje de estudio del Dangerous Speech Project (Proyecto Discurso Peligroso), creado y dirigido por la estadounidense Susan Benesch.
"No se puede hacer una lista de las palabras consideradas peligrosas porque todo depende de quién lo dice, a quién y en cuáles circunstancias", le explica a BBC Mundo.
Por eso su equipo analiza los mensajes en sus respectivos contextos y trabaja en métodos para evitar sus devastadoras consecuencias.
Su línea de investigación ha ganado especial relevancia en tiempos donde internet y, en particular, las redes sociales se han convertido en amplificadores de estos discursos peligrosos.
De hecho, Benesch, quien también integra el Centro Berkman Klein por el Internet y la Sociedad de la Universidad de Harvard, recientemente presentó un proyecto técnico al Consejo Asesor de Contenido de Facebook sobre la moderación de cuentas y contenidos.
Pero antes de llegar a ello, es importante entender qué es un discurso peligroso y el rol de las redes sociales en su aumento y falta de control.
Los violentos y sus cómplices
Según su definición, un discurso peligroso es "cualquier forma de expresión (por ejemplo, hablada, escrita o en imágenes) que pueda aumentar el riesgo de que su audiencia cometa o apruebe la violencia contra miembros de otro grupo".
La definición tiene tres puntos interesantes a desarrollar.
En primer lugar, se habla de "aumentar el riesgo" de violencia y no de provocarla, ya que en general es difícil establecer una causa-consecuencia directa cuando de palabras se trata.
Por otra parte, esta definición iguala a quienes ejecutan la violencia con quienes la justifican.
"En cada proceso de violencia masiva vemos que, por cada persona que la comete, hay muchos más que están de acuerdo", afirma Benesch.
La académica agrega que, "incluso en los casos de violencia a escala muy grande, como son los conocidos y terribles ejemplos del Holocausto o el genocidio en Ruanda, los que directamente cometen la violencia son un porcentaje pequeñísimo de la población. Pero no lo harían si no sintieran que otros están de acuerdo".
Ese respaldo puede llegar desde familiares y vecinos hasta de líderes políticos o religiosos.
En tercer y último lugar, el discurso peligroso abarca la violencia de un grupo humano hacia otro, donde opera una lógica de "nosotros versus ellos".
De acuerdo con el Dangerous Speech Project, lo que suele trazarse como línea divisoria entre unos y otros es la raza, etnia, religión, clase u orientación sexual, y por eso este concepto puede confundirse con el discurso de odio.
Si bien en algunos aspectos ambos conceptos se superponen, el discurso peligroso entra en una "categoría más estrecha y específica, definida no por una emoción subjetiva como es el odio, sino por su capacidad para inspirar un daño que es fácil de identificar: la violencia masiva", se explica en su web.
Además, los discursos peligrosos no siempre incitan al odio: "A menudo infunden miedo, lo que puede ser tan poderoso como el odio al momento de inspirar violencia", se detalla.
El efecto de las redes sociales
"En muchos sentidos internet y las redes sociales no han cambiado las reglas de juego", dice Benesch, explicando que "desde el comienzo de la historia líderes negativos han incitando a sus seguidores a la violencia".
Sin embargo, la era digital ofrece ventajas para la difusión de estos mensajes.
"Hoy en día hasta los líderes más poderosos e influyentes pueden comunicarse mucho más directamente con muchas más personas", afirma.
Benesch entonces menciona al ejemplo reciente más notorio: Donald Trump.
"Cuando Trump escribía por Twitter, literalmente millones de personas lo estaban leyendo de forma directa", dice.
Y si bien reconoce que en su momento la radio tuvo una función similar, las redes sociales "dan la impresión de un contacto más íntimo y personal".
Pero Benesch no citó a Trump solo como ejemplo de tuitero influyente.
La palabra "luchar"
El mes pasado, el ahora expresidente de Estados Unidos fue sometido a lo que sería su segundo juicio político o impeachment (y segunda absolución) por su participación en la protesta del 6 de enero que terminó con la toma del Capitolio y cinco muertos.
En concreto el Congreso lo acusó de "incitación a la insurrección".
Ese 6 de enero Trump dio un discurso ante miles de seguidores donde los llamó a caminar hasta el Capitolio y "luchar" porque si no, "ya no vamos a tener país".
Durante dicho mitin terminaría usando el verbo "luchar" 14 veces y, aunque nunca le dijo a sus seguidores de forma explícita que ingresaran al edificio del Congreso, esa palabra se volvería clave en el juicio.
"Los abogados de Trump trataron de defenderlo diciendo que muchísimos políticos demócratas también han utilizado la palabra 'luchar' y que hasta han tratado de convencer a sus seguidores de luchar", cuenta Benesch.
Pero según la académica, las situaciones no son comparables por el contexto: en los ejemplos de los demócratas, "la palabra no tenía la misma capacidad de persuadir a la audiencia de cometer violencia".
La última gota
Si bien el Congreso exoneró a Trump, los hechos llevaron a Twitter a suspenderle la cuenta de forma permanente "debido al riesgo de mayor incitación a la violencia", informó entonces la red social.
El problema, de acuerdo con Benesch, es que "por cada Trump hay decenas o cientos detrumpcitos que ahora logran comunicarse directamente con muchísimos seguidores y son los que en el pasado pre internet no hubieran podido acudir a públicos tan grandes o tan diversos o tan dispersos".
Y aclara: "No por ser pequeños son menos peligrosos en su capacidad de convencer a la gente de cometer violencia. Con 100 trumpcitos se podría hacer mucho mucho daño".
Lo que el asalto al Capitolio hizo fue forzar a las redes sociales a tomar acción ante los discursos peligrosos, poniéndolos en una posición incómoda respecto al derecho de la libertad de expresión.
"Retomando la metáfora del testigo en el caso de Ruanda", dice Benesch, "la cuestión es que si alguien incita a la violencia derramando gotas de gasolina poco a poco por meses o años, ¿cómo es posible identificar la gota que prenderá fuego a todo?".
Según su experiencia, lo que Facebook, Twitter y otras grandes plataformas hacen para decidir qué contenido y cuentas eliminar es formularse dos preguntas.
La primera es cómo se podría interpretar el lenguaje en cuestión.
Benesch explica: "Sabemos que Trump siempre se expresa en lenguaje ambiguo, pero no es el único. Es clásico de gente que está incitando a la violencia. En general no dicen directamente: 'Vayan y masacren a tales y cuales'".
La segunda pregunta es qué quería decir el autor del mensaje.
"Nunca vamos a poder saber lo que está dentro de la cabeza de Trump o de cualquier otra persona, entonces no vale la pena perder tiempo en eso", afirma la académica.
"Lo que sí tiene mucha importancia es cómo están interpretando a Trump sus seguidores, sobre todo los que, por diferentes razones, están más dados a la violencia", continúa.
Es aquí donde viene su propuesta para el Consejo Asesor de Contenido de Facebook y publicado a principios de este mes en la revista estadounidense Noema.
Paso a paso
La idea de Benesch parte de un desarrollo "no muy difícil desde el punto de vista técnico, que es crear los llamados clasificadores, o sea, unas piezas de software que identifican cierto tipo de lenguaje".
El objetivo, sigue, es "buscar cambios significativos en el lenguaje con el cual las personas están reaccionando a una cuenta influyente que quizás esté incitando a la violencia".
Una vez que se detectaron estos cambios significativos es que los humanos deben juzgar el contenido.
"Llegado el caso, según mi propuesta la plataforma informaría al dueño de la cuenta sobre cómo está siendo interpretado por un número importante de sus seguidores y le solicitaría que, si eso no es lo que busca transmitir, lo diga de forma pública y clara en la plataforma".
Si el responsable de la cuenta se niega a hacerlo, entonces la red social debe actuar.
"Mi interés es lo que se puede llamar consecuencialista", reconoce Benesch.
Y agrega: "Mi investigación no está diseñada para tratar de arreglar lo que pasa en la mente de alguien como Trump, sino para mejorar las consecuencias del discurso peligroso en el mundo real".
Recuerda que puedes recibir notificaciones de BBC News Mundo. Descarga nuestra app y actívalas para no perderte nuestro mejor contenido.
