Los usuarios de las redes sociales utilizan cada vez más palabras en clave, emojis y errores tipográficos deliberados para evitar que la IA de moderación de las aplicaciones los detecte cuando publican contenido sensible en las redes sociales y que podría infringir sus reglas.
Siobhan Hanna, que supervisa las soluciones de datos de IA para Telus International, una empresa canadiense que ha brindado servicios de moderación de contenido humano y de IA a casi todas las principales plataformas de redes sociales, incluida TikTok, explica que “camping” es solo una de las palabras que se han adaptado de esta manera. «Había preocupación de que los algoritmos pudieran detectar menciones del aborto», explica Hanna.
Más de la mitad de los estadounidenses dicen que han visto un repunte en el lenguaje algorítmico a medida que se desarrollan eventos políticos, culturales o globales polarizantes, según nuevos datos de Telus de una encuesta a 1.000 personas en EE UU el mes pasado. Y casi un tercio de los estadounidenses reconocen haber “usado emojis o frases alternativas para eludir términos prohibidos” en las redes sociales y sitios de juegos.
Algospeak se usa más comúnmente para eludir las reglas que prohíben el discurso de odio, incluido el acoso y la intimidación, dice Hanna, seguido de políticas sobre violencia y explotación.
Hemos recorrido un largo camino desde «pr0n» y el emoji de berenjena. Estas soluciones alternativas en constante evolución presentan un desafío cada vez mayor para las empresas de tecnología y los contratistas externos que les ayudan a controlar el contenido. Si bien el aprendizaje automático puede detectar material que viola sus normas de forma manifiesta, como el discurso de odio, puede ser mucho más difícil para la IA leer entre líneas en eufemismos o frases que para algunos parecen inocuas, pero que en otro contexto tienen un significado más siniestro.
Casi un tercio de los estadounidenses reconoce haber «usado emojis o frases alternativas para eludir los términos prohibidos» en las redes sociales.
Pizza de queso
El término «pizza de queso» (cheese pizza, en inglés), por ejemplo, ha sido ampliamente utilizado por cuentas que ofrecen intercambiar imágenes explícitas de niños. El emoji de maíz se usa con frecuencia para hablar o tratar de dirigir a las personas a la pornografía (a pesar de una tendencia viral no relacionada que tiene a muchos cantando sobre su amor por el maíz en TikTok). E informes anteriores de Forbes han revelado el doble significado de las oraciones mundanas, como «tocar el techo», que se utilizan para persuadir a las jóvenes para que muestren a sus seguidores sus cuerpos.
“Una de las áreas que más nos preocupa a todos es la explotación infantil y la explotación humana”, explica Hanna a Forbes. “Es una de las áreas de algohabla de más rápida evolución”. Pero Hanna añade que no depende de Telus si ciertos términos algospeak deben eliminarse o degradarse. Son las plataformas las que “establecen las pautas y toman decisiones sobre dónde puede haber un problema”, dice.
“Normalmente, no tomamos decisiones radicales sobre el contenido”, señala a Forbes. “Están realmente impulsados por nuestros clientes que son los propietarios de estas plataformas. Realmente estamos actuando en su nombre”. Por ejemplo, Telus no toma medidas drásticas contra el lenguaje algorítmico en momentos políticos o sociales de alto riesgo, comenta Hanna, citando «camping» como ejemplo. La compañía se negó a decir si alguno de sus clientes ha prohibido ciertos términos algospeak
También surgieron nuevas formas de lenguaje algorítmico en las redes sociales en torno a la guerra entre Ucrania y Rusia -comenta Hanna- con carteles que usaban el término “no vivos”, por ejemplo, en lugar de mencionar "asesinados" y “soldados” en la misma oración, para evadir la detección de IA. Y en las plataformas de juegos -añade- el algospeak se incorpora con frecuencia en nombres de usuario o “gamertags” como declaraciones políticas. Un ejemplo: el “6/4” hace referencia al aniversario de la masacre de la plaza Tiananmen de 1989 en Beijing.
“La comunicación sobre ese evento histórico está bastante controlada en China», dijo Hanna, por lo que si bien eso puede parecer «un poco oscuro, en aquellas comunidades que están muy, muy unidas, en realidad puede ser una declaración políticamente acalorada para hacer en tu nombre de usuario”. Telus también espera ver un aumento en de este tipo de códigos en torno a las elecciones de mitad de período que se avecinan.
"Una de las áreas que más nos preocupa a todos es la explotación infantil y la explotación humana. [Es] una de las áreas de algohabla de más rápida evolución", Siobhan Hanna de Telus Internacional
Otras formas de evitar ser moderado por AI implican escribir mal las palabras deliberadamente o reemplazar letras con símbolos y números, como "$" para “S” y el número cero para la letra “O”. Muchas personas que hablan sobre sexo en TikTok, por ejemplo, se refieren a él como “seggs” o “seggsual”.
En algospeak, los emojis “se usan comúnmente para representar algo para lo que el emoji no se imaginó originalmente”, explica Hanna. En algunos contextos, eso puede ser mezquino, pero inofensivo: el emoji de cangrejo se está disparando en el Reino Unido como una mirada metafórica en blanco, o una respuesta malhumorada a la muerte de la reina Isabel, dijo. Pero en otros casos, es más malicioso: el emoji ninja en algunos contextos ha sido sustituido por términos despectivos y discursos de odio sobre la comunidad negra, afirma Hanna.
Existen pocas leyes que regulan las redes sociales, y la moderación del contenido es uno de los temas de política tecnológica más polémicos para el gobierno de EE UU. Los desacuerdos partidistas han obstaculizado la legislación como la Ley de Responsabilidad Algorítmica, un proyecto de ley destinado a garantizar que la IA (como la que impulsa la moderación de contenido) se gestione de una manera ética y transparente. En ausencia de regulaciones, los gigantes de las redes sociales y sus compañías externas de moderación han estado actuando solos. Pero los expertos han expresado su preocupación por la rendición de cuentas y han pedido un escrutinio de estas relaciones.
Telus proporciona moderación de contenido tanto humana como asistida por IA, y más de la mitad de los participantes de la encuesta enfatizaron que es «muy importante» tener humanos en la mezcla. «Es posible que la IA no detecte las cosas que los humanos pueden detectar», escribió un encuestado. Y otro: “La gente es buena evitando los filtros”.