Cuando el algoritmo vende colchones y omite violencias

Adolescencia es la serie de Netflix que el año pasado ganó varios premios y fue muy reproducida en todo el mundo. En sus cuatro capítulos se cuenta la historia de un chavito británico de 13 años detenido por asesinar a puñaladas a una compañera de escuela.

Cuando el algoritmo vende colchones y omite violencias

Como millones de personas, terminé la serie con cara de “qué fuerte”, pero también con la sensación de que algo se me había escapado. Me quedé con la impresión de que el mensaje era confuso.

Tal vez fueron mis 53 años. Quizá mi algoritmo ya está demasiado domesticado entre telecomunicaciones, economía, inteligencia artificial y memes de señor. O simplemente pensé que esas cosas ocurrían en otras sociedades, con otros adolescentes y en rincones muy oscuros de internet.

Ahí conocí el término incel. Lo entendí, lo archivé mentalmente y seguí con mi vida. Error. Hoy, tras el ataque a una escuela en Torreón y a la reacción de la Presidencia de la República que anunció un grupo de trabajo para elaborar un decreto que obligaría a las plataformas a impedir y retirar contenidos relacionados con la violencia; finalmente me di cuenta del tamaño del problema.

Incel viene de involuntary celibate, célibe involuntario. Curiosamente, el término nació en los años noventa de la mano de una mujer canadiense conocida como Alana, quien creó un espacio para hablar sobre soledad y dificultades para establecer relaciones. Pero después vino Internet a hacer lo que sabe muy bien forjar. Tomó algo relativamente inocente para convertirlo en basura tóxica.

Con los años surgieron comunidades integradas principalmente por hombres jóvenes que transformaron aquella etiqueta en una identidad marcada, en algunos espacios, por resentimiento, misoginia y la idea de que las mujeres son responsables de su frustración afectiva o sexual. Y entonces Adolescencia empezó a tener más sentido.

La serie va mostrando cómo esa ideología, junto con la llamada machósfera, forma parte del entorno digital del protagonista. El problema es que aquello que parecía una historia británica bastante perturbadora empieza a sentirse peligrosamente cercano.

Tristemente eso se reproduce rápido en México, aunque paradójicamente ni siquiera nos atrevemos a hablar del tema de manera directa o abierta. El asunto dejó de parecerme una rareza importada de Reddit porque los incels ya están entre nosotros.

Lo curioso es que hablamos muchísimo de los peligros de internet cuando se trata de registrar números telefónicos, pedir identificaciones o construir bases de datos. Pero hablamos bastante menos cuando adolescentes publican armas, amenazas, fantasías violentas o mensajes que podrían anticipar una agresión. Ahí parece que todos nos hacemos guajes.

Tampoco veo a esos todólogos nacionales especialistas en nada hablando del tema. Esos que desayunan geopolítica, comen inteligencia artificial y cenan seguridad pública, no están explicando a padres y maestros qué demonios es la manosfera, cómo funcionan estas comunidades o qué señales de alerta deberían observar.

Mientras tanto, los chavitos sí saben perfectamente dónde encontrarlas y las redes sociales como Facebook, TikTok o Reddit tienen que enfrentarse a la pregunta que nadie les quiere hacer: ¿De verdad no pueden detectar estas señales?

¿Por qué cuando platico con alguien que necesito comprar un colchón, misteriosamente internet descubre que soy candidato ideal para dormir sobre ese colchón de espuma viscoelástica, resortes embolsados y tecnología desarrollada aparentemente por la NASA? Qué eficiencia.

Las plataformas pueden inferir que estoy buscando unos tenis, automóvil, vacaciones, tarjeta bancaria o un colchón. Sus algoritmos encuentran patrones de comportamiento, intereses y consumo con una precisión que emocionan a cualquier vendedor.

Pero cuando alguien publica reiteradamente armas, amenazas, mensajes suicidas o referencias a comunidades violentas, resulta que el algoritmo y su Inteligencia Artificial no funciona. No les compro esa explicación.

En paralelo, también resultaría importante saber qué deberían hacer las plataformas cuando detecten esas señales, quién establece los límites y bajo qué controles. Y ahí empieza otro debate.

La Presidencia prepara un decreto que buscaría aumentar las obligaciones de las plataformas para impedir o retirar contenidos relacionados con violencia. Si avanza, podría modificar las responsabilidades de moderación de las redes sociales en México. ¡Por fín!

Suena razonable hasta que aparecen los “libertarios” con sus preguntas que siempre hacen cuando el gobierno quiere regular contenidos: ¿quién decide qué se baja?

Tampoco creo que se piense construir un Ministerio de la Verdad donde un funcionario determine qué comentario resulta peligroso y entonces invoque mágicamente la palabra “violencia”.

Por eso importan los detalles. Habrá que conocer qué conductas serán consideradas reportables, qué indicadores deberán identificar las plataformas, cuáles serán los plazos de retiro y qué mecanismos existirán para impugnar decisiones.

Pero falta otra pieza todavía más importante. ¿De qué sirve borrar una publicación si nadie hace nada con la persona que anunció una posible agresión?

Si un adolescente publica fotografías con armas, amenazas contra compañeros, referencias a masacres escolares y mensajes que sugieren una acción inminente, eliminar el post puede ser apenas esconder la basura debajo de la alfombra digital.

La regulación tendría que definir también cuándo una señal debe activar protocolos institucionales y bajo qué garantías. Escuela, familia, autoridades y plataformas necesitan saber quién hace qué cuando aparece una amenaza creíble.

Y aquí conviene abandonar por un momento la cómoda discusión binaria y bizantina entre censura y libertad de expresión. Nadie debería querer una internet vigilada permanentemente por el gobierno, pero tampoco una plaza digital donde alguien anuncie una masacre y todos respondamos con un corazoncito, un “me divierte”, “no lo pelen” o simplemente haciendo scroll.

Adolescencia intentó advertirnos que detrás de algunas pantallas existe una generación aprendiendo códigos, discursos y resentimientos que muchos adultos ni siquiera sabemos que existen. Yo tardé en entenderlo. Ojalá no necesitemos otra tragedia para empezar a hablar del tema.