Normsy
Reducir la toxicidad en redes sociales sin censurar: IA que propone respuestas constructivas, con personas decidiendo.
Herramienta de IA para reducir violencia y toxicidad en redes sociales, desarrollada junto a Civic Health Project. Evolución de lo que originalmente se llamó Social Media Detoxifier.
1.021
Participantes del estudio
- Anthem Award 2024 — Best Use of AI
- Desarrollado con Civic Health Project
- Con participación del Center for Social Media and Politics de NYU
El problema
Las respuestas habituales a la toxicidad en redes son moderar, eliminar o suspender. Todas actúan después del daño y ninguna cambia el tono de la conversación: sacan contenido, pero no agregan nada.
El planteo del proyecto fue distinto. El problema no es solamente detectar contenido dañino, sino que en esas conversaciones las voces constructivas suelen estar ausentes. Si nadie responde con criterio, lo único que queda es lo tóxico.
Qué construimos
El sistema identifica conversaciones relevantes y usa modelos de lenguaje para proponer counterspeech: respuestas alternativas que aportan contexto o desactivan la agresión, en lugar de eliminar contenido.
La decisión nunca es automática. Las respuestas propuestas pasan por colaboradores humanos, que aportan el contexto y el criterio que el modelo no tiene. Por eso el enfoque combina clasificación automática y generación con LLM, pero mantiene a la persona en el circuito antes de publicar.
De Social Media Detoxifier a Normsy
El proyecto empezó como Social Media Detoxifier, junto a Civic Health Project, y con ese nombre ganó el Anthem Award 2024 en la categoría Best Use of AI.
Después evolucionó a Normsy, ampliando la arquitectura: memoria agéntica, ruteo por tópicos y mecanismos de orquestación. Hoy existe como producto público.