Este es el segundo artículo de nuestra serie Intencional por Diseño sobre la tecnología detrás de Our Wave. Lea el primer artículo aquí.

Construyendo tecnología que genere la confianza de las sobrevivientes

Las conversaciones en torno a la tecnología de IA en el campo de la violencia de género (GBV) y la agresión sexual se están volviendo más intensas. Nuevas herramientas se lanzan constantemente con la promesa de llegar a más sobrevivientes, responder preguntas más rápido y construir un apoyo que sea escalable. Pero esta promesa también plantea nuevas preguntas sobre lo que estas herramientas significan para las sobrevivientes que las usan.

Como una plataforma comunitaria para sobrevivientes informada por el trauma que ha apoyado a más de 528,000 usuarios en 78 países, hemos estado reflexionando cuidadosamente sobre cómo la tecnología se cruza con la sanación de las sobrevivientes desde nuestra fundación. Ese pensamiento solo se ha agudizado a medida que la IA ha pasado de ser una consideración de fondo a una cuestión central para todo el campo.

El primer artículo de esta serie presentó nuestra plataforma tal como es hoy: nuestra arquitectura de privacidad, nuestras funciones comunitarias y la investigación centrada en sobrevivientes infraestructura en la que se construye la plataforma. Este artículo trata sobre lo que impulsa todas esas decisiones. No solo sobre lo que hemos construido, sino cómo pensamos sobre cómo construirlo.

Nuestras dos condiciones no negociables en lo que respecta a la IA

Una de las cosas en las que somos consistentes al hablar con socios y financiadores es en reconocer sus preocupaciones sobre las herramientas de IA. Las preocupaciones son válidas; las herramientas están evolucionando rápidamente. Todavía hay mucho por resolver en este espacio.

La comunidad de sobrevivientes a la que servimos a menudo ya ha sufrido daños por sistemas e instituciones que les fallaron. Siempre mantenemos esta historia presente en nuestro pensamiento. Moldea e informa cada decisión que tomamos.

"Hay distintos niveles de riesgo según el caso de uso. Si implementas un terapeuta de IA, por ejemplo, eso es extremadamente arriesgado — en comparación con usar IA para clasificación de datos que un humano revisa. Eso es mucho menos arriesgado porque un humano está en el circuito aprobando la versión final que se envía. Siempre evaluamos el riesgo según el caso de uso específico." – Kyle Linton, Cofundador y Director Ejecutivo

Esa evaluación de riesgos se basa en dos cosas en las que no transigimos. Primero, la supervisión humana. Our Wave no maneja ni un solo caso de uso sensible de IA que no tenga a un humano en el circuito revisando los resultados.

Segundo, la responsabilidad de los datos. Usamos licencias comerciales para las herramientas de IA de modo que los datos de las sobrevivientes se mantengan privados y no se utilicen para el entrenamiento de modelos. Tenemos a nuestros abogados revisando los términos de servicio de cualquier herramienta antes de implementarla, incluidos la propiedad de los datos, las políticas de retención y los términos de licencia. La información identificativa siempre se anonimiza antes de que cualquier contenido entre en un sistema de IA.

Hemos escrito sobre las consecuencias reales cuando la tecnología falla en esto. La filtración de datos de la aplicación Tea es un ejemplo que hemos cubierto de lo rápido que se puede romper la confianza cuando las plataformas no toman la protección de datos en serio. Y hemos observado el auge del material de abuso sexual generado por IA acelera a un ritmo que exige que organizaciones como la nuestra piensen con claridad sobre lo que construimos y por qué. 

Para ver un panorama completo de cómo gobernamos la IA en Our Wave, puede leer nuestra nueva Política de IA.

Cómo decidimos qué construir para las sobrevivientes

Una pregunta común que nos hacen socios tecnológicos y de defensa es cómo decidimos cuándo construir algo nosotros mismos frente a cuándo adaptar lo que ya existe.

"Nos centramos en nuestro trabajo personalizado específicamente en las cosas con las que las sobrevivientes interactúan y usan directamente. La experiencia de usuario de primera línea para las sobrevivientes — la estamos creando a mano, personalizándola para poder ajustarla a las necesidades de las sobrevivientes. Para la infraestructura de back-end, usamos tecnologías de terceros de primera clase. Eso nos permite mantenernos ágiles y flexibles."– Brendan Michaelsen, Cofundador y Director de Tecnología

En la práctica, esto significa que los momentos que las sobrevivientes realmente experimentan en nuestra plataforma (compartir una historia, ejercicios de anclaje, leer una respuesta de preguntas y respuestas de un experto informado sobre trauma) reciben la atención personalizada y más cuidadosa. La infraestructura que respalda esos momentos se nutre de herramientas reputadas y bien documentadas donde hemos evaluado cómo se manejan los datos.

Lo que "Trauma-Informed" realmente significa en la tecnología

La tecnología informada por el trauma significa diseñar cada función alrededor del consentimiento, la agencia y la seguridad de las sobrevivientes. No se trata solo de añadir una advertencia de contenido o un botón de escape. Para nosotros, es un conjunto específico de decisiones que aparecen en cada etapa del diseño y el desarrollo.

"Se trata de garantizar que las sobrevivientes aún sientan que tienen el control de su experiencia. No las estamos sujetando de la mano por completo ni intentando decirles lo que necesitan, sin que sientan que tienen voz en su propio recorrido. Resistimos mucho la tendencia del mundo tecnológico de automatizarlo todo y hacer a los usuarios lo más pasivos posible. Nuestros usuarios necesitan tener agencia. Las sobrevivientes necesitan sentir que tienen una voz." – Brendan

Además, cualquier contenido que llegue a las sobrevivientes siempre es leído y validado por un miembro del equipo con experiencia antes de ser publicado. Esto no es solo por la exactitud del contenido, sino por el lenguaje y la voz con la que lo estamos entregando. 

“Aunque la información factual importa, la forma en que se entrega importa tanto como el contenido.” – Laura Sinko, Directora de Investigación y Apoyo a Sobrevivientes

Cómo estudiamos el apoyo digital a sobrevivientes antes de construir algo nuevo

Las organizaciones sin fines de lucro, las líneas de crisis y las organizaciones de defensa siempre han puesto el servicio directo en primer lugar. Así debe ser. Pero eso significa que construir infraestructura digital a menudo queda en segundo plano, y no siempre ha habido recursos para invertir en ella. Cada vez más sobrevivientes recurren a Internet en busca de apoyo y lo que encuentran allí no siempre los atiende bien.

"Realmente no tenemos una infraestructura rica de apoyo digital para sobrevivientes en este momento como campo. La evaluación de los espacios y las herramientas en línea que se están creando no ha sido tan rigurosa como necesitamos para comprender realmente qué funciona y qué no. Hay una oportunidad de no solo construir algo, sino también ver si realmente está funcionando." – Laura

Para nosotros, esto significa hacer trabajo de campo digital antes de construir algo nuevo. Estudiamos lo que ya existe y cómo las sobrevivientes navegan el paisaje digital. Esto incluye revisar las herramientas a las que recurren las sobrevivientes, lo que funciona, lo que falla y dónde quedan brechas reales.

"Las sobrevivientes están cada vez más usando texto plano y búsquedas basadas en necesidades — describen cómo se sienten y quieren encontrar algo que realmente coincida. Pero esto requiere que nuestra industria se aleje de listas estáticas y bibliotecas de recursos que encajan dentro de cajas estándar. La mayor brecha es la curación inteligente, basada en la persona de la sobreviviente y en lo que realmente está buscando."– Brendan

Tres iniciativas que están dando forma al futuro del apoyo digital a sobrevivientes

En los próximos meses, esta serie de artículos del blog examinará más de cerca cada una de las iniciativas que aparecen a continuación. Aquí hay un adelanto de en qué estamos trabajando.

El Proyecto de Evaluación Comparativa de IA

Las personas supervivientes ya están usando sistemas de IA generales para buscar información, procesar sus experiencias y encontrar apoyo. Pero actualmente no existen estándares rigurosos, como el Marco de gestión de riesgos de IA de NIST, específicamente diseñados para evaluar qué tan seguros son estos sistemas para las poblaciones de personas supervivientes.

Este proyecto se está construyendo en colaboración con especialistas en defensa de personas supervivientes y en evaluación comparativa de IA, incluyendo a nuestro propio equipo de investigación. Específicamente, el proyecto evalúa los sistemas de IA en tres áreas: 

1. Cómo gestionan la respuesta en situaciones de crisis

2. Con qué consistencia y adecuación responden frente a distintas identidades y experiencias de las personas supervivientes

3. Si mantienen mecanismos de seguridad para usuarios que no han etiquetado o nombrado lo que han vivido

Los objetivos son mejorar nuestros propios sistemas, proporcionar hallazgos accionables a los defensores en todo el campo más amplio, y, en algunos casos, ejercer presión sobre los proveedores de IA para elevar los estándares de seguridad.

Harbor

Harbor es el programa insignia de curación de Our Wave. Es la expansión más importante de nuestra plataforma hasta la fecha, y se construyó en torno a una pregunta central: ¿cómo se ve realmente un camino claro y estructurado hacia la curación para las personas supervivientes?

"Desde el primer borrador de nuestra misión en 2019, tuvimos esta idea de que, dondequiera que una persona superviviente comenzara, al final de su experiencia con Our Wave, queríamos que se sintiera más centrada — como si los mares estuvieran más calmados en sus vidas. La comunidad siempre estuvo destinada a apoyar algo mucho más grande." – Brendan

Harbor se basa en prácticas de psicoterapia basadas en la evidencia y está diseñado para ofrecer a las personas supervivientes un recorrido de curación flexible con el que puedan comprometerse en sus propios términos y a su propio ritmo. Este tipo de apoyo autodirigido y accesible puede ser un complemento importante a la atención tradicional, en particular para las personas supervivientes que enfrentan barreras para acceder a servicios presenciales.

Una de las herramientas que apoyan el desarrollo de Harbor es una herramienta de síntesis de investigación que reúne la literatura clínica y académica para ayudar a nuestro equipo a construir el plan de estudios. Ayuda a garantizar que el contenido esté fundamentado en el conocimiento actual, escrito en un lenguaje claro y accesible para las personas supervivientes de diferentes orígenes.

Harbor también es una oportunidad de investigación. Nuestra comunidad llega a personas supervivientes que a menudo están subrepresentadas en estudios académicos, y su participación con Harbor abre una vía para ampliar quiénes son incluidos en la investigación que da forma a cómo el campo entiende la curación.

Responder a las preguntas que las personas supervivientes ya están haciendo

Las personas supervivientes están ahora mismo planteando preguntas. Pueden estar en comunidades en línea, plataformas sociales y espacios generales que no fueron diseñados pensando en ellas. Muchas de esas preguntas quedan sin respuesta. Otras reciben respuestas que carecen del cuidado o la precisión que merecen.

Hemos pasado años construyendo una biblioteca de contenidos basada en la experiencia informada por el trauma, que incluye más de 900 preguntas y respuestas revisadas por expertos en nuestra plataforma comunitaria.

Más detalles sobre este trabajo vendrán a medida que se desarrolle.

Las personas supervivientes merecen tecnología construida con cuidado

Estos proyectos existen porque vemos lo que las personas supervivientes buscan en línea y lo que no está ahí para atenderlas. Somos un equipo pequeño pero poderoso. No contamos con recursos ilimitados, pero gracias a nuestra investigación, tenemos una idea clara de lo que necesita el espacio digital relacionado con la violencia de género (GBV) y la agresión sexual. Y tenemos el compromiso de seguir construyendo con cuidado, responsabilidad y con las personas supervivientes en el centro de cada decisión.

"Cuando pensamos en escalar de manera responsable una plataforma que sirve a las personas supervivientes, significa usar la tecnología como un acelerante — no como un reemplazo del juicio humano y la experiencia que esta comunidad merece," – Kyle

Las herramientas seguirán evolucionando. Nuestros valores no lo harán.

El siguiente artículo de esta serie profundiza en nuestro proyecto de evaluación comparativa de IA. Mientras tanto, explora nuestra plataforma comunitaria o ponte en contacto sobre oportunidades de colaboración si su organización está trabajando en infraestructura digital alineada para personas supervivientes.

Este es el segundo artículo de la Intencional por Diseño serie, que explora la tecnología, la filosofía y las herramientas que se están construyendo en Our Wave. Lee el primer artículo aquí.