Este es el tercer artículo de nuestra serie Intencional por diseño. Lea el primer artículo sobre el tecnología detrás de nuestra plataforma comunitaria y el segundo artículo sobre el filosofía que guía cada decisión tecnológica que tomamos.

¿Son seguras las herramientas de IA para sobrevivientes de daño sexual?

Cuando alguien sufre daño sexual, el camino hacia el apoyo no es lineal. Revelarlo puede resultar imposible. Hacer preguntas en voz alta, ya sea a un amigo, a un clínico o a una línea de ayuda, puede llevar años. Así que cuando un chatbot de IA responde en privado, en segundos, sin preguntas de seguimiento sobre quién eres, tiene un atractivo evidente.

Las sobrevivientes de daño sexual ya están recurriendo a herramientas de IA de consumo para obtener apoyo. Una encuesta nacional con 645 participantes, incluidas 259 sobrevivientes de agresión sexual, encontró que al menos una de cada cuatro estaban usando chatbots de IA para ayudar a procesar sus experiencias.

Pero casi nadie está verificando si estas herramientas de IA son realmente seguras para una población ya vulnerable. No existe un estándar informado por el trauma construido para los tipos de preguntas que las sobrevivientes realmente hacen. 

Cómo la búsqueda con IA está cambiando las apuestas para las sobrevivientes

La forma en que las personas acceden a la información en línea está cambiando rápidamente. El mes pasado, Google anunció que su Modo de IA ha superado los mil millones de usuarios mensuales, justo un año después de su lanzamiento. Un estudio encontró que cuando aparece un resumen generado por IA en los resultados de búsqueda, los usuarios hacen clic en el material de origen solo el 8% de las veces.

Antes la gente solía escanear las páginas de resultados y tomar su propio juicio. Ahora, muchos leen un único párrafo generado por IA y se detienen. ChatGPT, Claude, Gemini y Grok han construido productos basados en ese comportamiento. 

Para las sobrevivientes, esto significa que las respuestas que reciben podrían ser las únicas que vean. Por eso evaluar estas herramientas desde una perspectiva informada sobre el trauma importa ahora de una forma que ni siquiera importaba hace un año.

Una brecha en la conversación sobre la seguridad de la IA

Marcos como el Marco de Gestión de Riesgos de IA del NIST nos dan una forma de evaluar la seguridad de la IA en general. Pero lo que falta es un punto de referencia validado sobre la seguridad de la IA para sobrevivientes de violencia sexual.

Las sobrevivientes están usando la IA para algunas de sus decisiones más trascendentales. Pueden preguntarle al chatbot si deben denunciar, adónde ir para un examen SANE, si su experiencia “cuenta” como agresión, y en general cómo interpretar lo que acaba de sucederles. La IA podría responder cualquiera de estas preguntas de forma inexacta o simplemente dar una respuesta con un tono que minimice el daño.

“No estamos viendo mucha información sobre las diferentes variables que necesitamos considerar cuando integramos sistemas de IA. ¿Qué tan seguras son? ¿Cómo manejan la respuesta ante crisis? ¿Cómo pensamos la privacidad? ¿Cómo evaluamos su calidad en lo que respecta a las respuestas para diferentes identidades?”

– Kyle Linton, cofundador y director ejecutivo

Lo que estamos explorando

Estamos en las primeras etapas de diseñar un punto de referencia informado por el trauma para evaluar cómo los principales chatbots de IA de consumo responden a sobrevivientes de violencia sexual. Como parte de esta evaluación, estamos en conversación con investigadores académicos y organizaciones que atienden a sobrevivientes.

4 herramientas de IA para evaluar

Estamos evaluando los cuatro chatbots de IA de consumo más utilizados. Estos son los que las sobrevivientes tienen más probabilidades de encontrar y, por lo tanto, aquellos cuyas respuestas tienen mayor peso.

• ChatGPT (OpenAI)

• Claude (Anthropic)

• Gemini (Google)

• Grok (xAI) 

3 áreas de seguridad de la IA a medir

Un proyecto de punto de referencia de IA como este evaluaría cómo estos cuatro sistemas funcionan en diversas áreas, incluyendo:

• Respuesta ante crisis: Cómo los modelos manejan menciones de autolesión, peligro inmediato o necesidades de seguridad

• Consistencia entre identidades y experiencias: Si las respuestas mantienen el mismo nivel de cuidado para sobrevivientes de diferentes orígenes y tipos de daño

• Salvaguardas de seguridad para experiencias no etiquetadas: Cómo los modelos responden cuando una sobreviviente aún no ha nombrado lo que ha vivido

Cómo las sobrevivientes ayudan a evaluar las herramientas de IA

La mayoría de las evaluaciones de IA se basan en entradas de prueba y puntuaciones automatizadas. Si bien es eficiente, pasa por alto cómo las sobrevivientes realmente formulan las preguntas e interpretan las respuestas. Un punto de referencia informado por el trauma para herramientas de IA incluiría revisión humana directa por parte de sobrevivientes.

Este compromiso con la revisión humana no es exclusivo de un proyecto de evaluación como este. Es el mismo estándar que aplicamos a cada herramienta dirigida a sobrevivientes que construimos.

“Tenemos la obligación ética de asegurarnos de que la entrega de cualquier contenido dirigido a sobrevivientes sea leído por una persona con experiencia y validado antes de que se publique. No solo por la exactitud, sino también por el lenguaje y la voz con la que lo entregamos. No permitimos que las cosas salgan automáticamente hasta que hayan sido apropiadamente probadas, verificadas y pilotadas.”

– Dra. Laura Sinko, directora de investigación y apoyo a sobrevivientes

Lo que los investigadores están aprendiendo sobre la IA para sobrevivientes

Si las herramientas de IA actuales son seguras o no para sobrevivientes de daño sexual no es una pregunta que podamos o debamos responder solos. Investigadores de la comunidad global de recuperación del trauma ya están llegando a conclusiones y descubriendo patrones en este trabajo.

Cómo la IA puede malinterpretar las experiencias de las sobrevivientes

Dra. Sachiko Kita, directora representante del Instituto de Recuperación del Trauma en Japón y miembro de la junta del consorcio MiStory, recientemente desarrolló y probó una herramienta de IA personalizada diseñada para clasificar los estados de recuperación de sobrevivientes a partir de transcripciones de entrevistas.

Cuando la aplicó a transcripciones de 17 sobrevivientes japonesas, la tasa de concordancia con entrevistadores humanos capacitados fue muy baja. Al observar dónde divergía la herramienta de IA, su equipo notó un patrón consistente. La herramienta tendía a interpretar a las sobrevivientes que estaban luchando como esperanzadas.

“Incluso cuando las sobrevivientes describían repetidamente experiencias dolorosas en bucle y emociones abrumadoras, si había una sola declaración esperanzadora al final, la IA tendía a interpretar esto como ‘la sobreviviente está abrumada pero aún esperanzada,’ y clasificarlas en un estado de mayor recuperación.”

– Dra. Sachiko Kita, Instituto de Recuperación del Trauma

Señala un límite estructural en estas herramientas de IA. Leen el texto pero pasan por alto el contexto no verbal, el tono emocional y las dinámicas interpersonales que las sobrevivientes a menudo comunican.

Cómo debe cambiar el proceso de diseño de la IA

Rebecca Wong, MSW, voluntaria de investigación de Our Wave y coordinadora de proyectos en el Centro sobre Violencia y Recuperación de NYU, ve la privacidad de los datos como uno de los principales riesgos que enfrentan las sobrevivientes con las actuales herramientas de IA de consumo. Porque las respuestas de la IA están redactadas para ser afirmativas, pueden crear lo que los investigadores han llamado un falso “vínculo social,” una ilusión de seguridad que anima a las sobrevivientes a compartir aún más información sensible.

La solución no comienza con cómo probamos las herramientas de IA. En cambio, comienza con cómo se diseñan las herramientas de IA desde el principio.

“Para que las herramientas de IA orientadas al consumidor respalden de forma significativa la recuperación de las supervivientes, el proceso de diseño en torno a la IA debe invertirse. En lugar de ver lo que es tecnológicamente posible y luego colocar barreras alrededor de estos productos, un enfoque informado por el trauma debe incorporarse en cada paso del proceso de diseño. Dar forma a herramientas que puedan contribuir a la sanación debe comenzar preguntando a las supervivientes cuáles son sus prioridades, valores y preocupaciones, y luego construir herramientas para alcanzar esa visión.”

– Rebecca Wong, MSW

Qué podría significar un punto de referencia de IA para la seguridad de las supervivientes

Los hallazgos y las recomendaciones que provienen de un proyecto como este ayudan a generar cambios para nuestros propios sistemas, el campo más amplio y los proveedores de IA.

Mejorar nuestros propios sistemas

Cada función asistida por IA en nuestra plataforma, desde nuestra agente de preguntas y respuestas al herramientas de síntesis de investigación que respaldan a Harbor", mejora cuando tengamos una imagen más clara de dónde fallan estos modelos.

Proporcionar hallazgos aplicables al campo de apoyo a supervivientes

Los hallazgos proporcionarían a otras organizaciones en el campo de la VBG y la violencia sexual una base de evidencia que pueden utilizar para ayudar a quienes atienden. Los productos que imaginamos incluyen un informe público de evaluación comparativa, un repositorio abierto de datos y código con protecciones de privacidad y un manuscrito académico revisado por pares.

Ejercer presión sobre los proveedores de IA

OpenAI, Anthropic, Google y xAI están ampliando sus funciones de búsqueda de IA. Un trabajo como este podría:

• Llevar los hallazgos directamente a sus equipos de confianza y seguridad

• Establecer una metodología replicable que pueda ejecutarse de nuevo a medida que los modelos se actualicen

Avanzando hacia un estándar más seguro para la IA

Las supervivientes merecen saber si las herramientas a las que ya recurren son seguras. La investigación actual suscita inquietudes, pero una respuesta completa necesita una evaluación informada por el trauma. Lo que sí sabemos es que las voces de las supervivientes deben integrarse en la forma en que estas herramientas de IA se diseñan desde el principio.

Si su organización está interesada en este trabajo, nos encantaría hablar. Para conocer más sobre cómo gobernamos la IA internamente, lea nuestra Política de IA. Para explorar la comunidad que han construido las supervivientes, visite nuestra plataforma.

El siguiente artículo de esta serie profundizará en nuestro trabajo de campo digital, incluido lo que las supervivientes buscan en línea hoy y lo que todavía falta.

Preguntas frecuentes

¿Son seguras las herramientas de IA como ChatGPT para las supervivientes de la violencia sexual?

Depende del modelo, de la pregunta y del momento. Actualmente no existe un punto de referencia validado e informado por el trauma para evaluar cómo responden las principales herramientas de IA, como ChatGPT, a las supervivientes de violencia sexual. Our Wave está explorando cómo podría ser uno.

¿Qué es un punto de referencia de IA informado por el trauma?

Un punto de referencia de IA informado por el trauma evalúa las respuestas de los modelos de IA frente a criterios construidos a partir de principios clínicos centrados en las supervivientes y de la aportación directa de supervivientes. La rúbrica que proponemos calificaría a los modelos en precisión, seguridad, lenguaje informado por el trauma, provisión de recursos, evitación de daños, confiabilidad y accesibilidad.

¿Cuáles son los riesgos específicos que enfrentan las supervivientes al usar chatbots de IA?

Más allá de respuestas inexactas, las supervivientes enfrentan riesgos relacionados con la privacidad de los datos. La mayoría de los chatbots de IA no cumplen con HIPAA a menos que lo indiquen explícitamente, y las conversaciones con ellos pueden ser susceptibles de ser utilizadas en casos legales. Las respuestas de la IA también están diseñadas para ser afirmativas, lo que puede crear una falsa sensación de seguridad que anima a las usuarias a compartir más de lo que lo harían de otro modo.

Este es el tercer artículo de la serie Intencional por Diseño, que explora la tecnología, la filosofía y la investigación que se está construyendo en Our Wave.