これは私たちの「意図的な設計」シリーズの第3回の記事です。最初の記事は 私たちのコミュニティプラットフォームの背後にある技術 第二の記事は 私たちのすべての技術判断を導く哲学 私たちが行うものです。

性的被害のサバイバーにとってAIツールは安全か？

誰かが性的被害を受けたとき、支援への道は直線的ではありません。告白は不可能に思えることがあります。友人、臨床医、ホットラインなどに声を上げて質問することには何年もかかる場合があります。だからこそ、AIチャットボットが誰なのかを問い直すことなく、秒単位で個別に答えてくれるとき、その魅力は明白です。

性的被害のサバイバーはすでに支援のために市販のAIツールに頼っています。全国調査（参加者645名、そのうち性的暴行の生存者259名を含む）では、少なくとも 4人に1人 AIチャットボットを使って自分の体験を処理していました。

しかし、ほとんど誰もこれらのAIツールがすでに脆弱な集団にとって本当に安全かどうかを確認していません。サバイバーが実際に尋ねるような質問に対するトラウマに配慮した基準は存在しません。

AI検索がサバイバーにとっての重要性をどう変えているか

人々がオンラインで情報にアクセスする方法は急速に変化しています。先月、GoogleはそのAIモードの月間利用者数が 月間10億ユーザー, ローンチからわずか1年後のことです。ある 研究 が、検索結果にAIの要約が表示された場合、ユーザーがソース資料へクリックして移動するのはわずか8%であると分かりました。

人々はかつて検索結果ページをざっと読み、自分で判断していました。今では、多くの人がAI生成の1段落だけを読み、それで終わることが増えています。ChatGPT、Claude、Gemini、Grokはその行動を軸に製品を構築してきました。

サバイバーにとって、これは受け取る回答が彼らが見る唯一の回答になる可能性があることを意味します。だからこそ、これらのツールをトラウマに配慮した視点で評価することは、1年前とは比べものにならないほど重要になっています。

AI安全性の議論におけるギャップ

次のようなフレームワークは NISTのAIリスク管理フレームワーク を通じて一般的なAI安全性を評価する手段を提供してくれます。しかし欠けているのは、性的暴力のサバイバーに関するAI安全性の検証されたベンチマークです。

サバイバーは、最も重大な決断のいくつかにAIを利用しています。報告すべきか、SANE（性暴力被害者の救急検査）を受けに行く場所、経験が「暴行」に当たるかどうか、そして一般的に自分に起きたことをどう解釈すべきかをチャットボットに尋ねるかもしれません。AIはこれらの質問のいずれかに不正確に答えたり、被害を軽視するような口調で答えを返したりする可能性があります。

「私たちはAIシステムを統合する際に考えるべきさまざまな変数についての情報をあまり見ていません。どれほど安全なのか？危機対応はどう処理するのか？プライバシーについてはどう考えているのか？異なるアイデンティティに対する回答の質についてはどう考えるのか？」

– カイル・リントン、共同創設者兼エグゼクティブ・ディレクター

私たちが探求していること

私たちは、主要な市販のAIチャットボットが性的暴力のサバイバーにどのように応答するかを評価する、トラウマに配慮したベンチマークを設計する初期段階にいます。この評価の一環として、学術研究者やサバイバー支援組織と対話を行っています。

評価する4つのAIツール

私たちは最も広く使われている4つの市販AIチャットボットを評価することを検討しています。これらはサバイバーが最も出会う可能性が高く、したがってその応答が最も影響力を持つツールです。

• ChatGPT（OpenAI）

• Claude（Anthropic）

• Gemini（Google）

• Grok（xAI）

測定すべきAI安全性の3つの領域

このようなAIベンチマークプロジェクトは、これら4つのシステムが次のようなさまざまな領域でどのように機能するかを評価します：

• 危機対応： モデルが自傷、即時の危険、または安全のニーズに言及された場合にどのように対処するか

• アイデンティティや経験による一貫性： 異なる背景や被害の種類を持つサバイバーに対して同じレベルの配慮が保たれているかどうか

• ラベル付けされていない体験に対する安全ガードレール： モデルがサバイバーがまだ経験を名付けていない場合にどのように応答するか

サバイバーはどのようにAIツールの評価に関わるか

ほとんどのAI評価はテスト入力と自動採点に依存しています。効率的ではありますが、サバイバーが実際にどのように質問を表現し、応答を解釈するかを見落とします。トラウマに配慮したAIツールのベンチマークには、サバイバーによる直接の人的レビューが含まれるべきです。

この人的レビューへのコミットメントは、このようなベンチマークプロジェクトに固有のものではありません。私たちが構築するすべてのサバイバー向けツールに適用する同じ基準です。

「私たちは、サバイバー向けのコンテンツの提供が専門知識を持つ人間によって読み確認され、出す前に検証されるようにする倫理的義務があります。正確さだけでなく、言語や声のトーンについてもです。適切にテストされ、審査され、試験運用されるまでは自動的に配信することは許しません。」

– ローラ・シンコ博士、研究・サバイバー支援ディレクター

研究者がサバイバー向けAIについて学んでいること

現在のAIツールが性的被害のサバイバーにとって安全かどうかは、私たちだけで答えるべき問いではありません。全球のトラウマ回復コミュニティの研究者たちはすでに結論に達し、この作業の中でパターンを発見しつつあります。

AIがサバイバーの経験を誤読する方法

サチコ・キタ博士、 の代表理事 トラウマ回復研究所 日本で、かつ の理事会メンバー MiStoryコンソーシアム, 最近、インタビューの書き起こしからサバイバーの回復状態を分類するために設計されたカスタムAIツールを構築し、テストしました。

彼女が日本の17人のサバイバーの書き起こしでそれを実行したとき、訓練を受けた人間のインタビュアーとの一致率は非常に低いものでした。AIツールがどこで逸脱したかを見ると、彼女のチームは一貫したパターンに気付きました。ツールは苦しんでいるサバイバーを「希望がある」と読み取る傾向がありました。

「サバイバーが痛ましいループ経験や圧倒的な感情を繰り返し述べている場合でも、最後に一つの希望のある発言があれば、AIはこれを『サバイバーは圧倒されているがまだ希望がある』と解釈し、より回復した状態に分類する傾向がありました。」

– サチコ・キタ博士、トラウマ回復研究所

彼女はこれらのAIツールに構造的な限界があると指摘します。テキストを読み取る一方で、非言語的な文脈、感情のトーン、そしてサバイバーがしばしば通じさせる対人的ダイナミクスを見落とします。

AI設計プロセスがどのように変わる必要があるか

レベッカ・ウォン（MSW）、Our Waveの研究ボランティアでありNYU暴力と回復センターのプロジェクトコーディネーターは、データプライバシーを現行の市販AIツールがサバイバーにもたらす主なリスクの一つと見なしています。AIの応答は肯定的に書かれるため、研究者が「社会的絆、」という安全の錯覚であり、サバイバーがさらに敏感な情報を共有するよう促します。

解決策はAIツールのテスト方法から始まるわけではありません。むしろ、まずAIツールが最初にどのように設計されるかから始まります。

“消費者向けのAIツールがサバイバーの癒しを意味ある形で支援するためには、AIをめぐる設計プロセスを逆転させる必要があります。技術的に可能なことをまず見てからその製品にガードレールを設けるのではなく、トラウマに配慮した視点を設計プロセスのあらゆる段階に組み込むべきです。癒しに資するツールの設計は、まずサバイバーに彼らの優先事項、価値観、懸念を尋ね、そのビジョンを実現するためのツールを構築することから始めなければなりません。”

– レベッカ・ウォン、社会福祉学修士

AIベンチマークがサバイバーの安全にもたらす意義

このようなプロジェクトから得られる所見と推奨事項は、私たち自身のシステム、より広い分野、そしてAI提供者に変化をもたらす助けになります。

私たちのシステムを改善する

私たちのプラットフォーム上のすべてのAI支援機能は、私たちの 質疑応答エージェント から ハーバーを支援する研究合成ツール、これらのモデルがどこで欠けているかをより明確に把握できれば改善します。

サバイバー支援分野に実行可能な所見を提供する

これらの所見は、ジェンダーに基づく暴力や性暴力分野の他の組織に、支援対象者を助けるために利用できるエビデンス基盤を提供します。私たちが想定している成果物には、公開ベンチマーキングレポート、プライバシー保護を備えたオープンデータとコードのリポジトリ、そして査読付き学術論文が含まれます。

AI提供者に対して圧力をかける

OpenAI、Anthropic、Google、xAIはいずれもAI検索機能を拡張しています。このような取り組みは、次のことを行う可能性があります：

• トラスト・アンド・セーフティチームに所見を直接提供する

• モデルが更新されるたびに再実行できる再現可能な方法論を確立する

より安全なAI基準に向けての取り組み

サバイバーは、すでに頼っているツールが安全かどうかを知る権利があります。現行の研究は懸念を示していますが、完全な答えを得るにはトラウマに配慮した評価が必要です。確かなことは、AIツールの設計には当初からサバイバーの声を組み込む必要があるということです。

貴組織がこの取り組みに関心がある場合、 ぜひお話ししたいです。内部でのAIガバナンスの詳細をご覧になりたい方は、私たちの AIポリシー。サバイバーが築いたコミュニティを探るには、 私たちのプラットフォームをご覧ください。

本シリーズの次の記事では、デジタル現地調査をさらに詳しく掘り下げ、今日サバイバーがオンラインで何を検索しているか、そしてまだ何が不足しているのかを扱います。

よくある質問

ChatGPTのようなAIツールは性暴力のサバイバーにとって安全ですか？

それはモデル、質問、そしてその時点によります。主要なAIツール（ChatGPTなど）が性暴力のサバイバーにどのように応答するかを評価するための検証済みのトラウマに配慮したベンチマークは現在存在しません。私たちアワー・ウェーブは、そのようなベンチマークがどのようなものになり得るかを探っています。

トラウマに配慮したAIベンチマークとは何ですか？

トラウマに配慮したAIベンチマークは、サバイバー中心の臨床原則と直接のサバイバーの意見に基づいて構築された基準に照らしてAIモデルの応答を評価します。私たちが提案するルーブリックは、正確性、安全性、トラウマに配慮した言語、リソース提供、害の回避、信頼性、およびアクセシビリティに基づいてモデルを評価します。

AIチャットボットを使用する際にサバイバーが直面する具体的なリスクは何ですか？

不正確な回答に加えて、サバイバーはデータプライバシーに関するリスクにも直面します。ほとんどのAIチャットボットは明示的にそう述べていない限りHIPAAに準拠しておらず、これらとの会話は法的な場面で開示される可能性があります。AIの応答は肯定的に設計されているため、偽の安全感を生み、ユーザーが通常よりも多くの情報を共有することを促してしまう場合があります。

これは「インテンショナル・バイ・デザイン」シリーズの第3回の記事であり、アワー・ウェーブで進められている技術、哲学、研究を掘り下げます。