これは、Our Waveの背後にある技術についての「意図的な設計」シリーズの第2回の記事です。 最初の記事はこちら。

サバイバーの信頼を得る技術の構築

ジェンダーに基づく暴力（GBV）や性暴行の分野での人工知能技術に関する議論は大きくなっています。新しいツールが絶えず登場し、より多くのサバイバーに届き、質問により速く答え、拡張可能な支援を構築するという約束がなされています。しかしこの約束は、これらのツールがそれを利用するサバイバーにとって何を意味するのかという新たな疑問も生み出します。

として トラウマに配慮したサバイバー向けコミュニティプラットフォーム これまでに支援した 528,000人、78か国にわたるユーザー, 私たちは創設以来、技術がサバイバーの癒やしとどのように交わるかを慎重に考えてきました。その考えは、人工知能が背景的な考慮事項から分野全体で中心的な課題へと移るにつれてさらに鋭くなっています。

このシリーズの第一回の記事では、私たちのプラットフォームの現状、プライバシー設計、コミュニティ機能、そして サバイバー中心の研究 インフラストラクチャです。本記事は、これらすべての決定を動かすものについてです。私たちが作ってきたものだけでなく、それをどのように 考え方 それを構築することについて。

人工知能に関して私たちが妥協しない2つの点

パートナーや資金提供者と話すときに一貫していることの一つは、人工知能ツールに対する彼らの懸念を認めることです。懸念は妥当であり、ツールは急速に進化しています。この領域ではまだ多くが未解明です。

私たちが支援するサバイバーコミュニティは、しばしばそれを裏切ったシステムや制度から既に被害を受けています。私たちは常にこの歴史を念頭に置いて考えます。それが私たちのあらゆる意思決定を形作り、情報を与えます。

「ユースケースによってリスクのレベルは異なります。例えばAIセラピストを導入するなら、それは非常にリスクが高い。一方で、人間がレビューするデータ分類にAIを使うのはずっとリスクが低いです。なぜなら最終的に提出されるバージョンを人間が承認するループに人がいるからです。我々は常に、特定のユースケースに基づいてリスクを評価しています。」 – Kyle Linton、共同創設者兼エグゼクティブディレクター

そのリスク評価は、私たちが妥協しない2つの事柄に基づいています。第一に、人間の監視です。 Our Waveでは、結果を人間がレビューするループに入っていない敏感な人工知能のユースケースは一つも運用していません。

第二に、データの責任です。 私たちは人工知能ツールに商用ライセンスを使用しており、サバイバーのデータがプライベートに保たれ、モデルの学習に使用されないようにしています。 導入するツールの利用規約は、データの所有権、保持方針、ライセンス条件を含め、導入前に弁護士に確認してもらいます。識別情報は、いかなるコンテンツが人工知能システムに触れる前にも常に編集（マスキング）されます。

私たちは、技術がこれを誤ったときの実際の結果について書いてきました。 Teaアプリのデータ漏洩 は、プラットフォームがデータ保護を真剣に扱わないとどれほど速く信頼が損なわれるかを私たちが取り上げた一例です。そして私たちは見てきました AI生成の性的虐待コンテンツの増加 は、私たちのような組織が何をなぜ構築するのかについて明確に考えることを要求する速度で加速しています。

Our Waveにおける人工知能のガバナンス全体については、私たちの新しい 人工知能ポリシー.

サバイバーのために何を構築するかを決める方法

技術やアドボカシーのパートナーからよく受ける質問の一つは、何を自分たちで構築し、何を既存のものから適応するかをどのように決めるか、ということです。

「私たちはカスタム作業をサバイバーが直接触れ使用するものに特化して行っています。サバイバー向けの最前線のユーザー体験は、私たちが手作りで作り込み、サバイバーのニーズに合わせて調整しています。バックエンドのインフラについては、最先端のサードパーティ技術を使用しています。そうすることで、私たちは機動的で俊敏でいられます。」 – Brendan Michaelsen、共同創設者兼最高技術責任者

実際には、これはサバイバーが私たちのプラットフォーム上で実際に体験する瞬間（ストーリーを共有すること、 グラウンディングのエクササイズ, トラウマに配慮した専門家によるQ&Aの回答を読むといった）に最も注意深いカスタムの配慮がなされます。それらの瞬間を支えるインフラは、データの扱いを評価した上で採用した、よく文書化され信頼できるツールから成り立っています。

技術における「トラウマ対応」が実際に意味すること

トラウマ対応の技術とは、サバイバーの同意、主体性、安全性を中心にあらゆる機能を設計することを意味します。ただコンテンツ警告を付けたり逃げるボタンを追加したりするだけではありません。私たちにとっては、設計と開発のあらゆる段階に現れる一連の具体的な判断のことです。

「サバイバーが自分の体験をまだ自分でコントロールしていると感じられるようにすることが重要です。私たちは完全に手取り足取り導くわけでも、彼らの旅において声を持っていると感じさせずに何が必要かを決めようとするわけでもありません。テック業界で全てを自動化してユーザーを極力手放しにしようとする傾向には本当に抵抗します。私たちのユーザーは主体性を持つ必要があります。サバイバーは自分の声があると感じる必要があります。」 – Brendan

さらに、サバイバーに届くすべてのコンテンツは、配信前に専門知識を持つチームメンバーが必ず読み、検証します。これはコンテンツの正確性だけでなく、私たちがどのような言葉遣いと声で届けるかという点のためでもあります。

「事実情報が重要である一方で、その伝え方も同様に重要です。」 – Laura Sinko、研究・サバイバー支援ディレクター

何か新しいものを構築する前に、デジタルのサバイバー支援をどのように研究するか

非営利団体、危機対応電話、アドボカシー組織は常に直接サービスを最優先にしてきました。それがあるべき姿です。しかしそれは、デジタルインフラの構築がしばしば後回しになり、投資するためのリソースが常に存在してきたわけではないということも意味します。ますます多くのサバイバーが支援を求めてインターネットに向かっており、そこで見つけるものが必ずしも適切ではありません。

「私たちの分野として、現在豊かなデジタルのサバイバー支援インフラが十分に整っているわけではありません。オンライン空間や作られているツールの評価は、何が有効で何がそうでないかを本当に理解するために必要なほど厳密ではありません。単に何かを作るだけでなく、それが実際に機能しているかを確認する機会があります。」 – Laura

私たちにとっては、何か新しいものを構築する前にデジタルなフィールドワークを行うことを意味します。既に存在するものとサバイバーがデジタル環境をどのようにナビゲートしているかを調査します。これには、サバイバーが頼るツール、うまくいっている点、欠けている点、そして実際のギャップがどこにあるかのレビューが含まれます。

「サバイバーはますますプレーンテキストのニーズベース検索を使っています―自分がどう感じているかを記述し、実際に一致するものを見つけたいと望んでいます。しかしこれは、業界がすべて標準的な枠に収まる静的なリストやライブラリから脱却することを要求します。最大のギャップは、サバイバーのペルソナと彼らが実際に求めているものに基づくスマートなキュレーションです。」 – Brendan

デジタルサバイバー支援の未来を形作る3つの取り組み

今後数か月にわたり、このブログシリーズでは以下の各イニシアチブを詳しく見ていきます。こちらが取り組んでいる内容のプレビューです。

AI ベンチマーキングプロジェクト

サバイバーはすでに汎用AIシステムを使って情報を探したり、自分の経験を整理したり、支援を求めたりしています。しかし、現在、例えば NIST のAIリスク管理フレームワーク, サバイバー集団にとってこれらのシステムがどれほど安全であるかを評価するために特別に設計されたものは存在しません。

このプロジェクトは、サバイバー擁護とAIベンチマーキングの専門家、そして我々の研究チームを含む関係者と協力して構築されています。具体的には、プロジェクトはAIシステムを次の3つの領域で評価します：

1. 危機対応をどのように行うか

2. 異なるサバイバーの属性や経験に対して、どれほど一貫して適切に反応するか

3. 自身の経験をラベル付けや名付けをしていない利用者に対しても、安全のためのガードレールを維持しているかどうか

目的は、我々自身のシステムを改善すること、関連分野の擁護者に実行可能な知見を提供すること、そして場合によってはAI提供者に安全基準を引き上げるよう圧力をかけることです。

ハーバー

ハーバーはアワーウェーブの旗艦的な回復プログラムです。これはこれまでのプラットフォームの中で最も大規模な拡張であり、ひとつの中心的な問いに基づいて構築されています：サバイバーにとって、明確で構造化された回復の道筋は実際にどのようなものか？

"2019年のミッションの最初の草案の段階から、私たちはこう考えていました。サバイバーがどのような状態で訪れたとしても、アワーウェーブでの体験の終わりには、より落ち着きを感じられるようにしたい――人生の海が穏やかになったように。コミュニティは常に、それよりもはるかに大きな何かを支えることを意図していました。" – ブレンダン

ハーバーは エビデンスに基づく心理療法の実践 に基づいて構築され、サバイバーが自分の条件とペースで取り組める柔軟な回復の旅を提供するよう設計されています。この種の自己主導型でアクセスしやすい支援は、対面サービスへの障壁に直面しているサバイバーにとって、従来のケアを補完する重要な役割を果たし得ます。

ハーバーの開発を支えるツールの一つは、臨床および学術文献を取りまとめてカリキュラム構築を助ける研究統合ツールです。それによりコンテンツが最新の知見に基づき、平易な言葉で書かれ、さまざまな背景を持つサバイバーにとってアクセスしやすいことを確保します。

ハーバーはまた研究の機会でもあります。我々のコミュニティは学術研究でしばしば過小評価されがちなサバイバーに届いており、彼らのハーバーへの関与は、回復の理解を形作る研究に誰が含まれるかを広げる道を開きます。

サバイバーが既に抱いている疑問に答える

サバイバーは今まさに疑問を抱えて情報を探しています。彼らはオンラインコミュニティやソーシャルプラットフォーム、サバイバーを念頭に置いて設計されていない一般的な空間にいるかもしれません。その多くの質問は回答されずに終わっています。他のものは、配慮や正確さに欠けた回答を受け取っています。

我々はトラウマに配慮した専門知識に基づくコンテンツライブラリの構築に何年も費やしてきました。例えば、我々のプラットフォーム上には900件以上の専門家による審査済みQ&A回答があります。 コミュニティプラットフォーム.

この取り組みの詳細は、進展に合わせてお伝えします。

サバイバーは配慮をもって作られたテクノロジーを受けるに値する

これらのプロジェクトは、サバイバーがオンラインで何を探しているか、そしてそれに応えるものが何もないことを我々が目にしているから存在します。我々は小さくても力強いチームです。無限のリソースは持ち合わせていませんが、研究のおかげで、デジタル領域におけるジェンダーに基づく暴力（GBV）や性的暴行分野が何を必要としているかを明確に把握しています。そして我々は、慎重かつ責任を持って、常にサバイバーを意思決定の中心に置いて構築し続けるというコミットメントを持ち続けます。

"サバイバーにサービスを提供するプラットフォームを責任を持って拡大することを考えるとき、それは技術を加速要因として活用することであり、このコミュニティが受けるべき人間の判断や専門知識の代替にするものではありません。" – カイル

ツールは進化し続けます。私たちの価値観は変わりません。

このシリーズの次の記事では私たちのAIベンチマーキングプロジェクトをより深く掘り下げます。その間、 コミュニティプラットフォームをご覧ください または パートナーシップの機会についてお問い合わせください あなたの組織がサバイバー向けの整合するデジタル基盤に取り組んでいる場合は、ご連絡ください。

これは第2回の記事です、 意図的な設計 シリーズで、アワーウェーブで構築されている技術、哲学、およびツールと、その先で何が来るのかを探ります。 最初の記事はこちらからお読みください。