レスリー・マティスは、娘が言ったことが間違っていることを知っている。しかし、13歳の娘がそれで逮捕されるとは思っていなかった。

そのティーンエイジャーは、クラスメートとのオンラインチャット中に不快な冗談を言い、その結果、学校の監視ソフトウェアが反応した。

すぐに、そのテネシー州の中学2年生は逮捕された。彼女は尋問され、全裸検査を受け、母親によれば、その夜は監獄の中で過ごしたという。

その日、彼女の友達は彼女の焼けた肌の色をからかい、「メキシコ人」と呼んだ（彼女はメキシコ人ではない）。友達が木曜日の予定を尋ねた時、彼女は「木曜日にすべてのメキシコ人を殺す」と書き込んだ。

マティスはそのコメントが「間違っていて」そして「愚かだ」と認めたが、文脈から見ると脅迫ではないことが分かった。

「これが私たちが住んでいるアメリカなのかって感じた」とマティスは娘の逮捕について語った。「そして、この愚かな技術がランダムな言葉を拾い上げて、文脈を無視していることが問題だと思った」

アメリカの学校では、監視システムが生徒たちが学校のアカウントやデバイスで書いたすべてのものを監視している。全国の何千もの学区が、ギャグルやライトスピード・アラートといったソフトウェアを使用して、生徒たちのオンライン活動を追跡し、自傷行為や他者への害を示す兆候を探している。人工知能の助けを借りて、技術はオンラインの会話を覗き見し、学校の職員や法執行機関に即座に通知することができる。

教育者たちは、この技術が命を救ったと述べているが、批評家は無神経な言葉によって子供たちが犯罪者にされてしまう危険があると警告している。

「それは生徒たちの生活、特に家庭における法執行機関のアクセスと存在を日常的なものにしてしまう」と、民主主義技術センターのディレクターであるエリザベス・レアードは言った。

◆学校は脅威に対する警戒を強化
学校での銃乱射事件に疲れた国では、いくつかの州が学校への脅威に対してより厳しい方針を取っている。その中でテネシー州は2023年、学校への大量暴力の脅威はすぐに法執行機関に報告しなければならないというゼロトレランス法を通過させた。

2023年8月に逮捕された13歳の少女は、フェアビュー中学校の学校のメールアカウントに紐づいたチャット機能で友達とテキストメッセージを交換していた。その学校はギャグルを使用して生徒のアカウントを監視していた。（AP通信はプライバシー保護のため、少女の名前を伏せている。学校区はコメントのリクエストには応じなかった）

少女は警察に連行され、尋問され、全裸検査を受け、翌日まで親と話すことができなかったと、彼女の両親は学校に対して起こした訴訟で述べている。彼女はなぜ親が来なかったのか分からなかった。

「後で彼女は『私を嫌っていると思った』と私に言ったんです。その言葉がずっと心に残ります」と、娘の母親であるマティスは言った。

裁判所は、少女に8週間の自宅軟禁、心理的評価、そして20日間の代替学校への通学を命じた。

ギャグルのCEO、ジェフ・パターソンはインタビューで、学校がギャグルを意図した方法で使用していなかったと述べた。その目的は、早期の警告を見つけ、問題が法執行機関にエスカレートする前に介入することだと言った。

「私はそれが教育的な瞬間として扱われていれば良かったと思っています。法執行機関による瞬間ではなく」とパターソンは語った。

◆生徒のプライベートなチャットも監視されている
友達同士でプライベートにチャットしていると思っている生徒たちは、自分たちが常に監視されていることに気づいていないと、フロリダ州の教育弁護士シャハール・パッシュは言った。

彼女が代表したあるティーンエイジャーの少女は、プライベートなスナップチャットの「ストーリー」で学校銃乱射事件について冗談を言った。スナップチャットの自動検出ソフトウェアがそのコメントを拾い、同社はFBIに警告し、少女は数時間以内に学校の敷地で逮捕された。

アレクサ・マンガニオティス（16）は、監視ソフトウェアがどれほど迅速に動作するかに驚いたと言う。彼女が通うウエストパームビーチのドレイフォス芸術学校は、昨年ライトスピード・アラートという監視プログラムを試験運用していた。アレクサが学校新聞のためにある先生にインタビューした際、2人の生徒が学校のコンピューターでその先生について何か脅迫的な内容を入力し、すぐに削除したことがあった。ライトスピードはそのことを検出し、「その後5分以内に彼らは連れて行かれた」とアレクサは言った。

ティーンエイジャーは、オンラインで書いたことで大人よりも厳しい結果を招くと言う。

「もし大人が、コンピュータで非常に人種差別的で脅迫的な冗談を言っても、それを削除すれば逮捕されることはない」と彼女は言った。

ライトスピード・システムズのスタッフ責任者であるエイミー・ベネットは、ソフトウェアが、リソース不足の学校に対して「懲罰的ではなく予防的」な役割を果たし、いじめ、自傷行為、暴力、虐待の早期警告を特定するのに役立っていると言った。

その技術は、メンタルヘルスの危機に対する対応に法執行機関を関与させることもある。フロリダ州ポーク郡の学校では、10万人以上の生徒を抱える学区の安全プログラムが、4年間で500件近くのギャグルのアラートを受け取ったと、警察官は教育委員会の公開会議で述べた。これにより、ベイカー法に基づき72件の強制入院が行われた。ベイカー法は、自己または他者に危険を及ぼす恐れがある場合、当局が本人の意思に反して精神的評価を要求できる州法である。

「強制的な精神評価を受けた子供たちの中には、それを非常にトラウマ的で有害な経験として記憶している者が多い。精神的なケアを助けるものではない」と、南部貧困法律センターの弁護士サム・ボイドは言った。ポーク郡とウエストパームビーチの学校区はコメントを提供しなかった。

◆分析で誤報率が高いことが判明
ソフトウェアの効果を評価するために必要な情報、例えば誤警報の割合などは、テクノロジー企業によって厳重に管理されており、学校が自らデータを追跡しない限り、一般には公開されていない。

ギャグルは、カンザス州ローランスの学校区に対して、最近の10か月間で1200件以上のインシデントを通知した。しかし、そのうちの約3分の2は学校関係者によって問題なしと見なされ、その中には生徒の宿題から来た200件以上の誤警報も含まれていた、とAP通信は公共記録のリクエストを通じて受け取ったデータを分析した。

ある写真のクラスの生徒たちは、ギャグルがヌードを検出したという理由で校長室に呼ばれた。写真は生徒たちのグーグルドライブから自動的に削除されていたが、画像のバックアップを自分のデバイスに保存していた生徒たちが、それが誤警報だったことを示した。学区の職員は後にソフトウェアの設定を調整して誤警報を減らしたと言った。

2024年に卒業したナターシャ・トルクザバンは、友人の大学のエッセイを編集したことで「メンタルヘルス」という言葉が含まれていたためにフラグが立てられた。

「理想的には、アメリカの十代の若者の精神衛生や自殺率という深刻な問題に対して、AIという新しく輝かしい技術を安易に適用すべきではないと思いますが、現状はそうなっています」とトルクザバン氏は語る。彼女は、ローランス高校の生徒ジャーナリストやアーティストのグループの一員で、ギャグルが憲法違反の監視を行ったとして学校組織を訴えた。

学校当局はギャグルの懸念を真剣に受け止めていると述べているが、この技術が自殺や暴力の差し迫った脅威を何度も検出したことも認めている。

「時には、大きな利益のためにその代償を見極める必要がある」と、教育委員会のメンバーであるアン・コステロは2024年7月の会議で言った。

彼女の娘が苦しみを経験してから2年後、マティスは娘が以前より良くなっていると述べたが、それでも「逮捕した学校警察官に再会するのが怖い」と言った。彼女が述べた明るい点は、娘が通う代替学校の教師たちの思いやりだった。教師たちは毎日、子供たちが気持ちや不満を共有する時間を設け、判断せずに接してくれた。

「子供たちを小さな兵士にしたいようだけど、彼らはそうじゃない」とマティスは言った。「彼らはただの人間なんです」

By SHARON LURYE