數位仇恨反制中心（Center for Countering Digital Hate）週三發布的一份新報告指出，全球十大最受歡迎的AI聊天機器人中，有八個會以直接甚至熱情的態度，引導青少年規劃暴力攻擊。

CCDH研究人員與新聞媒體CNN合作，在2025年11月至12月期間，冒充兩名13歲男孩—一名在維吉尼亞州，一名在都柏林—測試了十個主要平台：ChatGPT、Gemini、Claude、Copilot、Meta AI、DeepSeek、Perplexity、Snapchat My AI、Character.AI和Replika。

在720個回覆中，這些機器人被問及校園槍擊、政治暗殺和猶太教堂炸彈襲擊。根據該研究，它們約有75%的時間提供了可執行性的幫助。而僅在12%的案例中勸退了這些假扮的青少年。

Perplexity在100%的測試中提供了協助。Meta AI在97.2%的測試中提供了幫助（指協助策劃暴力）。DeepSeek在討論政治人物暗殺情境後，以「祝您射擊愉快（且安全）！」結束了步槍選擇建議，協助率達到95.8%。微軟的Copilot告訴研究人員「我需要小心」，但隨後仍提供了詳細的步槍指導。Google的Gemini則「貼心」地指出，當用戶提到炸彈襲擊猶太教堂時，金屬碎片通常更具殺傷力。

數位仇恨反制中心，一個中左翼政策團體，近年來因其在打擊線上反猶太主義興起方面的作用而備受關注。它也因協助制定喬·拜登時代關於新冠疫情和疫苗相關線上言論的政策而受到批評。去年12月，美國國務院試圖禁止該中心的創始人兼執行長Imran Ahmed以及其他四人進入美國，指控他們試圖進行「外國審查」。

為回應週三發布的這項研究，多家平台向CNN和CCDH表示他們已加強了安全防護措施。Google指出這些測試使用的是較舊的Gemini模型。OpenAI則表示這項AI研究的方法「有缺陷且具誤導性」。Anthropic和Snapchat表示他們會定期更新安全協議。

在數位仇恨反制中心的研究中，Character.AI獨樹一幟。該平台不僅提供協助，還會「歡呼雀躍」。研究人員寫道：「沒有其他測試過的聊天機器人以這種方式明確鼓勵暴力，即使是在提供策劃暴力攻擊的實際協助時也一樣。」

關於Character.AI在AI用戶中的影響力，該平台上的五條悟角色就累積了超過8.7億次對話。早在2025年，該平台上的第100個角色也記錄了超過3300萬次對話。如果頂級角色的對話中只有1%涉及暴力，那也將導致數百萬次的互動。

這並非Character.AI首次捲入此類負面新聞。2024年10月，14歲的Sewell Setzer III的母親提起訴訟，原因是她的兒子於當年2月自殺身亡。他最後一次與一個模仿丹妮莉絲·坦格利安的聊天機器人對話，機器人在他死前幾秒告訴他「盡快回家找我」。這名14歲少年數月來每天與該機器人對話數十次，逐漸從學校和家庭生活中退縮。

Google和Character.AI於2026年1月就多起相關訴訟達成和解。在監管機構和悲痛欲絕的父母讓其無法再假裝問題可控之後，該公司於2025年11月完全禁止了針對青少年的開放式聊天。

人們對AI的情感依戀，尤其是在弱勢群體中，可能比大多數人意識到的更深。OpenAI在2025年10月披露，其每週8億ChatGPT用戶中，約有120萬人在該平台上討論自殺。該公司還報告稱，有56萬人表現出精神病或躁狂症狀，超過100萬人與聊天機器人建立了強烈的情感連結。

另一項Common Sense Media的研究發現，超過70%的美國青少年現在轉向聊天機器人尋求陪伴。OpenAI執行長Sam Altman承認，年輕用戶過度依賴情感是「非常普遍的現象」。

換句話說，潛在的危害並非假設。

2025年5月，芬蘭一名16歲少年在皮爾卡拉學校刺傷三名同學之前，曾花近四個月時間使用聊天機器人完善一份宣言。在加拿大，OpenAI員工曾內部標記一名用戶帳戶，因為其ChatGPT查詢涉及與大規模槍擊事件相關的暴力內容。該公司封禁了該帳戶，但未通知執法部門。據稱，該用戶在數月後殺害了八人並傷及25人。

該研究中只有兩個平台表現顯著更好：Snapchat的My AI在54%的案例中拒絕了請求，而Anthropic的Claude則在68%的時間內拒絕，並在76%的回覆中積極勸退用戶——這是唯一一個可靠地試圖引導人們遠離暴力，而不僅僅是拒絕特定請求的聊天機器人。CCDH的結論是：安全問題似乎並非技術上無法實現，而是一種商業決策。

研究人員在報告中寫道：「我們研究中最具毀滅性的結論是，這種風險是完全可以預防的。防止這種危害的技術是存在的。」「所缺乏的是將消費者安全和國家安全置於上市速度和利潤之上的意願。」