與 AI 聊天機(jī)器人相關(guān)的死亡事件表明這些人工聲音的危險(xiǎn)性

上周，悲慘的消息傳出美國少年 Sewell Seltzer III 在對人工智能（AI） 聊天 Character.AI 機(jī)器人。

隨著他與同伴 AI 的關(guān)系越來越密切，這個(gè) 14 歲的少年開始遠(yuǎn)離家人和朋友，并在學(xué)校惹上麻煩。

在訴訟中由男孩的母親 Character.AI 提起的聊天記錄顯示，休厄爾與聊天機(jī)器人丹妮（Dany）之間的親密且通常高度性化的對話，丹妮以《權(quán)力的游戲》中的角色丹娜莉絲·坦格利安（Danaerys Targaryen）為藍(lán)本。

他們討論了犯罪和自殺，聊天機(jī)器人使用了諸如“這不是不去經(jīng)歷它的理由”之類的短語。

這不是已知的第一個(gè)已知的弱勢群體在與聊天機(jī)器人角色互動(dòng)后自殺身亡的例子。

去年，一名比利時(shí)男子在類似劇集涉及 Character.AI 的主要競爭對手 Chai AI。當(dāng)這種情況發(fā)生時(shí)，該公司告訴媒體，他們正在“盡最大努力將傷害降至最低”。

在給 CNN 的一份聲明中，Character.AI 表示他們“非常重視用戶的安全”，并“在過去六個(gè)月中引入了許多新的安全措施”。

在公司網(wǎng)站上的另一份聲明中，他們概述其他安全措施適用于 18 歲以下的用戶。（在他們當(dāng)前的服務(wù)條款中，歐盟公民的年齡限制為 16 歲世界其他地方有 13 個(gè)。

然而，這些悲劇鮮明地說明了任何人都可以與之交談和互動(dòng)的快速發(fā)展和廣泛可用的 AI 系統(tǒng)的危險(xiǎn)。我們迫切需要監(jiān)管來保護(hù)人們免受具有潛在危險(xiǎn)、設(shè)計(jì)不負(fù)責(zé)任的 AI 系統(tǒng)的侵害。

我們?nèi)绾伪O(jiān)管 AI？

澳大利亞政府在制定強(qiáng)制性護(hù)欄的過程用于高風(fēng)險(xiǎn) AI 系統(tǒng)。“護(hù)欄”是 AI 治理領(lǐng)域的一個(gè)流行術(shù)語，是指 AI 系統(tǒng)的設(shè)計(jì)、開發(fā)和部署過程。

這些措施包括數(shù)據(jù)治理、風(fēng)險(xiǎn)管理、測試、文檔和人工監(jiān)督等措施。

澳大利亞政府必須做出的決定之一是如何定義哪些系統(tǒng)是“高風(fēng)險(xiǎn)”的，因此被護(hù)欄捕獲。

政府還在考慮護(hù)欄是否應(yīng)適用于所有“通用車型”。

通用模型是 Dany 等 AI 聊天機(jī)器人的引擎：AI 算法可以根據(jù)用戶提示生成文本、圖像、視頻和音樂，并且可以適應(yīng)各種環(huán)境。

在歐盟的開創(chuàng)性AI 法案，則使用列表，監(jiān)管機(jī)構(gòu)有權(quán)定期更新。

另一種選擇是基于原則的方法，其中高風(fēng)險(xiǎn)指定根據(jù)具體情況進(jìn)行。這將取決于多種因素，例如對權(quán)利的不利影響風(fēng)險(xiǎn)、對身體或心理健康的風(fēng)險(xiǎn)、法律影響的風(fēng)險(xiǎn)以及這些風(fēng)險(xiǎn)的嚴(yán)重性和程度。

聊天機(jī)器人應(yīng)該是“高風(fēng)險(xiǎn)”AI

在歐洲，Character.AI 和 Chai 等伴生 AI 系統(tǒng)未被指定為高風(fēng)險(xiǎn)。從本質(zhì)上講，他們的提供商只需要讓用戶知道他們正在與 AI 系統(tǒng)交互。

不過，很明顯，伴侶聊天機(jī)器人并不是低風(fēng)險(xiǎn)的。這些應(yīng)用程序的許多用戶是兒童和青少年.一些系統(tǒng)甚至已經(jīng)面向孤獨(dú)或患有精神疾病的人.

聊天機(jī)器人能夠生成不可預(yù)測、不適當(dāng)和操縱性的內(nèi)容。他們太容易模仿有毒的關(guān)系了。透明度（將輸出標(biāo)記為 AI 生成）不足以管理這些風(fēng)險(xiǎn)。

即使我們知道我們正在與聊天機(jī)器人交談，人類在心理上也已經(jīng)做好了準(zhǔn)備歸因人類特征到我們與之交談的東西。

媒體報(bào)道的自殺死亡可能只是冰山一角。我們無法知道有多少弱勢群體與聊天機(jī)器人處于成癮、有毒甚至危險(xiǎn)的關(guān)系中。

護(hù)欄和“關(guān)閉開關(guān)”

當(dāng)澳大利亞最終為高風(fēng)險(xiǎn) AI 系統(tǒng)引入強(qiáng)制性護(hù)欄時(shí)（最早可能在明年實(shí)施），這些護(hù)欄應(yīng)適用于伴侶聊天機(jī)器人和構(gòu)建聊天機(jī)器人的通用模型。

護(hù)欄（風(fēng)險(xiǎn)管理、測試、監(jiān)控）如果直達(dá) AI 危害的人類核心，將最為有效。聊天機(jī)器人帶來的風(fēng)險(xiǎn)不僅僅是技術(shù)解決方案的技術(shù)風(fēng)險(xiǎn)。

除了聊天機(jī)器人可能使用的詞語外，產(chǎn)品的上下文也很重要。

就 Character.AI 而言，營銷承諾“賦予”人們權(quán)力，該界面模仿與人的普通短信交流，該平臺允許用戶從一系列預(yù)制字符中進(jìn)行選擇，其中包括一些有問題的角色。

真正有效的 AI 護(hù)欄應(yīng)該要求的不僅僅是負(fù)責(zé)任的流程，例如風(fēng)險(xiǎn)管理和測試。他們還必須要求 AI 系統(tǒng)與其人類用戶之間的界面、交互和關(guān)系進(jìn)行深思熟慮、人性化的設(shè)計(jì)。

即便如此，護(hù)欄可能還不夠。就像伴侶聊天機(jī)器人一樣，起初看起來風(fēng)險(xiǎn)較低的系統(tǒng)可能會(huì)造成意想不到的傷害。

如果 AI 系統(tǒng)造成傷害或構(gòu)成不可接受的風(fēng)險(xiǎn)，監(jiān)管機(jī)構(gòu)應(yīng)該有權(quán)將其從市場上移除。換句話說，我們不僅需要高風(fēng)險(xiǎn) AI 的護(hù)欄。我們還需要一個(gè)關(guān)閉開關(guān)。

如果這個(gè)故事引起了擔(dān)憂，或者你需要和某人談?wù)劊?/em>請查閱此列表以查找您所在國家/地區(qū)的 24/7 危機(jī)熱線，并尋求幫助。

亨利·弗雷澤，法律、問責(zé)和數(shù)據(jù)科學(xué)研究員，昆士蘭科技大學(xué)

本文轉(zhuǎn)載自對話根據(jù) Creative Commons 許可。閱讀原創(chuàng)文章.