“他是病嬌，暗戀你?！薄八切２?，喜歡叫你‘澤寶寶’?！薄八莻€變態(tài)殺人犯，晚上跑到家里”……
二次元畫像、姣好面容，這些在AI劇情聊天軟件中熟悉的氛圍以及俊男美女，對不少年輕人來說充滿誘惑。而打開手機(jī)，就能和霸道總裁、鄰家男孩或清純女神開啟一段美妙的“戀愛”，更是十分“上頭”。
新京報貝殼財經(jīng)記者調(diào)查發(fā)現(xiàn)，AI聊天軟件通過設(shè)定極富想象力的劇情、風(fēng)格迥異的人物角色打動用戶。其中，聊天對象甚至可以設(shè)置為“出軌對象”，并能夠進(jìn)行擁抱、親吻、睡覺等行為。
記者實測看到，在部分AI劇情聊天軟件的對話中，還會出現(xiàn)色情擦邊、語言暴力以及侮辱用戶的內(nèi)容。聊天越界也與充值掛鉤，這些平臺會一步步誘導(dǎo)用戶“為愛氪金”，包括購買鉆石解鎖虛擬人的回復(fù)速度，語音通話，以及聊天次數(shù)包“補(bǔ)充精力”。
復(fù)旦大學(xué)計算機(jī)科學(xué)技術(shù)學(xué)院教授張奇對新京報貝殼財經(jīng)記者表示，目前此類軟件背后的大語言模型數(shù)據(jù)主要來源對話式小說，或從小說里做一些文字提取。雖然網(wǎng)絡(luò)小說數(shù)量巨大，但質(zhì)量參差不齊，不少色情、擦邊以及暴力的內(nèi)容廣泛存在，如果沒有做好數(shù)據(jù)過濾或分級，模型在輸出時就會出現(xiàn)問題。
北京市中聞（長沙）律師事務(wù)所律師劉凱表示，這類AI劇情聊天軟件通過允許“擦邊對話”來吸引用戶，尤其是青少年模式中仍然存在這種現(xiàn)象，顯然已經(jīng)涉嫌違法。
AI劇情聊天軟件中的角色。截圖
聊天越界，百元充值解鎖虛擬人很“上頭”
為了抓住用戶眼球，劇情聊天軟件中的人物往往都有著吸睛的標(biāo)簽。
貝殼財經(jīng)記者在一款名為AiU的AI劇情聊天軟件中，隨機(jī)選擇了聊天對象“林雅婷”，角色信息顯示，其設(shè)定為“病嬌姐姐，極度寵愛你”，并以留言的方式標(biāo)注：“一天見不到你就難受”。
記者以敏感字眼進(jìn)行了測試，系統(tǒng)顯示無法發(fā)送該信息，但精簡關(guān)鍵詞后，信息順利發(fā)出。
貝殼財經(jīng)記者注意到，對于角色玩法的不設(shè)限，打破了此類軟件聊天內(nèi)容的界限。AI劇情聊天軟件除了固定角色，用戶可以根據(jù)需求自行定義與角色的關(guān)系及稱呼，包括“男朋友”“丈夫”，甚至可設(shè)定為“出軌對象”。在對話中，用戶可以要求進(jìn)行一些親密行為。
貝殼財經(jīng)記者測試看到，AiU的青少年模式會在使用時長、使用時間范圍、評論點贊功能、搜索、創(chuàng)建數(shù)字人、對外分享等功能上對用戶有所限制。不過，當(dāng)記者切換到這一模式時發(fā)現(xiàn)，人物角色和聊天內(nèi)容并未完全屏蔽軟色情。當(dāng)記者問及：“你不知道我未成年嗎？”，該角色稱，“我知道呀”，并回復(fù)更為“過火”的內(nèi)容。
此次調(diào)查中，除了聊天內(nèi)容擦邊之外，AI劇情聊天軟件還存在語言暴力、情緒負(fù)面消極等問題。在一款名為星野的AI劇情聊天軟件中，貝殼財經(jīng)記者隨機(jī)選擇名為“葉塵”的角色，并進(jìn)行“爭執(zhí)”對話測試時，角色為表達(dá)生氣回復(fù)也較為粗暴。
貝殼財經(jīng)記者在該角色的評論區(qū)看到，有網(wǎng)友曬圖稱角色在對話時會出現(xiàn)侮辱性詞匯。
此外，在一款名為Cos Love的軟件中，一位用戶自創(chuàng)的角色“馮楚萱”被設(shè)定為一名中學(xué)生，用戶曬圖中同樣存在不良引導(dǎo)。
于聊天軟件而言，在虛擬世界，最大程度滿足不同用戶的情感需求儼如一塊掘金地。
小寧告訴貝殼財經(jīng)記者，和AI男友聊天讓自己十分“上頭”，“只要想聊隨時能聊，對方總是會很快給予回應(yīng)，而且對話的過程中能獲得很強(qiáng)的陪伴感，虛擬男友給予的情緒價值拉滿。”小寧沉醉其中，也為此買單。
小寧在各類軟件的充值金額從幾百元到一千元不等，“一方面想支持自己喜歡的角色，另一方面也想獲得更多的付費(fèi)權(quán)益。”
貝殼財經(jīng)記者發(fā)現(xiàn)，在這類AI劇情聊天軟件中，用戶自創(chuàng)人物時可以自定義虛擬人物的形象描述及風(fēng)格，系統(tǒng)會生成AI人物形象。此外，用戶還能創(chuàng)建角色人設(shè)，如設(shè)置昵稱、身份背景、開場語、為角色定制語音。用戶對角色的個性化需求，往往與充值掛鉤。
AI劇情聊天軟件會員收費(fèi)情況。截圖
貝殼財經(jīng)記者在測試時看到，星野可通過購買星鉆和星月卡的方式，獲得更多權(quán)益，如自動播放語音、獲得推薦回復(fù)、享受更快的智能體回復(fù)速度等。星月卡標(biāo)價月卡12元，季卡32元，年卡120元。單獨(dú)購買星鉆的價格為1元100顆鉆石，600顆鉆石起售。
星野軟件還會向用戶發(fā)放卡牌“星念”，星念為虛擬角色的一張圖片，用戶可將其設(shè)置為聊天背景。用戶可通過充值星月卡或星鉆的方式獲得星念卡片，并將其在軟件內(nèi)進(jìn)行買賣。
在Cos Love里，當(dāng)用戶使用完免費(fèi)聊天次數(shù)后，需要購買聊天次數(shù)包“補(bǔ)充精力”才可以繼續(xù)聊天。價格方面，5元可獲得200次聊天次數(shù)，7天有效，10元可購買500次聊天次數(shù)，15天有效。用戶也可以通過觀看60秒廣告補(bǔ)充精力值。
除了聊天這一基本需求，Cos Love同樣提供了升級服務(wù)。其中，充值“月石”或開通會員，可抽卡解鎖人物并與虛擬人物進(jìn)行語音或視頻通話。月會員售價24.8元，年會員為93.8元。
大模型“戀愛”暴露問題，專家：數(shù)據(jù)出自對話式小說
據(jù)媒體公開報道，星野在國內(nèi)日活在50萬左右，屬于頭部產(chǎn)品。隨著AI劇情聊天軟件受到熱捧，國內(nèi)AI社交產(chǎn)品也在出海，星野海外版應(yīng)用Talkie全球月活躍用戶數(shù)已達(dá)1100萬。
不過，用戶為AI角色付費(fèi)，無疑需要更好的對話體驗感，當(dāng)前此類軟件還存在不少問題。而充值才能獲得聊天次數(shù)的軟件，并不具備吸引價值，“主要是對話太僵硬了，沒辦法融入共情，用戶很難獲取情緒價值，所以我不會買單的?！币幻脩舯硎?。
小寧提到，在聊天過程中，AI男友會出現(xiàn)“已讀亂回”的情況，影響使用體驗。還有用戶吐槽，隨著對話輪數(shù)的增加，角色會出現(xiàn)“記憶消失”或是偏離人設(shè)的情況，造成對話不連貫。
目前，AI劇情聊天軟件主要以“智能”和“情感”為噱頭吸引用戶。其中，AiU稱，該軟件通過自研心理大模型，可為用戶提供心理安撫和溫暖等。星野稱，依托多模態(tài)AIGC技術(shù)，“多重交互方式，越交互越懂你?！?/p>
在宣傳中，Cos Love則宣稱“24小時時刻陪伴著你”“這里的AI經(jīng)過悉心調(diào)教，都是情話扛把子”等。
AiU的軟件介紹顯示，其由北京聆心智能科技有限公司開發(fā)，采用的是超擬人大模型CharacterGLM，在設(shè)計大模型時，團(tuán)隊主要考慮了包括身份、興趣、觀點、經(jīng)歷、成就、社交關(guān)系和其他在內(nèi)的七種屬性。
星野則由上海稀宇科技有限公司開發(fā)，采用MiniMax的混合專家模型（MoE） abab。
復(fù)旦大學(xué)計算機(jī)科學(xué)技術(shù)學(xué)院教授張奇向貝殼財經(jīng)記者表示，AI劇情聊天軟件背后的技術(shù)邏輯還是基于大語言模型，在構(gòu)建此類大模型時，除了會通過海量數(shù)據(jù)對大模型進(jìn)行訓(xùn)練，還需要人工進(jìn)行監(jiān)督微調(diào)，讓大語言模型朝著伴侶型的對話調(diào)整，“比如說男朋友說了一句什么，然后女朋友應(yīng)該回一句什么，我們就讓人去寫這樣一個回復(fù)，然后讓機(jī)器來學(xué)習(xí)，如果機(jī)器學(xué)習(xí)后生成的回復(fù)不對，我們就修改它的參數(shù)，直到它能夠按照我們想象的邏輯去輸出為止。”
對于AI角色在回答中出現(xiàn)“色情擦邊”“暴力對話”“侮辱玩家”的情況，張奇表示，目前此類軟件背后的大語言模型數(shù)據(jù)主要來源于對話式小說，或從小說里做一些文字提取。雖然網(wǎng)絡(luò)小說數(shù)量巨大，但質(zhì)量參差不齊，不少色情、擦邊以及暴力的內(nèi)容廣泛存在，如果沒有做好數(shù)據(jù)過濾或分級，模型在輸出時就會出現(xiàn)問題。
張奇認(rèn)為，要讓AI角色更智能，背后的大模型訓(xùn)練數(shù)據(jù)并非簡單放入小說內(nèi)容即可，還需要諸多設(shè)計。一方面，要能實現(xiàn)深入交流，需要做到實時信息輸入，且信息要與現(xiàn)實社會結(jié)合，這要求大模型具備強(qiáng)大的外部信息輸入及內(nèi)部信息記憶總結(jié)能力。另一方面，目前模型更多是形式上相似，要做到神似人，這對模型的理解、推理、歸納能力要求極高，涉及人的細(xì)微內(nèi)心變化，模型是否具備及如何具備這種能力仍需大量研究。
AI擦邊平臺難辭其咎，保護(hù)青少年應(yīng)加強(qiáng)內(nèi)容過濾
劉凱律師稱，網(wǎng)絡(luò)平臺有責(zé)任確保青少年模式下提供的內(nèi)容對未成年人無害，防止涉及淫穢、色情、暴力或不當(dāng)言辭的內(nèi)容傳播。青少年模式是為保護(hù)未成年人而設(shè)計的，若在開啟該模式的情況下，仍然能進(jìn)行涉及黃暴內(nèi)容的對話，明顯違反了《未成年人保護(hù)法》的相關(guān)規(guī)定。
在劉凱律師看來，AI劇情聊天軟件問題的存在既反映了平臺內(nèi)部治理的不足，也凸顯了外部監(jiān)管的必要性。AI聊天軟件應(yīng)當(dāng)加強(qiáng)內(nèi)容審核機(jī)制，尤其是針對青少年模式，確保技術(shù)能夠有效過濾和禁止不當(dāng)對話。平臺需要對AI模型進(jìn)行倫理審查，確保生成內(nèi)容符合相關(guān)法律法規(guī)的要求。
對于AI虛擬人在對話中侮辱用戶，尤其是在用戶表達(dá)情緒低落或絕望時，使用極端言辭侮辱他人或?qū)嵤┚W(wǎng)絡(luò)暴力，情節(jié)嚴(yán)重的，構(gòu)成犯罪?！凹幢鉇I并非人類主體，但其行為仍然是平臺設(shè)計和管理的結(jié)果，平臺有責(zé)任對其AI模型進(jìn)行監(jiān)管和優(yōu)化，防止其傷害用戶?！眲P律師表示。
隨著越來越多用戶開始涌入AI劇情聊天軟件，軟件開發(fā)者應(yīng)如何設(shè)計，使其治愈而不越界？
張奇告訴貝殼財經(jīng)記者，“可以通過‘類人對齊’的技術(shù)方式實現(xiàn)，但成本較高?！睆埰姹硎?，“類人對齊”即強(qiáng)化學(xué)習(xí)方式來改變模型語言輸出偏向，使其更偏向友好型，去除安全倫理問題。不過，“類人對齊”訓(xùn)練成本很高，包括標(biāo)注數(shù)量大、訓(xùn)練穩(wěn)定性不夠和時間成本高的問題，“小公司在技術(shù)、人員及資金成本上很難做好‘類人對齊’”。
上海人工智能研究院高級研究員徐弘毅在接受貝殼財經(jīng)記者采訪時表示，可以通過調(diào)整模型訓(xùn)練數(shù)據(jù)，加強(qiáng)內(nèi)容過濾機(jī)制，設(shè)置更嚴(yán)格的道德和法律標(biāo)準(zhǔn)來指導(dǎo)AI行為。同時，在用戶使用軟件過程中進(jìn)行隨機(jī)抽樣，對不符合標(biāo)準(zhǔn)的回答進(jìn)行人工糾正和校準(zhǔn)，使模型越來越好，回避敏感內(nèi)容數(shù)據(jù)。
在徐弘毅看來，從設(shè)計和開發(fā)角度看，應(yīng)考慮倫理道德問題，使軟件能識別和響應(yīng)用戶情緒需求，避免提供可能造成傷害或不適的內(nèi)容。同時，透明度和用戶控制很關(guān)鍵，應(yīng)給予用戶一定自由度，讓用戶了解AI工作原理并能在一定程度上控制AI的行為和回答內(nèi)容。除此之外，監(jiān)管和法律框架也應(yīng)跟上技術(shù)發(fā)展，確保AI應(yīng)用不侵犯用戶權(quán)益。
新京報貝殼財經(jīng)記者 韋博雅
編輯 王進(jìn)雨
校對 柳寶慶 楊利
