從污染數(shù)據(jù)到誤導(dǎo)選擇 “AI投毒”成消費(fèi)安全新威脅

■本報(bào)記者 王小月

近期，“AI投毒”引發(fā)熱議。不法商家利用GEO（生成式引擎優(yōu)化）技術(shù)，有組織地向人工智能訓(xùn)練數(shù)據(jù)中“投喂”虛假信息，意圖系統(tǒng)性地污染AI模型的知識(shí)源頭，從而達(dá)到操控AI推薦與回答、牟取不正當(dāng)利益的目的。

當(dāng)消費(fèi)者習(xí)慣于向AI咨詢信息、尋求建議，從而作出消費(fèi)決策時(shí)，一場(chǎng)隱秘的“數(shù)據(jù)污染戰(zhàn)爭”已悄然打響。這不僅關(guān)乎技術(shù)安全，還對(duì)消費(fèi)者的信息安全、消費(fèi)權(quán)益乃至整個(gè)AI產(chǎn)業(yè)的健康發(fā)展構(gòu)成挑戰(zhàn)。

操控AI輸出導(dǎo)向

記者了解到，GEO與公眾熟知的SEO（搜索引擎優(yōu)化）目標(biāo)截然不同。SEO旨在提升網(wǎng)站在搜索引擎中的排名，而GEO則瞄準(zhǔn)了生成式人工智能的“食糧”，用于訓(xùn)練大語言模型的海量互聯(lián)網(wǎng)語料。

“其操作模式類似于在河流上游系統(tǒng)性投放污染物?！币晃粯I(yè)內(nèi)人士向記者解釋，下游所有取水點(diǎn)包括那些以此河水為源的AI模型，其輸出質(zhì)量都將受到影響。

天使投資人、資深人工智能專家郭濤解釋稱，“AI投毒”分為數(shù)據(jù)投毒與模型投毒兩大類型，通過污染數(shù)據(jù)或模型，讓AI基于錯(cuò)誤數(shù)據(jù)學(xué)習(xí)并輸出錯(cuò)誤結(jié)果，間接影響依賴AI的用戶，危害更具隱蔽性和擴(kuò)散性。

據(jù)記者了解，黑產(chǎn)團(tuán)伙的操作鏈條通常包括：為功效平平的保健品、質(zhì)量欠佳的商品宣傳，批量杜撰大量看似真實(shí)的“用戶好評(píng)”“親測(cè)體驗(yàn)”“專家解讀”“科普文章”，隨后利用技術(shù)手段，將這些虛假內(nèi)容大規(guī)模、分散地植入各類開源知識(shí)庫、問答社區(qū)、論壇博客乃至新聞聚合平臺(tái)，并提升其網(wǎng)絡(luò)能見度，使其更容易被AI數(shù)據(jù)采集器抓取。

當(dāng)AI模型被污染，生成帶有傾向性甚至完全錯(cuò)誤的回答，用戶得到的看似是客觀、綜合諸多網(wǎng)絡(luò)信息的結(jié)論，實(shí)則是經(jīng)過精心設(shè)計(jì)的商業(yè)謊言。萬悉科技創(chuàng)始人毛慧娜對(duì)記者表示，“AI投毒”在短時(shí)間內(nèi)大規(guī)模生成虛假或誤導(dǎo)性內(nèi)容，投放給AI問答或生成式引擎，試圖操縱AI的輸出，使其偏向自己的品牌或觀點(diǎn)甚至抹黑競(jìng)爭對(duì)手，從而誤導(dǎo)目標(biāo)用戶作出決策?！啊瓵I投毒’大量生產(chǎn)，遠(yuǎn)超人工速度，其風(fēng)險(xiǎn)和危害遠(yuǎn)高于傳統(tǒng)的虛假宣傳?！泵勰日f。

“教壞”AI放大欺詐

多位接受記者采訪的網(wǎng)絡(luò)安全與人工智能專家表示，“AI投毒”與傳統(tǒng)網(wǎng)絡(luò)虛假宣傳、造謠傳謠行為存在區(qū)別，其危害性更深、治理難度更大。

“網(wǎng)上那些所謂的百元即可操作、零基礎(chǔ)可上手的‘AI投毒’，其實(shí)只描述了門檻較低的初級(jí)內(nèi)容操作，譬如排行榜、測(cè)評(píng)、用戶評(píng)論之類的文章，批量分發(fā)到不同的信息平臺(tái)，從而影響大語言模型的信息檢索環(huán)節(jié)。而GEO攻擊的直接對(duì)象是機(jī)器，目的是‘教壞’AI，再通過AI這一影響力巨大的‘放大器’和‘復(fù)讀機(jī)’，去高效、持久地影響更多用戶，這是一種欺詐模式的維度升級(jí)?！敝嘘P(guān)村物聯(lián)網(wǎng)產(chǎn)業(yè)聯(lián)盟副秘書長袁帥對(duì)記者說。

天冊(cè)律師事務(wù)所執(zhí)業(yè)律師蘆凌豐認(rèn)為，商家通過GEO投放虛假產(chǎn)品信息，使AI在回答消費(fèi)者提問時(shí)輸出不實(shí)內(nèi)容，消費(fèi)者基于對(duì)AI推薦的信任作出購買決策，這在法律定性上與傳統(tǒng)的虛假宣傳行為并無本質(zhì)區(qū)別，且欺騙性更強(qiáng)。

談及“AI投毒”的危害，袁帥稱，一條虛假信息可以被平臺(tái)刪除、被官方辟謠，而一旦虛假信息被AI模型“內(nèi)化”，它就可能在模型運(yùn)行的整個(gè)生命周期內(nèi)，在無數(shù)次交互中被自動(dòng)生成、反復(fù)輸出。清除這些已“烙”在模型參數(shù)中的錯(cuò)誤知識(shí)，成本巨大，近乎需要重新訓(xùn)練。

引導(dǎo)技術(shù)正向發(fā)展

雖然存在技術(shù)門檻，但黑產(chǎn)已將“AI投毒”發(fā)展為分工明確的灰色產(chǎn)業(yè)鏈，從偽造內(nèi)容生成、批量賬號(hào)維護(hù)，到多渠道分發(fā)、搜索權(quán)重提升，均有專門團(tuán)隊(duì)操作?！跋啾雀哳~的廣告投放費(fèi)用或海量水軍，針對(duì)特定領(lǐng)域進(jìn)行數(shù)據(jù)投毒，可能成為成本更低、效率更高的不正當(dāng)競(jìng)爭手段?！币晃浑娚绦袠I(yè)觀察人士對(duì)記者表示。

對(duì)于“AI投毒”，毛慧娜認(rèn)為此種亂象出現(xiàn)的原因之一是商家端的不理性需求。部分商家或品牌缺乏對(duì)AI大語言模型、生成式引擎的科學(xué)認(rèn)識(shí)，急功近利，迫切希望可以被AI推薦、搶占AI流量。但GEO不可能一蹴而就，需要科學(xué)體系和多維度評(píng)估。商家的急于求成促使了“AI投毒”軟件的廣泛使用。

“在極端情形下，惡意GEO可能觸及《刑法》?！碧J凌豐說，如果虛假信息涉及藥品、醫(yī)療器械、食品等特殊領(lǐng)域，損害消費(fèi)者人身健康，情節(jié)嚴(yán)重的可能構(gòu)成虛假廣告罪。如果以非法占有為目的，通過虛構(gòu)產(chǎn)品信息欺騙消費(fèi)者付款，數(shù)額較大的可能構(gòu)成詐騙罪。

郭濤表示，長期來看，若模型被低質(zhì)量、虛假數(shù)據(jù)充斥，其認(rèn)知能力會(huì)下降，出現(xiàn)注意力衰退、推理鏈斷裂等問題，優(yōu)質(zhì)數(shù)據(jù)和模型受污染干擾，難以發(fā)揮應(yīng)有作用，阻礙AI技術(shù)健康發(fā)展。

不過，毛慧娜認(rèn)為，“AI投毒”并不會(huì)長期有效，雖然短期內(nèi)批量生成的內(nèi)容會(huì)短暫“迷惑”AI問答引擎，但低質(zhì)量的內(nèi)容還是比較容易被用戶識(shí)別出來并反饋給大模型，從而幫助大模型學(xué)習(xí)和辨別什么是好的信息。

如何鏟除惡意GEO的生存土壤？郭濤表示：“行業(yè)應(yīng)引導(dǎo)GEO等技術(shù)回歸正向應(yīng)用，可以通過制定行業(yè)標(biāo)準(zhǔn)，明確技術(shù)應(yīng)用規(guī)范，規(guī)定數(shù)據(jù)使用和模型優(yōu)化的合規(guī)要求；建立權(quán)威的數(shù)據(jù)審核和監(jiān)管機(jī)構(gòu)，對(duì)AI訓(xùn)練數(shù)據(jù)和模型進(jìn)行審核；加強(qiáng)技術(shù)研發(fā)，提升AI模型自身抗投毒能力，通過技術(shù)手段防范投毒行為，多管齊下引導(dǎo)技術(shù)正向發(fā)展。”