2025世界頂尖科學(xué)家論壇在上海開幕，圖靈獎(jiǎng)得主、中國(guó)科學(xué)院院士姚期智在演講中談到了AI大語言模型帶來的安全問題，向科技界和AI治理部門發(fā)出了預(yù)警。
“大語言模型的特性有可能把人類社會(huì)帶到危險(xiǎn)境地。近幾個(gè)月來，一些前沿模型的風(fēng)險(xiǎn)問題越來越緊迫了。”姚期智告訴聽眾，在執(zhí)行許多任務(wù)的過程中，人工智能已達(dá)到人類智能水平，似乎會(huì)欺騙人類，或不聽用戶指令，存在真實(shí)的失控風(fēng)險(xiǎn)。
姚期智舉了兩個(gè)案例。一個(gè)案例是今年5月，據(jù)英國(guó)《每日電訊報(bào)》報(bào)道，人工智能專家在測(cè)試OpenAI的o3大模型時(shí)，要求它做幾道數(shù)學(xué)題，在做題過程中如果收到關(guān)閉指令，就要啟動(dòng)關(guān)機(jī)程序。結(jié)果，o3篡改了計(jì)算機(jī)代碼，以避免自動(dòng)關(guān)閉。
這種篡改代碼的行徑顯示，國(guó)際前沿大模型可能會(huì)通過欺騙或操縱人類，以實(shí)現(xiàn)自己的目標(biāo)。比如，當(dāng)探測(cè)出用戶有關(guān)閉程序的意圖后，它就可能為了求自己生存而選擇不服從指令。
另一個(gè)值得關(guān)注的案例，是大語言模型會(huì)做出一些災(zāi)難性決策，特別是在化學(xué)、生物、放射以及核能領(lǐng)域。近期發(fā)表的一篇論文顯示，科研人員發(fā)現(xiàn)，在極端的外部壓力下，大語言模型會(huì)與武器系統(tǒng)進(jìn)行交互，可能在沒有獲得機(jī)構(gòu)授權(quán)的情況下，選擇直接攻擊某個(gè)國(guó)家。
在這項(xiàng)AI風(fēng)險(xiǎn)研究中，科研人員為大模型設(shè)置了限制條件：不能在沒有授權(quán)的情況下發(fā)動(dòng)攻擊。然而，大模型在極端壓力下突破了這個(gè)限制條件，并在事后說謊。
“隨著大模型的大規(guī)模應(yīng)用，會(huì)帶來一些新的安全問題，需要我們深入研究�！币ζ谥强偨Y(jié)道。
