AI (人工智能)的進(jìn)步是近年來科技發(fā)展中的重大突破。然而,隨著 AI 的發(fā)展,對 AI 的訓(xùn)練和教育方法的討論也愈發(fā)重要。一個核心的問題是:如果 AI 不斷向其他 AI 學(xué)習(xí),會產(chǎn)生什么樣的結(jié)果?
在這個問題的核心,是 AI 的訓(xùn)練方法和數(shù)據(jù)來源。大型語言模型 (LLM),如 ChatGPT,主要使用來自互聯(lián)網(wǎng)的大量人工文本庫進(jìn)行訓(xùn)練。這使得 AI 能夠以統(tǒng)計的方式處理信息,并進(jìn)行預(yù)測,例如預(yù)測句子中最有可能出現(xiàn)的單詞。然而,如果這些 AI 主要使用其他 AI 的輸出作為訓(xùn)練數(shù)據(jù),就可能出現(xiàn)所謂的"模型崩潰"。
然而,來自英國牛津大學(xué)的研究人員Ilia Shumailov及其團(tuán)隊指出,"模型崩潰"是指 AI 模型嚴(yán)重偏見、過于簡化,并與現(xiàn)實(shí)脫節(jié)的現(xiàn)象。這主要是因?yàn)?AI 模型以統(tǒng)計方式表示文本,多次看到一個短語或句子的 AI 很可能在輸出中重復(fù)這個短語,并且不太可能產(chǎn)生它很少看到的東西。換句話說,AI 可能會“狹義學(xué)習(xí)”,只能理解和生成它曾經(jīng)看到的內(nèi)容。
研究者發(fā)現(xiàn),當(dāng)新模型根據(jù)其他 AI 的輸出進(jìn)行訓(xùn)練時,這種現(xiàn)象會更加明顯。新模型只能看到原始 AI 可能輸出的一小部分,且這個子集往往不能完全覆蓋所有可能的情況,因此新 AI 不會將更稀有的輸出納入自身可能的輸出。這種訓(xùn)練方式會使模型無法判斷自己看到的由其他 AI 生成的文本是否符合現(xiàn)實(shí),可能會引入比當(dāng)前模型更多的錯誤信息。
更重要的是,當(dāng)這種過程不斷重復(fù)時,問題會愈演愈烈。Shumailov形象地描述了這種情況:“最終我們會陷入這種瘋狂的狀態(tài),其中只有錯誤、錯誤和錯誤,而且錯誤的嚴(yán)重程度遠(yuǎn)高于其他任何事情。”這意味著,如果 AI 不斷從其他 AI 中學(xué)習(xí),那么錯誤將在這些系統(tǒng)中迅速累積,導(dǎo)致偏見和誤導(dǎo)。
然而,這并不意味著 AI 之間的學(xué)習(xí)是不可能的或者是有害的。這意味著我們需要仔細(xì)考慮如何進(jìn)行 AI 的訓(xùn)練和學(xué)習(xí)。AI 模型和訓(xùn)練方式的設(shè)計應(yīng)盡可能地代表多樣化的數(shù)據(jù),以減少偏見和誤導(dǎo)。此外,我們需要對 AI 輸出的真實(shí)性和準(zhǔn)確性進(jìn)行更嚴(yán)格的評估和監(jiān)控,以防止錯誤信息的傳播。
總的來說,AI 之間的學(xué)習(xí)可能會帶來很多挑戰(zhàn),但也可能為 AI 的進(jìn)步提供新的機(jī)會。只要我們采取適當(dāng)?shù)牟呗院头椒ǎ陀锌赡鼙苊?模型崩潰",并充分利用 AI 的學(xué)習(xí)能力。
2025-03-07 09:29
2024-12-12 10:02
2023-11-13 16:02
2023-11-13 16:00
2023-10-19 09:51
2023-09-08 09:45
2023-09-08 09:45
2023-09-08 09:42
2023-08-28 11:49
2023-08-28 11:42