1.2重要的機(jī)器學(xué)習(xí)系統(tǒng)的發(fā)展趨勢(shì)

通用的機(jī)器學(xué)習(xí)系統(tǒng)

下面的數(shù)字報(bào)告了在Epoch數(shù)據(jù)集中包含的所有機(jī)器學(xué)習(xí)系統(tǒng)的趨勢(shì)。作為參考，這些系統(tǒng)在整個(gè)小節(jié)中被稱為重要的機(jī)器學(xué)習(xí)系統(tǒng)。

系統(tǒng)類型

在2022年發(fā)布的重要的人工智能機(jī)器學(xué)習(xí)系統(tǒng)中，最常見(jiàn)的系統(tǒng)類別是語(yǔ)言（圖1.2.1）。2022年發(fā)布了23個(gè)重要的人工智能語(yǔ)言系統(tǒng)，大約是第二常見(jiàn)的系統(tǒng)類型——多模態(tài)系統(tǒng)的6倍。

2022年按領(lǐng)域劃分的重要機(jī)器學(xué)習(xí)系統(tǒng)的數(shù)量

（資料來(lái)源： Epoch，2022年|圖表： 2023年人工智能指數(shù)報(bào)告）

圖1.2.1

行業(yè)分析

在工業(yè)界、學(xué)術(shù)界或非營(yíng)利組織中，哪個(gè)部門發(fā)布了最多的重要的機(jī)器學(xué)習(xí)系統(tǒng)？直到2014年，大多數(shù)機(jī)器學(xué)習(xí)系統(tǒng)都是由學(xué)術(shù)界發(fā)布的。從那時(shí)起，行業(yè)就接管了公司（圖1.2.2）。2022年，有32個(gè)重要的工業(yè)機(jī)器學(xué)習(xí)系統(tǒng)，而學(xué)術(shù)界生產(chǎn)的只有3個(gè)。生產(chǎn)最先進(jìn)的人工智能系統(tǒng)越來(lái)越需要大量的數(shù)據(jù)、計(jì)算能力和資金；與非營(yíng)利組織和學(xué)術(shù)界相比，行業(yè)參與者擁有更多的資源。

2002-22年重要機(jī)器學(xué)習(xí)系統(tǒng)的數(shù)量

（資料來(lái)源： Epoch，2022年|圖表： 2023年人工智能指數(shù)報(bào)告）

圖1.2.2

國(guó)家關(guān)系

為了描繪一幅人工智能不斷發(fā)展的地緣政治圖景，人工智能指數(shù)研究團(tuán)隊(duì)確定了為Epoch數(shù)據(jù)集中每個(gè)重要機(jī)器學(xué)習(xí)系統(tǒng)的開(kāi)發(fā)做出貢獻(xiàn)的作者的國(guó)籍。

系統(tǒng)

圖1.2.3顯示了來(lái)自特定國(guó)家的研究人員的重要機(jī)器學(xué)習(xí)系統(tǒng)的總數(shù)。一名研究人員被認(rèn)為屬于其機(jī)構(gòu)的總部國(guó)家，例如大學(xué)或人工智能研究公司。2022年，美國(guó)生產(chǎn)了最多的重要機(jī)器學(xué)習(xí)系統(tǒng)，有16個(gè)，其次是英國(guó)(8)和中國(guó)(3)。此外，自2002年以來(lái)，就所生產(chǎn)的重要機(jī)器學(xué)習(xí)系統(tǒng)的總數(shù)而言，美國(guó)已經(jīng)超過(guò)了英國(guó)、歐盟以及中國(guó)（圖1.2.4）。圖1.2.5顯示了自2002年以來(lái)各國(guó)為全世界生產(chǎn)的重要機(jī)器學(xué)習(xí)系統(tǒng)的總數(shù)。

2022年按國(guó)家劃分的重要機(jī)器學(xué)習(xí)系統(tǒng)的數(shù)量

（資料來(lái)源： Epoch和AI指數(shù)，2022年|圖表： 2023年AI指數(shù)報(bào)告）

圖1.2.3

2002-2022按選擇的地理區(qū)域劃分的重要機(jī)器學(xué)習(xí)系統(tǒng)的數(shù)量

（資料來(lái)源： Epoch和AI指數(shù)，2022年|圖表： 2023年AI指數(shù)報(bào)告）

圖1.2.4

2002-22年按國(guó)家劃分的機(jī)器學(xué)習(xí)系統(tǒng)數(shù)量（總和）

（資料來(lái)源： Epoch和AI指數(shù)，2022年|圖表： 2023年AI指數(shù)報(bào)告）

圖1.2.5

歸屬

圖1.2.6到1.2.8查看按國(guó)家歸屬關(guān)系分類的幫助啟動(dòng)重要機(jī)器學(xué)習(xí)系統(tǒng)的作者總數(shù)。就像總系統(tǒng)的情況一樣，在2022年，美國(guó)生產(chǎn)重要機(jī)器學(xué)習(xí)系統(tǒng)的作者數(shù)量最多，有285個(gè)，是英國(guó)的兩倍多，是中國(guó)的近6倍（圖1.2.6）。

2022年，按國(guó)家劃分的重要機(jī)器學(xué)習(xí)系統(tǒng)的作者數(shù)量

圖1.2.6

2002-22年按選擇的地理區(qū)域劃分的重要機(jī)器學(xué)習(xí)系統(tǒng)的作者數(shù)量

圖1.2.7

2002-22年按國(guó)家劃分的機(jī)器學(xué)習(xí)系統(tǒng)作者數(shù)量（總和）

圖1.2.8

參數(shù)趨勢(shì)

參數(shù)是由機(jī)器學(xué)習(xí)模型在訓(xùn)練過(guò)程中學(xué)習(xí)到的數(shù)值。機(jī)器學(xué)習(xí)模型中的參數(shù)值決定了模型如何解釋輸入數(shù)據(jù)并做出預(yù)測(cè)。調(diào)整參數(shù)是確保機(jī)器學(xué)習(xí)系統(tǒng)的性能得到優(yōu)化的一個(gè)必要步驟。圖1.2.9按部門突出顯示了Epoch數(shù)據(jù)集中包含的機(jī)器學(xué)習(xí)系統(tǒng)的參數(shù)數(shù)量。隨著時(shí)間的推移，參數(shù)的數(shù)量一直在穩(wěn)步增加，自2010年代初以來(lái)，這個(gè)增長(zhǎng)尤為急劇。人工智能系統(tǒng)正在迅速增加其參數(shù)的事實(shí)反映了它們被要求執(zhí)行的任務(wù)的復(fù)雜性增加，數(shù)據(jù)的可用性增加，底層硬件的進(jìn)步，最重要的是，更大的模型的性能演示。

1950-22年按部門劃分的重要機(jī)器學(xué)習(xí)系統(tǒng)的參數(shù)數(shù)量

圖1.2.9

圖1.2.10按領(lǐng)域展示了機(jī)器學(xué)習(xí)系統(tǒng)的參數(shù)。近年來(lái)，參數(shù)豐富的系統(tǒng)數(shù)量不斷增加。

1950-22年重要的機(jī)器學(xué)習(xí)系統(tǒng)按領(lǐng)域劃分的參數(shù)數(shù)

圖1.2.10

計(jì)算趨勢(shì)

人工智能系統(tǒng)的計(jì)算能力，或稱“計(jì)算能力”，是指訓(xùn)練和運(yùn)行機(jī)器學(xué)習(xí)系統(tǒng)所需的計(jì)算資源量。通常，一個(gè)系統(tǒng)越復(fù)雜，所訓(xùn)練它的數(shù)據(jù)集越大，所需的計(jì)算量就越大。在過(guò)去的五年里，重要的人工智能機(jī)器學(xué)習(xí)系統(tǒng)使用的計(jì)算量呈指數(shù)級(jí)增長(zhǎng)（圖1.2.11）。對(duì)人工智能計(jì)算需求的增長(zhǎng)有幾個(gè)重要的影響。例如，更密集型計(jì)算的模型往往對(duì)環(huán)境的影響更大，而工業(yè)參與者往往比大學(xué)等其他模型更容易獲得計(jì)算資源。

1950-22年重要機(jī)器學(xué)習(xí)系統(tǒng)的分部門訓(xùn)練計(jì)算（FLOP）

圖1.2.11

自2010年以來(lái)，在所有的機(jī)器學(xué)習(xí)系統(tǒng)中，語(yǔ)言模型需要的計(jì)算資源越來(lái)越多。

1950-22年重要機(jī)器學(xué)習(xí)系統(tǒng)的分域訓(xùn)練計(jì)算（FLOP）

圖1.2.12

大型語(yǔ)言和多模態(tài)模型

大型語(yǔ)言和多模態(tài)模型，有時(shí)被稱為基礎(chǔ)模型，是一種新興的、日益流行的人工智能模型，它對(duì)大量數(shù)據(jù)進(jìn)行訓(xùn)練，并適應(yīng)各種下游應(yīng)用程序。像ChatGPT、DALL-E 2和MakeA-Video這樣的大型語(yǔ)言和多模態(tài)模型-Video模型已經(jīng)展示了令人印象深刻的能力，并開(kāi)始在現(xiàn)實(shí)世界中廣泛應(yīng)用。今年，人工智能指數(shù)對(duì)負(fù)責(zé)發(fā)布新的大型語(yǔ)言和多模態(tài)模型的作者的國(guó)家隸屬關(guān)系進(jìn)行了分析。10這些研究人員中的大多數(shù)來(lái)自美國(guó)的研究機(jī)構(gòu)（54.2%）（圖1.2.13）。2022年，來(lái)自加拿大、德國(guó)和印度的研究人員首次為大型語(yǔ)言和多模式模型的發(fā)展做出了貢獻(xiàn)。

2019-22年按國(guó)家選擇大型語(yǔ)言和多模態(tài)模型（占總數(shù)的%）的作者

圖1.2.13

圖1.2.14提供了自GPT-2以來(lái)發(fā)布的大型語(yǔ)言和多模態(tài)模型的時(shí)間軸視圖，以及產(chǎn)生這些模型的研究人員的國(guó)家附屬機(jī)構(gòu)。2022年發(fā)布的一些著名的美國(guó)大型語(yǔ)言和多模態(tài)模型包括OpenAI的DALL-E 2和谷歌的PaLM（540B）。2022年發(fā)布的唯一一種中國(guó)大型語(yǔ)言和多模式模式是GLM-130B，這是清華大學(xué)的研究人員創(chuàng)建的一種令人印象深刻的雙語(yǔ)（英語(yǔ)和中文）模式。同樣于2022年底推出的布魯姆計(jì)劃，由于它是1000多名國(guó)際研究人員合作的結(jié)果，因此被列為不確定計(jì)劃。

選擇大型語(yǔ)言和多語(yǔ)言模式模型發(fā)布的時(shí)間軸和國(guó)家歸屬

圖1.2.14

參數(shù)計(jì)數(shù)

隨著時(shí)間的推移，新發(fā)布的大型語(yǔ)言和多模態(tài)模型的參數(shù)數(shù)量大幅增加。例如，GPT-2是2019年發(fā)布的第一個(gè)大型語(yǔ)言和多模式模型，它只有15億個(gè)參數(shù)。由谷歌于2022年推出的PaLM擁有5400億美元，是GPT-2的近360倍。在大型語(yǔ)言和多模態(tài)模型中，參數(shù)的中位數(shù)隨著時(shí)間的推移呈指數(shù)級(jí)增長(zhǎng)（圖1.2.15）。

2019-22年選擇大型語(yǔ)言和多模態(tài)模型的參數(shù)數(shù)

圖1.2.15

培訓(xùn)計(jì)算

大型語(yǔ)言和多模態(tài)模型的訓(xùn)練計(jì)算量也在穩(wěn)步增加（圖1.2.16）。用于訓(xùn)練Minerva（540B）的計(jì)算量大約是OpenAI的GPT-3（2022年6月發(fā)布）的9倍，是GPT-2（2019年2月發(fā)布）的1839倍。Minerva是谷歌于2022年6月發(fā)布的一個(gè)大型語(yǔ)言和多模模型，在定量推理問(wèn)題上表現(xiàn)出了令人印象深刻的能力。

2019-22年選擇大型語(yǔ)言和多模態(tài)模型的訓(xùn)練計(jì)算（FLOP）

圖1.2.16

訓(xùn)練費(fèi)用

圍繞大型語(yǔ)言和多模態(tài)模型的話語(yǔ)的一個(gè)特殊主題與它們的假設(shè)成本有關(guān)。盡管人工智能公司很少公開(kāi)談?wù)撚?xùn)練成本，但人們普遍猜測(cè)，這些模型的訓(xùn)練成本為數(shù)百萬(wàn)美元，而且隨著規(guī)模的擴(kuò)大，成本將變得越來(lái)越昂貴。本小節(jié)介紹了一種新的分析，其中人工智能索引研究團(tuán)隊(duì)對(duì)各種大型語(yǔ)言和多模態(tài)模型的訓(xùn)練成本進(jìn)行了估計(jì)（圖1.2.17）。這些估計(jì)是基于模型的作者所披露的硬件和訓(xùn)練時(shí)間。在沒(méi)有透露訓(xùn)練時(shí)間的情況下，我們根據(jù)硬件速度、訓(xùn)練計(jì)算和硬件利用率效率進(jìn)行計(jì)算。考慮到估計(jì)值的可能可變性，我們用中、高或低的標(biāo)簽來(lái)限定每個(gè)估計(jì)值：中估計(jì)值被認(rèn)為是中級(jí)估計(jì)值，高被認(rèn)為是高估估計(jì)值，低被認(rèn)為是低估估計(jì)值。在某些情況下，沒(méi)有足夠的數(shù)據(jù)來(lái)估計(jì)特定的大型語(yǔ)言和多模態(tài)模型的訓(xùn)練成本，因此這些模型在我們的分析中被省略了。

選擇大型語(yǔ)言和多模態(tài)模型的估計(jì)訓(xùn)練成本

圖1.2.17

大型語(yǔ)言和多模態(tài)模型的成本與其規(guī)模之間也有明顯的關(guān)系。如圖1.2.18和1.2.19所示，具有更多參數(shù)的大型語(yǔ)言和多模態(tài)模型以及使用大量計(jì)算的訓(xùn)練往往更昂貴。

選擇大型語(yǔ)言和多模態(tài)模型的估計(jì)訓(xùn)練成本和參數(shù)數(shù)

圖1.2.18

選擇大型語(yǔ)言和多模態(tài)模型的估計(jì)訓(xùn)練成本及訓(xùn)練計(jì)算（FLOP）

圖1.2.19

人工智能會(huì)議是研究人員分享其工作、與同行和合作者建立聯(lián)系的關(guān)鍵場(chǎng)所。出席會(huì)議表明了人們對(duì)一個(gè)科學(xué)領(lǐng)域的更廣泛的工業(yè)和學(xué)術(shù)興趣。在過(guò)去的20年里，人工智能會(huì)議的規(guī)模、數(shù)量和聲望都有所增長(zhǎng)。本節(jié)介紹了參加主要人工智能會(huì)議的趨勢(shì)數(shù)據(jù)。