国产精选污视频在线观看,色综合a在线视频,国产吧在线视频,亚洲男女天堂

您的位置:首頁(yè)>智東西 >

英偉達(dá)H100霸榜權(quán)威AI性能測(cè)試 11分鐘搞定基于GPT-3的大模型訓(xùn)練|全球資訊

來(lái)源:科創(chuàng)板日?qǐng)?bào)  


(資料圖片僅供參考)

財(cái)聯(lián)社6月28日訊(編輯 史正丞)當(dāng)?shù)貢r(shí)間周二,機(jī)器學(xué)習(xí)及人工智能領(lǐng)域開(kāi)放產(chǎn)業(yè)聯(lián)盟MLCommons披露兩項(xiàng)MLPerf基準(zhǔn)評(píng)測(cè)的最新數(shù)據(jù),其中英偉達(dá)H100芯片組在人工智能算力表現(xiàn)的測(cè)試中,刷新了所有組別的紀(jì)錄,也是唯一一個(gè)能夠跑完所有測(cè)試的硬件平臺(tái)。

(來(lái)源:英偉達(dá)、MLCommons)

MLPerf是由學(xué)術(shù)界、實(shí)驗(yàn)室和產(chǎn)業(yè)組成的人工智能領(lǐng)袖聯(lián)盟,是目前國(guó)際公認(rèn)的權(quán)威AI性能評(píng)測(cè)基準(zhǔn)。Training v3.0包含8種不同的負(fù)載,包括視覺(jué)(影像分類(lèi)、生物醫(yī)學(xué)影像分割、兩種負(fù)載的物體偵測(cè))、語(yǔ)言(語(yǔ)音識(shí)別、大語(yǔ)言模型、自然語(yǔ)言處理)和推薦系統(tǒng)。簡(jiǎn)單來(lái)說(shuō),就是由不同的設(shè)備供應(yīng)商提交完成基準(zhǔn)任務(wù)所需要的時(shí)間。

(Training v3.0訓(xùn)練基準(zhǔn),來(lái)源:MLCommons)

在投資者比較關(guān)注的“大語(yǔ)言模型”訓(xùn)練測(cè)試中,英偉達(dá)和GPU云算力平臺(tái)CoreWeave提交的數(shù)據(jù)為這項(xiàng)測(cè)試設(shè)定了殘酷的業(yè)界標(biāo)準(zhǔn)。在896個(gè)英特爾至強(qiáng)8462Y+處理器和3584個(gè)英偉達(dá)H100芯片的齊心協(xié)力下,僅僅花了10.94分鐘就完成了基于GPT-3的大語(yǔ)言模型訓(xùn)練任務(wù)。

除了英偉達(dá)外,只有英特爾的產(chǎn)品組合在這個(gè)項(xiàng)目上獲得評(píng)測(cè)數(shù)據(jù)。由96個(gè)至強(qiáng)8380處理器和96個(gè)Habana Gaudi2 AI芯片構(gòu)建的系統(tǒng)中,完成同樣測(cè)試的時(shí)間為311.94分鐘。橫向?qū)Ρ?,使?68個(gè)H100芯片的平臺(tái)跑完這個(gè)測(cè)試也只需要45.6分鐘。

(芯片越多數(shù)據(jù)越好看,來(lái)源:英偉達(dá))

對(duì)于這個(gè)結(jié)果,英特爾也表示仍有上升空間。理論上只要堆更多的芯片,運(yùn)算的結(jié)果自然會(huì)更快。英特爾AI產(chǎn)品高級(jí)主管Jordan Plawner對(duì)媒體表示,接下來(lái)Habana的運(yùn)算結(jié)果將會(huì)呈現(xiàn)1.5倍-2倍的提升。Plawner拒絕透露Habana Gaudi2的具體售價(jià),僅表示業(yè)界需要第二家廠商提供AI訓(xùn)練芯片,而MLPerf的數(shù)據(jù)顯示英特爾有能力填補(bǔ)這個(gè)需求。

而在中國(guó)投資者更熟悉的BERT-Large模型訓(xùn)練中,英偉達(dá)和CoreWeave將數(shù)據(jù)刷到了極端的0.13分鐘,在64卡的情況下,測(cè)試數(shù)據(jù)也達(dá)到了0.89分鐘。BERT模型中的Transformer結(jié)構(gòu)正是目前主流大模型的基礎(chǔ)架構(gòu)。

關(guān)鍵詞:

最新文章