AI創(chuàng )業(yè)公司MosaicML發(fā)布其語(yǔ)言模型MPT-30B 具有300億參數

6 月 25 日消息，AI 創(chuàng )業(yè)公司 MosaicML 近日發(fā)布了其語(yǔ)言模型 MPT-30B，該模型具有 300 億參數，訓練成本“僅有其他同類(lèi)競品模型的零頭”，有望促進(jìn)行業(yè)逐步降低此類(lèi)模型訓練成本，擴大 AI 模型在更廣泛領(lǐng)域的運用。

MosaicML 公司的首席執行官兼聯(lián)合創(chuàng )始人 Naveen Rao 表示，MPT-30B 的訓練成本為 70 萬(wàn)美元(約 502.44 萬(wàn)元人民幣)，遠低于 GPT-3 等同類(lèi)產(chǎn)品所需的數千萬(wàn)美元訓練成本。此外，由于 MPT-30B 的成本較低，體積較小，它也可以更快速地被訓練，并且更適合部署在本地硬件上。

據悉，MosaicML 使用了 Alibi 和 FlashAttention 技術(shù)來(lái)優(yōu)化模型，可以實(shí)現更長(cháng)的文本長(cháng)度和對 GPU 計算的更高利用率。MosaicML 也是少數幾個(gè)能夠使用 Nvidia H100 GPU 的實(shí)驗室，相比以往成果，當下每塊 GPU 的吞吐量增加了 2.4 倍以上，可帶來(lái)更快的完成時(shí)間。

除了讓 AI 技術(shù)更容易獲得之外，MosaicML 還專(zhuān)注于提高數據質(zhì)量并提高模型性能。他們目前正在開(kāi)發(fā)一款工具，可以幫助用戶(hù)在預訓練過(guò)程中分層加入特定領(lǐng)域的數據，以確保訓練中開(kāi)業(yè)實(shí)現多樣化和高質(zhì)量的數據組合。

MosaicML 公司表示，將模型擴展到 300 億參數只是第一步，接下來(lái)他們將以降低成本為前提，推出體積更大、質(zhì)量更高的模型。

IT之家注意到，目前開(kāi)發(fā)者可以從 Hugging Face 下載并使用開(kāi)源的 MPT-30B 基礎模型，開(kāi)發(fā)者還可以在本地硬件上使用自己的數據，對模型進(jìn)行微調。

標簽：