【環(huán)球新視野】最強大開(kāi)源語(yǔ)言模型？FalconLM號稱(chēng)性能擊敗Meta的LLaMA

編程客棧（）5月30日 消息:當下，開(kāi)源語(yǔ)言模型如雨后春筍般的冒出，其中有部分號稱(chēng)性能比Meta、谷歌等大科技公司開(kāi)發(fā)的產(chǎn)品更優(yōu)秀。

最近，一款名為FalconLM 開(kāi)源語(yǔ)言模型就號稱(chēng)提供了比 Meta 的 LLaMA 更好的性能，也可以用于商業(yè)。但如果收入超過(guò)100萬(wàn)美元，則商業(yè)用途需要繳納特許權使用費。

據了解，Falc編程onLM 是由阿拉伯聯(lián)合酋長(cháng)國阿布扎比的技術(shù)創(chuàng )新研究所 （TII） 開(kāi)發(fā)。該組織聲稱(chēng) FalconLM 是迄今為止最強大的開(kāi)源語(yǔ)言模型。相比之下，FalconLM 最大的變體擁有400億個(gè)參數，這明顯小于Meta 的具有650億個(gè)參數的 LLaMA編程客棧。

(資料圖片)

在總結各種基準測試結果的Hugging Face OpenLLM 排行榜上，兩個(gè)最大的 FalconLM 模型（其中一個(gè)已經(jīng)用指令進(jìn)行了改進(jìn)）目前以顯著(zhù)優(yōu)勢占據前兩名。

FalconLM 比 GPT-3訓練成本更低效果更好

根據開(kāi)發(fā)團隊的說(shuō)法，FalconLM 競爭優(yōu)勢的一個(gè)重要方面是訓練數據的選擇。語(yǔ)言模型在訓練期間對數據質(zhì)量很敏感。

研究團隊開(kāi)編程客棧發(fā)了一種從公共爬網(wǎng)數據集中提取高質(zhì)量數據并刪除重復數據的流程。在徹底清除重復數據GHYZh后，仍保留了5萬(wàn)億條文本（token）——足以訓練強大的語(yǔ)言模型。

FalconLM 接受了萬(wàn)億token的訓練。TII 還提到了針對性能和效率優(yōu)化的架構，但沒(méi)有提供詳細信息。

據該團隊稱(chēng)，優(yōu)化的架構與高質(zhì)量的數據集相結合，使得 FalconLM 在訓練期間僅需要GPT-3的75% 的計算量，但明顯優(yōu)于舊的 OpenAI 模型。據說(shuō)推理成本是 GPT-3的五分之一。

TII 的 FalconLM 用例包括文本生成、解決復雜問(wèn)題、將模型用作個(gè)人聊天機器人，或用于客戶(hù)服務(wù)或翻譯等商業(yè)領(lǐng)域。

在商業(yè)應用中，TII 希望商業(yè)使用場(chǎng)景下，使用該語(yǔ)言模型獲得100萬(wàn)美元收入后，將收取收入GHYZh的10% 作為版稅，而對于個(gè)人使用和研究，FalconLM 是免費的。

FalconLM 模型的所有版本均可從 Huggingface 免費下載，網(wǎng)址:https://huggingface.co/tiiuae。

除了這些模型，該團隊還在A(yíng)pache2.0許可下以開(kāi)源形式發(fā)布了包含6000億個(gè)文本token的“Refinedweb”數據集的一部分。據說(shuō)該數據集已準備好進(jìn)行多模式擴展，因為示例已經(jīng)包含圖像的鏈接和替代文本。網(wǎng)址:https://huggingface.co/datasets/tiiuae/falcon-refinedweb

標簽：