天天報道:全鏈條中國造，思考起來(lái)更像人！紫東太初全模態(tài)大模型發(fā)布

(相關(guān)資料圖)

不光能讀懂文字、圖像，還能理解音頻、視頻，甚至3D模型、傳感信號，思考起來(lái)更像“真人”。6月16日，在“人工智能框架生態(tài)峰會(huì )2023”上，中國科學(xué)院自動(dòng)化研究所所長(cháng)徐波發(fā)布了“紫東太初”全模態(tài)大模型。作為升級后的2.0版本，它不僅實(shí)現能力提升，還做到全鏈條“中國造”，打造出全棧國產(chǎn)化的通用人工智能底座。

何謂全模態(tài)大模型？“人的學(xué)習受到現實(shí)世界中視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、嗅覺(jué)等各種信號的綜合影響，這些信號每一類(lèi)都是一種模態(tài)，人類(lèi)的學(xué)習過(guò)程是全模態(tài)的。但目前最常見(jiàn)的大語(yǔ)言模型仍以文字、圖片為主要模態(tài)，對音頻、視頻等信息的識別能力不足?！敝锌圃鹤詣?dòng)化所紫東太初大模型研究中心常務(wù)副主任王金橋介紹，在“紫東太初”誕生之初，科研團隊就提出要像養育嬰兒一樣，為它營(yíng)造全模態(tài)的學(xué)習環(huán)境。

早在2021年7月，全球首個(gè)千億參數的多模態(tài)大模型“紫東太初”1.0就已發(fā)布，實(shí)現圖像、文本、語(yǔ)音三類(lèi)數據的相互生成。而歷經(jīng)近2年的迭代，“紫東太初”2.0的能力再升級，除了讀懂圖文外，它還能“看懂”來(lái)自現實(shí)世界的影像數據、力觸覺(jué)、工業(yè)傳感信號等物聯(lián)數據，可以像“人”一樣綜合運用多種信號進(jìn)行思考。

給出一張救護車(chē)圖片、一段森林救火的視頻和一段警笛音頻，“紫東太初”能識別并講述出一段完整的救援過(guò)程；而將一張圖書(shū)館的照片和汽車(chē)鳴笛聲音頻同時(shí)輸入，它則快速發(fā)現了其中的矛盾，認為這段音頻不太可能出現在圖書(shū)館場(chǎng)景之中。

在同樣的參數量級中，多模態(tài)大模型的能力會(huì )強于純粹的語(yǔ)言大模型，這意味著(zhù)“紫東太初”可以用更少的訓練數據實(shí)現更優(yōu)的效果?！捌鋵?shí)這也很好理解，多種信息的綜合輸入，能夠降低認知成本，但這對科研的挑戰更大?！蓖踅饦蛘f(shuō)，得益于團隊在多模態(tài)數據領(lǐng)域的多年積累，科研人員以語(yǔ)義為橋梁，將音頻、視頻、物聯(lián)數據等模態(tài)聯(lián)系起來(lái)，“在這條研發(fā)路徑上，我們走在了世界前列?！?/p>

“從算法到硬件、算力，‘紫東太初’都是‘中國造’?！蓖踅饦虮硎?，大模型算法為中科院自動(dòng)化所自研，以昇騰AI硬件及昇思MindSpore AI框架為基礎，算力則由武漢人工智能計算中心提供支持，“在國產(chǎn)軟硬件的支撐下，我們的大模型一樣能跑得很好、很快?！?/p>

大模型所掌握的數據種類(lèi)越多，與真實(shí)世界的交互能力就越強，在不遠的將來(lái)，多模態(tài)大模型將普惠千行百業(yè)。目前，“紫東太初”大模型已在法律咨詢(xún)、交通出行、醫療健康等領(lǐng)域開(kāi)始引領(lǐng)性示范。例如，通過(guò)部署“紫東太初”，中科院自動(dòng)化所自研的微創(chuàng )柔性手術(shù)機器人MicroNeuro擁有了融合觸覺(jué)與視覺(jué)的跨模態(tài)分析能力，它已完成國際首例深位顱內活檢手術(shù)，并有望隨著(zhù)大模型升級擁有對神經(jīng)外科手術(shù)場(chǎng)景的自主理解。

“紫東太初”還開(kāi)放了服務(wù)平臺，支持各行業(yè)根據各自需求“組裝”模塊，再輸入少量的行業(yè)樣本數據，就能產(chǎn)出自主可控的行業(yè)相關(guān)大模型。徐波表示，未來(lái)3至5年，包括“紫東太初”在內的我國大模型技術(shù)，將在促進(jìn)數字經(jīng)濟發(fā)展方面發(fā)揮重要作用，進(jìn)一步釋放、提升各行業(yè)的勞動(dòng)生產(chǎn)率。

流程編輯：U022

標簽：