人工智能模型消化80小時(shí)的視頻以學(xué)習手語(yǔ)

對于聾人和重聽(tīng)者來(lái)說(shuō)，像Alexa和Siri這樣的語(yǔ)音識別技術(shù)反而可能是有效溝通的障礙。研究人員利用人工智能開(kāi)發(fā)了一種將手語(yǔ)轉換為文本的工具，可能會(huì )增加聾人社區的包容性和可及性。

翻譯手語(yǔ)需要精確理解手語(yǔ)者的姿勢，以產(chǎn)生準確的文字轉寫(xiě)。巴塞羅那超級計算中心(BSC)和加泰羅尼亞理工大學(xué)(UPC)的研究人員利用人工智能開(kāi)發(fā)了一種改進(jìn)手語(yǔ)翻譯的工具，這是允許聾人和重聽(tīng)者與技術(shù)互動(dòng)并獲得為口語(yǔ)設計的數字服務(wù)的重要一步。

研究人員使用了一個(gè)轉化器式的機器學(xué)習模型，與ChatGPT等其他人工智能工具背后的模型類(lèi)似。變壓器之所以有用，主要有兩個(gè)原因。第一，這些模型特別善于學(xué)習如何應用上下文，這是因為架構中存在自我注意機制--自我注意是神經(jīng)網(wǎng)絡(luò )如何通過(guò)查看文本中的其他詞匯來(lái)確定詞匯的上下文。其次，當從訓練實(shí)例中學(xué)習時(shí)，它們允許更快的吞吐量，使更多的訓練數據在特定時(shí)間內被使用。

這里的訓練數據集來(lái)自How2Sign，這是一個(gè)公開(kāi)可用的大規模、多模態(tài)和多視圖數據集，包括80小時(shí)的美國手語(yǔ)教學(xué)視頻和相應的英語(yǔ)文字記錄。

該研究的主要作者Laia Tarrés說(shuō)："所開(kāi)發(fā)的新工具是以前同樣由BSC和UPC發(fā)布的名為How2Sign的出版物的延伸，在那里，訓練模型所需的數據(超過(guò)80小時(shí)的視頻，其中美國手語(yǔ)翻譯人員翻譯了烹飪食譜或DIY技巧等視頻教程)被公布。有了這些已經(jīng)可用的數據，該團隊開(kāi)發(fā)了一個(gè)新的開(kāi)源軟件，能夠學(xué)習視頻和文本之間的映射。"

對于研究人員來(lái)說(shuō)，使用連續簽名的視頻而不是孤立的簽名是很重要的，因為它更真實(shí)地反映了說(shuō)話(huà)者是如何自然地使用一連串的詞(連接)來(lái)構建句子的，這對確定一個(gè)句子的含義是至關(guān)重要的。

研究人員面臨的一個(gè)挑戰是手語(yǔ)的多變性和復雜性，它可能受到諸如手語(yǔ)者的背景、背景和外表的影響。為了在這方面有所幫助，他們使用膨脹式三維網(wǎng)絡(luò )(I3D)對數據進(jìn)行了預處理，這是一種視頻提取方法，對視頻進(jìn)行三維過(guò)濾，允許直接從視頻中獲取時(shí)空信息。

研究人員發(fā)現，文本預處理也大大改善了簽名到文本的翻譯。為了預處理原始文本，他們將其全部轉換為小寫(xiě)字母，從而降低了詞匯的復雜性。

總體而言，他們發(fā)現他們的模型能夠產(chǎn)生有意義的翻譯，但并不完美。"研究人員說(shuō)："雖然我們的工作顯示出有希望的結果，但仍有改進(jìn)的余地。

由于該模型仍處于實(shí)驗階段，研究人員將繼續努力創(chuàng )建一個(gè)工具，使聾人和重聽(tīng)者能夠獲得與無(wú)聽(tīng)力損失者相同的技術(shù)。

Tarrés說(shuō)："這個(gè)自動(dòng)手語(yǔ)翻譯的開(kāi)放工具是對關(guān)注無(wú)障礙環(huán)境的科學(xué)界的寶貴貢獻，它的發(fā)表代表了向為所有人創(chuàng )造更具包容性和無(wú)障礙的技術(shù)邁出的重要一步。"

該研究報告在線(xiàn)發(fā)表在arXiv上。

標簽： 人工智能 人工智能模型 手語(yǔ)學(xué)習