近日,，新加坡國立大學(xué)蘇州研究院（以下簡稱“新國大蘇研院”）智慧醫(yī)療技術(shù)卓越研究中心高級研究員李正國團隊在國際頂尖學(xué)術(shù)期刊《自然?通訊》（《Nature Communications》）上發(fā)表科研成果,。李正國團隊成功研發(fā)了一種基于摩擦電手套的手語識別和交流系統(tǒng),，該系統(tǒng)在人工智能的輔助下，不僅實現(xiàn)了普遍的多個手語單詞識別,，還能對句子特別是未經(jīng)人工智能訓(xùn)練的新句子進行解析與翻譯,，滿足了語言/聽覺障礙者高頻率使用句子的日常交流需求，提高了手語識別系統(tǒng)的實用性,。

▲手語識別與交流系統(tǒng),、傳感器分布示意圖及傳感器基本表征

研究背景和研究思路

手語識別，尤其是句子識別,，對于減少聽力/語言障礙者和非手語者之間的交流障礙具有重要意義,。目前主流之一的手套解決方案依賴信號幅值，頻率或者峰值數(shù)的簡單特征,，只能識別少數(shù)的離散的單一手勢（即數(shù)字,、字母或單詞），無法滿足手語者日常交流的需求,。近年來,，雖然人工智能輔助的穿戴式界面能識別更多種類的單字，但依舊無法解決句子特別是未經(jīng)人工智能訓(xùn)練的新句子的識別問題,。對此,，李正國團隊創(chuàng)新提出了一種句子分割方法，開展了人工智能輔助的實用手語識別系統(tǒng)的研發(fā)工作,。

技術(shù)亮點

該系統(tǒng)包括摩擦電傳感手套,、深度學(xué)習(xí)模塊和用戶界面。作為演示,，該系統(tǒng)實現(xiàn)了對50個單詞和20個句子的獨立識別,，在非分割框架內(nèi)，其準(zhǔn)確率分別高達91.3%和95%,。此外,，為了克服無法識別未經(jīng)訓(xùn)練的新句子的局限，分割法將數(shù)據(jù)集內(nèi)的句子信號劃分為單詞片段,，深度學(xué)習(xí)模型則負責(zé)記憶所有出現(xiàn)過的單詞單元,。得益于單字與句子間的某種關(guān)聯(lián)，單層分類器和多層分類器能夠重建并識別數(shù)據(jù)庫內(nèi)已經(jīng)存在的句子,。同時,，分割法還提供了識別未經(jīng)人工智能訓(xùn)練的新句子的可能性，這些句子中的單詞單元都存在于數(shù)據(jù)庫中,，但以一種全新的順序排列,。虛擬現(xiàn)實界面是手語使用者與非使用者的溝通橋梁。在此界面上，語言/聽力障礙者可以直接使用手語與非手語使用者進行互動,，非手語使用者則能直接打字參與交流,。

▲分割法示意圖及分割后標(biāo)簽匯總

▲分割法下單詞與數(shù)據(jù)庫內(nèi)已經(jīng)存在的句子的識別率及未經(jīng)訓(xùn)練的新句子識別示意圖

應(yīng)用場景

該項成果未來可為語言/聽力障礙者提供有效的交流平臺，對減少手語使用者與非使用者的溝通障礙和提高語言/聽力障礙者的社會參與感具有重要意義,。此外,，該項技術(shù)也可應(yīng)用于殘疾人輔助設(shè)備、醫(yī)療健康等領(lǐng)域,，助力以人為本的物聯(lián)網(wǎng)建設(shè),。

▲應(yīng)用于語言/聽力障礙者與非手語使用者的交流

新國大蘇研院的科研工作聚焦前沿技術(shù)，開展原創(chuàng)性,、應(yīng)用性研究,，與產(chǎn)業(yè)發(fā)展強關(guān)聯(lián)，與蘇州工業(yè)園區(qū)及地方科技深融入,，已建立環(huán)境與能源納米科技,、智慧醫(yī)療技術(shù)、大健康生物與食品工程等卓越研究中心,。新國大蘇研院致力于推動科技成果轉(zhuǎn)化落地工作,，希望通過研究產(chǎn)生有影響力的高科技創(chuàng)新產(chǎn)品，賦能地方產(chǎn)業(yè)升級,。目前,，研究院承擔(dān)各項科研項目100余項，在國際著名期刊發(fā)表了800余篇有影響力的科研論文,，其中2篇發(fā)表在Nature母刊,，14篇發(fā)表在Nature子刊。