近日,，新加坡國(guó)立大學(xué)蘇州研究院（以下簡(jiǎn)稱“新國(guó)大蘇研院”）智慧醫(yī)療技術(shù)卓越研究中心高級(jí)研究員李正國(guó)及團(tuán)隊(duì)成員在國(guó)際頂尖學(xué)術(shù)期刊《ACS Nano》上發(fā)表研究成果,。團(tuán)隊(duì)成功研發(fā)了一種基于多模態(tài)融合的智能軟體機(jī)器爪感知系統(tǒng)，該感知系統(tǒng)集成了基于觸覺(jué)傳感器的局部感知和基于超聲波傳感器的整體感知,，極大提升了感知系統(tǒng)的準(zhǔn)確性和魯棒性,，為實(shí)現(xiàn)低成本和環(huán)境適應(yīng)性強(qiáng)的智能機(jī)器爪提供了可能。

研究背景和思路

柔性電子器件（例如觸覺(jué)傳感器等）已經(jīng)被廣泛地應(yīng)用于軟體機(jī)器人中,，以實(shí)現(xiàn)類似于人類皮膚的感知功能,。傳統(tǒng)的視覺(jué)定位方法是利用基于圖像的視覺(jué)感知來(lái)定位空間中隨機(jī)分布的抓取對(duì)象，但是這種方法對(duì)于昏暗和無(wú)光環(huán)境的適應(yīng)性較差,，并且數(shù)據(jù)采集和處理的復(fù)雜度較高,，成本效益也不高,。相比之下，利用超聲波反射來(lái)實(shí)現(xiàn)物體距離和形態(tài)的高效測(cè)定,，具有數(shù)據(jù)處理簡(jiǎn)單和成本效益高的優(yōu)點(diǎn),，因此是一種行之有效的物體定位和識(shí)別方法。除此之外,，通過(guò)多模態(tài)融合可以進(jìn)一步提升感知系統(tǒng)準(zhǔn)確性和魯棒性,。受此啟發(fā)，李正國(guó)團(tuán)隊(duì)開展了基于摩擦納米發(fā)電觸覺(jué)/彎曲傳感器和壓電超聲波傳感器的多模態(tài)融合的智能機(jī)器手感知系統(tǒng)的研發(fā)工作,。

▲基于多模態(tài)融合感知的智能機(jī)器爪示意圖

技術(shù)亮點(diǎn)

該工作研發(fā)的智能軟體機(jī)器手爪感知系統(tǒng)集成了多種傳感器,，包括壓電超聲波傳感器、柔性摩擦電觸覺(jué)傳感器和手指彎曲傳感器,，可以自主定位和識(shí)別物體,。通過(guò)超聲波傳感器反射的超聲波，系統(tǒng)能夠檢測(cè)物體的頂部形貌和距離,，并定位到抓取位置,。在抓取過(guò)程中，摩擦電觸覺(jué)傳感器和手指彎曲傳感器則可以捕捉到物體的大小,、形狀和材質(zhì)等信息,。這些多模態(tài)信息通過(guò)深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)融合分析，可以有效地利用不同模態(tài)傳感器的互補(bǔ)效應(yīng),，提升物體識(shí)別的準(zhǔn)確率,，拓展智能軟體機(jī)器手爪感知系統(tǒng)在實(shí)際應(yīng)用中的功能性、適用性和魯棒性,。

▲超聲波傳感器的物體定位和頂部形貌識(shí)別

▲摩擦點(diǎn)觸覺(jué)傳感器和手指彎曲傳感器的傳感機(jī)制

應(yīng)用場(chǎng)景

這項(xiàng)研究的意義在于將超聲傳感器和柔性摩擦電傳感器進(jìn)行融合,，實(shí)現(xiàn)了軟體機(jī)器手爪的自主定位和多模態(tài)感知。相比于傳統(tǒng)的視覺(jué)感知,，該項(xiàng)成果所提出的多模態(tài)融合感知系統(tǒng)不僅降低了制造成本和數(shù)據(jù)復(fù)雜度，同時(shí)還大大增強(qiáng)了智能機(jī)器人在各種工作環(huán)境,，特別是昏暗和無(wú)光環(huán)境中的適用性,。此外，該項(xiàng)技術(shù)在智能制造,、無(wú)人商店和智能家居等各種物聯(lián)網(wǎng)和人工智能物聯(lián)網(wǎng)（AIoT）應(yīng)用中也展現(xiàn)出巨大潛力,。

▲多模態(tài)數(shù)據(jù)融合的物體識(shí)別系統(tǒng)

新國(guó)大蘇研院的科研工作聚焦前沿技術(shù)，開展原創(chuàng)性,、應(yīng)用性研究,，與產(chǎn)業(yè)發(fā)展強(qiáng)關(guān)聯(lián)，與蘇州工業(yè)園區(qū)及地方科技深融入,，已建立環(huán)境與能源納米科技,、智慧醫(yī)療技術(shù),、大健康生物與食品工程等卓越研究中心以及生物醫(yī)學(xué)工程創(chuàng)新中心。新國(guó)大蘇研院致力于推動(dòng)科技成果轉(zhuǎn)化落地工作,，希望通過(guò)研究產(chǎn)生有影響力的高科技創(chuàng)新產(chǎn)品,，賦能地方產(chǎn)業(yè)升級(jí)。目前,，研究院承擔(dān)各級(jí)科研項(xiàng)目150余項(xiàng),，在國(guó)際著名期刊發(fā)表了1100余篇有影響力的科研論文，其中2篇發(fā)表在Nature母刊,，29篇發(fā)表在Nature子刊,。