你懂他/她嗎？他/她懂你嗎？你是否經(jīng)常因?yàn)闊o(wú)法共情他人，或者被共情而苦惱？

人類情感是一種復(fù)雜而多變的心理狀態(tài)，常常隱藏在“面具”之下，難以被他人準(zhǔn)確理解。盡管面部表情、語(yǔ)言語(yǔ)調(diào)等非語(yǔ)言信號(hào)提供了一些線索，但仍然存在著許多挑戰(zhàn)，使得人類之間的情感交流變得復(fù)雜而模糊。

隨著科技的不斷進(jìn)步和人類對(duì)于智能化系統(tǒng)的需求日益增長(zhǎng)，情感識(shí)別技術(shù)作為人機(jī)交互領(lǐng)域的重要組成部分，正受到越來(lái)越多的關(guān)注。

傳統(tǒng)的情感識(shí)別技術(shù)主要基于面部表情、語(yǔ)音語(yǔ)調(diào)等人類非語(yǔ)言交流方式進(jìn)行分析，然而，這些方法往往受到環(huán)境條件、個(gè)體差異等因素的限制，難以實(shí)現(xiàn)準(zhǔn)確而高效的情感識(shí)別。

由于情緒、心情和感覺等人類情感的抽象性和模糊性，理解和準(zhǔn)確提取情感信息一直是個(gè)難題。

因此，尋求一種能夠在各種環(huán)境下實(shí)現(xiàn)準(zhǔn)確情感識(shí)別的新途徑已然成為當(dāng)前研究的重點(diǎn)之一。

近日，來(lái)自蔚山科學(xué)技術(shù)院、南洋理工大學(xué)的研究團(tuán)隊(duì)，提出了全球首個(gè)實(shí)時(shí)可穿戴人類情感識(shí)別技術(shù)，并開發(fā)了一種多模態(tài)人類情感識(shí)別系統(tǒng)，該系統(tǒng)結(jié)合了語(yǔ)言和非語(yǔ)言表達(dá)數(shù)據(jù)，可有效利用全面的情緒信息。

相關(guān)研究論文以“Encoding of multi-modal emotional information via personalized skin-integrated wireless facial interface”為題，已發(fā)表在科學(xué)期刊 Nature Communications 上。

據(jù)介紹，該系統(tǒng)的核心是個(gè)性化皮膚集成面部界面（Self-powered Skin-interfaced Facial and Vocal Emotion Recognition Interface，PSiFI）系統(tǒng)，該技術(shù)基于自供電的摩擦電原理，通過特制的傳感器單元，能夠同時(shí)感知面部和聲音表達(dá)所產(chǎn)生的信號(hào)，從而實(shí)現(xiàn)對(duì)人類情感的準(zhǔn)確識(shí)別。

該論文的第一作者 Jin Pyo Lee 表示：“有了這個(gè)系統(tǒng)，只需幾個(gè)學(xué)習(xí)步驟，無(wú)需復(fù)雜的測(cè)量設(shè)備，就能實(shí)現(xiàn)實(shí)時(shí)情感識(shí)別。這為未來(lái)的便攜式情感識(shí)別設(shè)備和下一代基于情感的數(shù)字平臺(tái)服務(wù)提供了可能性。”

此外，研究團(tuán)隊(duì)還將該系統(tǒng)應(yīng)用于 VR 環(huán)境（智能家居、私人影院和智能辦公室等），通過識(shí)別個(gè)人在不同情況下的情緒，提供個(gè)性化的音樂、電影和書籍推薦。

準(zhǔn)確識(shí)別面部表情和聲音

PSiFI 技術(shù)是一種基于生理信號(hào)的面部和聲音表情感知界面。該技術(shù)利用 PDMS 和 PEDOT:PSS 等柔性、透明、可加工的材料構(gòu)建傳感器單元，用于捕捉人體面部和聲音等生理信號(hào)，實(shí)現(xiàn)對(duì)情感狀態(tài)的識(shí)別和監(jiān)測(cè)。

其中，PDMS 具有出色的柔軟性和透明性，PEDOT:PSS 導(dǎo)電層可提供良好的電導(dǎo)性，這兩者是構(gòu)建 PSiFI 系統(tǒng)的關(guān)鍵材料。利用這些材料的可加工性和可調(diào)制性，可以實(shí)現(xiàn) PSiFI 技術(shù)的構(gòu)建和制備。

圖｜PSiFI 系統(tǒng)概述。A. PSiFI 包括摩擦電傳感器（TES）、用于無(wú)線通信的數(shù)據(jù)處理電路以及用于面部表情和語(yǔ)音識(shí)別的深度學(xué)習(xí)分類器。B. 可穿戴面罩的 PSiFI 二維布局，并在面部緊張和聲音振動(dòng)等感官刺激方面描繪了兩種不同類型的 TES。C. 由電極層和介電層等簡(jiǎn)單兩層結(jié)構(gòu)組成的 TES 示意圖以及 TES 組件的照片。比例尺：1 cm。D. TES 制造組件示意圖。PEDOT:PSS 基電極是由半固化工藝制成的（左圖）?？紤]到應(yīng)變和振動(dòng)等傳感刺激，介電層進(jìn)行了不同的設(shè)計(jì)，以實(shí)現(xiàn)最佳的傳感性能。中間的插圖為應(yīng)變型介電層的納米結(jié)構(gòu)表面的 SEM 圖像，右側(cè)插圖顯示作為振動(dòng)型介電層的聲孔的沖孔的照片。比例尺：2 μm 和 1 mm。

PSiFI 系統(tǒng)由 PDMS 基底、PEDOT:PSS 導(dǎo)電層和聲學(xué)孔組成。PDMS 提供柔軟性和舒適性，PEDOT:PSS 導(dǎo)電層用于傳輸信號(hào)，聲學(xué)孔用于增強(qiáng)傳感器的靈敏度和性能。

將 PDMS 的基礎(chǔ)材料與固化劑按照一定比例混合，并在真空脫氣后在基板上涂覆形成所需薄膜。通過混合 PEDOT:PSS 的水性分散液和添加劑，然后在基板上涂覆和固化形成導(dǎo)電層。

圖｜應(yīng)變傳感單元的工作機(jī)理及表征。A. 應(yīng)變傳感單元的示意圖。插圖：檢測(cè)面部應(yīng)變的傳感單元的放大視圖。B. 應(yīng)變傳感單元在屈曲和拉伸狀態(tài)下的電位分布。

圖｜用于輸出測(cè)量的實(shí)驗(yàn)裝置的真實(shí)圖像。比例尺：1 cm。

通過特定的涂覆和固化方法將 PDMS 和 PEDOT:PSS 層結(jié)合形成傳感器單元。利用激光切割技術(shù)在 PDMS 基底上制備聲學(xué)孔，從而增強(qiáng)傳感器的靈敏度和響應(yīng)性。

圖｜振動(dòng)傳感單元的工作機(jī)制和表征。A. 振動(dòng)傳感單元的示意圖。插圖：檢測(cè)聲帶振動(dòng)的傳感單元的放大視圖。B. 工作循環(huán)期間傳感單元的電勢(shì)分布。C. 用于聲音振動(dòng)傳感器的孔圖案配置示意圖以及 32 孔配置中孔的 SEM 圖像。比例尺：2 mm（插圖：顯示聲孔的放大視圖。比例尺：400 μm）。

在搭建好 PSiFI 系統(tǒng)之后，為確保其性能，研究團(tuán)隊(duì)進(jìn)行了一系列測(cè)試。

首先，研究人員使用光譜儀對(duì) PSiFI 系統(tǒng)的透明性進(jìn)行測(cè)試。結(jié)果顯示，PSiFI 系統(tǒng)在可見光范圍內(nèi)具有良好的透明性，允許光線穿透，使得用戶能夠舒適地佩戴 PSiFI 設(shè)備而不感到遮擋或阻礙。

然后，研究人員對(duì)此進(jìn)行了拉伸實(shí)驗(yàn)和彎曲實(shí)驗(yàn)，以驗(yàn)證 PSiFI 系統(tǒng)在各種形變下的柔韌性和穩(wěn)定性。實(shí)驗(yàn)結(jié)果表明，即使在受到拉伸或彎曲時(shí)，PSiFI 系統(tǒng)仍能保持其結(jié)構(gòu)完整性和性能穩(wěn)定性，表現(xiàn)出優(yōu)異的柔韌性。

隨后，研究團(tuán)隊(duì)又開展了情感識(shí)別實(shí)驗(yàn)。

他們使用 PSiFI 傳感器對(duì)面部運(yùn)動(dòng)信號(hào)進(jìn)行采集，并利用先進(jìn)的算法進(jìn)行處理和分析。結(jié)果表明，通過監(jiān)測(cè)面部肌肉的微小運(yùn)動(dòng)變化，PSiFI 系統(tǒng)能夠準(zhǔn)確捕捉和記錄不同情感狀態(tài)下的面部表情特征。

此外，研究團(tuán)隊(duì)還利用 PSiFI 技術(shù)對(duì)聲音信號(hào)進(jìn)行采集，并通過聲學(xué)分析方法進(jìn)行情感識(shí)別。結(jié)果顯示，PSiFI 系統(tǒng)能夠有效地捕捉和分析聲音的頻率、振幅和其他特征，從而識(shí)別出言語(yǔ)中所蘊(yùn)含的情感信息。

未來(lái)，也許機(jī)器比人更懂你

研究團(tuán)隊(duì)表示，在未來(lái)，PSiFI 技術(shù)可以應(yīng)用于情感識(shí)別領(lǐng)域，通過監(jiān)測(cè)面部和聲音信號(hào)，識(shí)別出個(gè)體的情感狀態(tài)，為智能醫(yī)療系統(tǒng)提供情感健康監(jiān)測(cè)和診斷服務(wù)。

在人機(jī)交互領(lǐng)域，PSiFI 技術(shù)也可以與智能設(shè)備集成，實(shí)現(xiàn)人機(jī)自然交互。例如，在虛擬現(xiàn)實(shí)環(huán)境中，PSiFI 技術(shù)可以用于感知用戶的情感狀態(tài)，從而實(shí)現(xiàn)更加智能化和個(gè)性化的用戶體驗(yàn)。

在機(jī)器人方面，PSiFI 技術(shù)則可應(yīng)用于情感智能機(jī)器人領(lǐng)域，使機(jī)器人能夠識(shí)別和理解人類的情感表達(dá)，從而更好地與人類交流和互動(dòng)。

必須說(shuō)明的是，這項(xiàng)技術(shù)并非十全十美，目前還存在一些局限性。

首先，PSiFI 技術(shù)的傳感器需要具備高靈敏度，從而準(zhǔn)確捕捉和分析微弱的面部和聲音信號(hào)，但目前傳感器的靈敏度還有待進(jìn)一步提高。這可以通過優(yōu)化傳感器的結(jié)構(gòu)和材料選擇，提高傳感器的靈敏度和穩(wěn)定性，使其更適用于不同情境和環(huán)境下的情感識(shí)別任務(wù)。

此外，PSiFI 技術(shù)需要處理大量的生理信號(hào)數(shù)據(jù)，并進(jìn)行復(fù)雜的數(shù)據(jù)分析和算法處理，這對(duì)數(shù)據(jù)處理能力提出了挑戰(zhàn)，需要更加高效和智能的算法和處理平臺(tái)。在未來(lái)，可以開發(fā)更加高效和精確的數(shù)據(jù)處理算法，提高 PSiFI 技術(shù)對(duì)生理信號(hào)的分析和識(shí)別能力，從而提升情感識(shí)別的準(zhǔn)確性和可靠性。

當(dāng)然，這項(xiàng)技術(shù)結(jié)合了生物醫(yī)學(xué)、工程學(xué)、心理學(xué)等領(lǐng)域的專業(yè)知識(shí)和技術(shù)，需要更多的跨學(xué)科合作，來(lái)共同推動(dòng) PSiFI 技術(shù)的發(fā)展和應(yīng)用，拓展其在智能醫(yī)療、人機(jī)交互等領(lǐng)域的應(yīng)用前景。

近年來(lái)，情感識(shí)別技術(shù)在人機(jī)交互、醫(yī)療健康等領(lǐng)域得到了廣泛關(guān)注和研究。除了 PSiFI 技術(shù)，還有許多其他相關(guān)研究取得了重要進(jìn)展。

例如，基于圖像處理和深度學(xué)習(xí)的面部表情識(shí)別技術(shù)，以及基于聲音信號(hào)處理和模式識(shí)別的語(yǔ)音情感識(shí)別技術(shù)等。這些研究成果為情感識(shí)別技術(shù)的發(fā)展提供了豐富的技術(shù)手段和方法。

隨著 PSiFI 等創(chuàng)新技術(shù)的不斷出現(xiàn)和應(yīng)用場(chǎng)景的不斷擴(kuò)展，在不久的將來(lái)，人們或許能夠更加智能、更加自然地與智能設(shè)備和系統(tǒng)進(jìn)行交互，醫(yī)療健康管理也將變得更加個(gè)性化和精準(zhǔn)。

到那時(shí)，也許機(jī)器比人更懂你。

參考鏈接：

https://www.nature.com/articles/s41467-023-44673-2

https://www.mdpi.com/1424-8220/23/5/2455

歡迎掃碼關(guān)注深i科普！

我們將定期推出

公益、免費(fèi)、優(yōu)惠的科普活動(dòng)和科普好物！