機(jī)器人看臉讀“心”靠譜嗎？

?

來源：Adapted from GL Archive/Alamy

?

本文轉(zhuǎn)載自公眾號(hào)“Nature自然科研”

撰文：Douglas Heaven

?

數(shù)百張人臉在屏幕上一一閃現(xiàn)，其中一些瞪著眼睛，一些癟著嘴巴，還有一些人的眼睛緊閉、嘴角上揚(yáng)、張大著嘴?？吹竭@些人臉，你必須回答一個(gè)簡(jiǎn)單的問題：這個(gè)人是在經(jīng)歷高潮還是陣痛？

?

2018 年，心理學(xué)家 Rachael Jack 和她的同事招募了 80 個(gè)人來做這個(gè)測(cè)試1。來自英國格拉斯哥大學(xué)的這個(gè)團(tuán)隊(duì)從西方和東亞招募了這些參與者，為的是研究一個(gè)長(zhǎng)久以來的熱門問題：面部表情真的能傳達(dá)情緒嗎？

?

研究人員讓研究對(duì)象從面部讀取情緒的做法已經(jīng)有好幾十年了，包括不同國家的成年人和兒童，甚至還有偏遠(yuǎn)地區(qū)的原住民。上世紀(jì) 60、70 年代，美國心理學(xué)家 Paul Ekman 進(jìn)行的著名觀察性研究發(fā)現(xiàn)，全世界的人都能夠從面部表情準(zhǔn)確推斷出背后的情緒，這說明情緒的表達(dá)是相通的2,3。

?

這種觀點(diǎn)在一代人的時(shí)間里基本未受挑戰(zhàn)。但是，新生代的心理學(xué)家和認(rèn)知科學(xué)家在回顧了這些數(shù)據(jù)后提出了質(zhì)疑。許多研究者現(xiàn)在認(rèn)為，實(shí)際情況要復(fù)雜得多，面部表情在不同情景和文化中有著截然不同的意義。比如，Jack 的研究發(fā)現(xiàn)，雖然西方人和東亞人對(duì)于表示痛苦的面部表情有著相似的認(rèn)識(shí)，但是他們對(duì)于哪種表情表達(dá)愉悅的看法卻并不一致。

?

對(duì)于 Ekman 認(rèn)為人臉是情緒表達(dá)窗口的結(jié)論，研究人員之間的分歧越來越大。但是這并不妨礙商業(yè)公司和政府為他的說法“買單”，并以會(huì)改變?nèi)藗兠\(yùn)的方式加以應(yīng)用。比如，西方的許多司法系統(tǒng)里，讀取被告人的情緒就是公平審判的一部分。美國最高法院大法官 Anthony Kennedy 曾在 1992 年寫道，這么做對(duì)于“了解罪犯的心靈和思想”是很有必要的。

?

Ekman 曾為美國運(yùn)輸安全管理局（TSA）設(shè)計(jì)了一個(gè)備受爭(zhēng)議的培訓(xùn)項(xiàng)目，該項(xiàng)目于 2007 年啟動(dòng)，其核心就是解讀情緒。項(xiàng)目名為“旅客篩查觀察法” （Screening Passengers by Observation Techniques，SPOT），主要目的是訓(xùn)練 TSA 的人員監(jiān)控旅客身上出現(xiàn)的數(shù)十種可疑跡象，這些跡象可能反映了他們焦慮、欺騙和害怕的情緒。該項(xiàng)目遭到了科學(xué)家、美國國會(huì)議員以及美國公民自由聯(lián)盟等民間組織的廣泛質(zhì)疑，他們指責(zé)這種做法并不準(zhǔn)確，還會(huì)帶來種族偏見。

?

此起彼伏的質(zhì)疑聲并沒能阻止頂尖的科技公司，它們相信情緒是容易檢測(cè)的，其中一些公司已經(jīng)開發(fā)出了情緒識(shí)別軟件。眼下，這些軟件正在進(jìn)行測(cè)試或推廣，應(yīng)用范圍包括評(píng)估求職者和崗位的匹配度，測(cè)謊，讓廣告更有吸引力，還能檢測(cè)癡呆癥到抑郁癥等一系列疾病。

?

這個(gè)產(chǎn)業(yè)的估值高達(dá)數(shù)百億美金。微軟、IBM、亞馬遜在內(nèi)的科技巨頭，以及一些專業(yè)性更強(qiáng)的企業(yè)（如波士頓的 Affectiva 和邁阿密的 NeuroData Lab）都推出了通過人臉檢測(cè)情緒的算法。

?

研究者還在苦苦爭(zhēng)辯人類的面部能否忠實(shí)地表達(dá)和感知情緒，不少專家也認(rèn)為用計(jì)算機(jī)來將其自動(dòng)化還早了點(diǎn)，尤其是這種技術(shù)還具有潛在的破壞力。紐約大學(xué)的研究中心 AI Now Institute 呼吁禁止在敏感場(chǎng)合使用情緒識(shí)別技術(shù)，譬如在招聘和執(zhí)法時(shí)4。

?

從事相關(guān)研究的俄亥俄州立大學(xué)研究者 Aleix Martinez 表示，人的面部表情是很難解讀的，哪怕對(duì)人類自己來說都是如此。他說，考慮到這一點(diǎn)，再結(jié)合當(dāng)前萬物皆可自動(dòng)化的趨勢(shì)，“我們應(yīng)該感到擔(dān)心。”

?

膚淺之見

?

人類的面部有 43 塊肌肉，它們可以拉伸、上揚(yáng)、扭曲，表達(dá)幾十種不同表情。雖然面部肌肉可以做許多動(dòng)作，但科學(xué)家們一直都相信，特定表情對(duì)應(yīng)特定的情緒。

?

持這種觀點(diǎn)的人就包括達(dá)爾文。他在 1859 年出版的野外考察巨著《物種起源》稱得上是觀察方面的教科書。他的另一部影響力稍差的作品——《人類和動(dòng)物的情感表達(dá)》（1872）則頗為教條。

?

達(dá)爾文注意到，靈長(zhǎng)類動(dòng)物的面部動(dòng)作和人類表達(dá)情緒（如厭惡和害怕）有些類似。他由此提出，這些表情肯定有某種適應(yīng)性功能。比如，撅嘴巴，皺鼻子，擠眼睛這種與厭惡相關(guān)的表情，最初可能是為了抵御有害的病原體。只是隨著社會(huì)行為的出現(xiàn)，這些面部表情才開始發(fā)揮起溝通的作用。

?

達(dá)爾文關(guān)于情緒的論述中囊括了大量擺拍的表情，比如這些努力模仿痛苦的受試者。來源：Alamy

?

Ekman 在 60 年代開展的首批跨文化實(shí)地研究支持了達(dá)爾文的假說。他在世界范圍內(nèi)研究了人類對(duì)六種關(guān)鍵情緒（快樂、悲傷、憤怒、害怕、驚訝和厭惡）的表情和感知，研究對(duì)象甚至包括新幾內(nèi)亞的一個(gè)偏遠(yuǎn)部落2,3。

?

Ekman 告訴《自然》，他挑選這六種情緒是出于實(shí)際考慮。他說，一些情緒，比如羞恥和內(nèi)疚并沒有外顯的表情，“我關(guān)注的這六種情緒是有表情的，也就是說，它們可以作為研究的對(duì)象”。

?

Ekman 認(rèn)為，這些早期研究支持了達(dá)爾文進(jìn)化論引申出的表情普適論。后來的研究則證明了某些面部表情具有適應(yīng)性優(yōu)勢(shì)5。

?

波士頓東北大學(xué)的心理學(xué)家 Lisa Feldman Barrett 表示：“長(zhǎng)久以來，人們認(rèn)為面部表情是一種強(qiáng)制性動(dòng)作?！?也就是說，我們的面部無法隱藏我們的情緒。不過，這個(gè)假設(shè)的一個(gè)明顯漏洞是，人們確實(shí)能偽造情緒，也可以讓情緒不寫在臉上。Ekman 這一派的學(xué)者也承認(rèn)，每種情緒的表情并沒有一個(gè)所謂的“金標(biāo)準(zhǔn)”。

?

越來越多的研究者提出，情緒對(duì)應(yīng)的表情范圍太大，以至于金標(biāo)準(zhǔn)的概念幾近分崩離析。他們用一篇大型綜述支持了這個(gè)觀點(diǎn)6。幾年前，期刊《公共利益心理科學(xué)》（Psychological Science in the Public Interest）的編輯邀請(qǐng)了一些觀點(diǎn)互斥的作者組成專家團(tuán)，完成了這篇綜述。

?

領(lǐng)導(dǎo)此次合作的 Barrett 表示：“我們竭盡所能摒棄先見?！彼麄儧]有事先樹立假設(shè)，而是直接從數(shù)據(jù)著手。她說：“觀點(diǎn)不統(tǒng)一的時(shí)候，我們就去尋找新的證據(jù)?！弊詈螅麄冮喿x了約 1000 篇論文，歷經(jīng) 2 年半的研究，得出了一個(gè)很明顯的結(jié)論：沒有證據(jù)，或很少有證據(jù)能證明，人們可以從各種面部動(dòng)作推測(cè)某人的情緒狀態(tài)。

?

面部所能反映的情緒是很有限的。完整圖片見下方。來源：Lance King/Hector Vivas/Ronaldo Schemidt/Kevin Winter/Getty

?

這些研究者甚至引用了一些證明面部動(dòng)作和內(nèi)在情緒無關(guān)的研究。英國德蒙福特大學(xué)的心理學(xué)家 Carlos Crivelli 曾經(jīng)研究過巴布亞新幾內(nèi)亞的特羅布里恩群島的居民，他并沒有發(fā)現(xiàn)能支持 Ekman 觀點(diǎn)的證據(jù)。Crivelli 的結(jié)論是，從外在表現(xiàn)推測(cè)內(nèi)在的心理狀態(tài)，就猶如用尺子在稱重量。

?

證明表情普適性的證據(jù)不足的另一個(gè)原因是，人臉只提供了部分信息。其他信息，比如身體動(dòng)作、個(gè)性、聲調(diào)以及臉色變化，在我們識(shí)別和表達(dá)情緒的過程中也起到了重要的作用。就好比情緒變化會(huì)影響血流量，血流量又會(huì)影響臉色。Martinez 和同事發(fā)現(xiàn)，人們能夠發(fā)現(xiàn)臉色變化和情緒之間的關(guān)系7。而背景一類的視覺信號(hào)也能提供識(shí)別情緒狀態(tài)的線索8。

?

順時(shí)針從左上起：籃球運(yùn)動(dòng)員 Zion Williamson 慶祝灌籃成功；墨西哥球迷歡慶世界杯小組賽晉級(jí)；歌手Adele贏得了 2012 年的格萊美獎(jiǎng)；Justin Bieber 的粉絲在墨西哥城的演唱會(huì)上哭泣。

?

復(fù)雜情緒

?

其他研究者指出，對(duì) Ekman 的結(jié)論的反撲有些過頭了。Ekman 本人深以為然。2014 年，他在對(duì) Barrett 的批評(píng)的回應(yīng)中指出，有大量的研究支持他先前的結(jié)論，包括證明了面部會(huì)自發(fā)做表情的研究。還有研究發(fā)現(xiàn)了表情與大腦以及身體狀態(tài)之間的聯(lián)系。他在回應(yīng)中稱，這些研究說明面部表情不僅反映了人的情緒，也反映了神經(jīng)生理活動(dòng)的模式（見go.nature.com/2pmrjkh）。他說自己的觀點(diǎn)并沒有改變。

?

在加拿大不列顛哥倫比亞大學(xué)的心理學(xué)家 Jessica Tracy 看來，那些認(rèn)為 Ekman 的表情普適論有錯(cuò)的人給出的證據(jù)不過是一小簇反例，他們有些夸大其詞了。

?

她認(rèn)為，即使不同群體或文化對(duì)憤怒表情的理解略有偏差，但也不能推翻整個(gè)理論。大多數(shù)人一看就知道這是一張憤怒的臉，她引用了一項(xiàng)對(duì) 100 個(gè)研究進(jìn)行的分析9。她說：“有大量其他證據(jù)證明，全世界大多數(shù)文化的大部分人都認(rèn)為這個(gè)表情是通用的。”

?

Tracy 和其他 3 位心理學(xué)家認(rèn)為10，Barrett 在文獻(xiàn)綜述里稱他們是將六種情緒刻板地與面部動(dòng)作一一對(duì)應(yīng)，這種解讀有點(diǎn)夸張了。其中一位作者，阿姆斯特丹大學(xué)的 Disa Sauter 表示：“我不認(rèn)為情緒科學(xué)領(lǐng)域還有其他研究者贊同她的觀點(diǎn)?！?/p>

?

Sauter 和 Tracy 認(rèn)為，要解讀面部表情就需要對(duì)情緒進(jìn)行更復(fù)雜的分類。研究者不應(yīng)把快樂視為單一的情緒，而要把它繼續(xù)細(xì)分；快樂下面還包括高興、愉悅、憐憫、自豪等等。這些情緒的表情可能會(huì)有差異或重疊。

?

一些研究使用計(jì)算機(jī)生成隨機(jī)的表情。Rachael Jack 在 2018 年開展的一項(xiàng)研究中，參與者需要指出每張臉與他們心目中對(duì)痛苦或高潮的定義的符合程度。來源：C. Chen et al./PNAS (CC by 4.0)

?

這場(chǎng)爭(zhēng)議的核心其實(shí)在于對(duì)顯著的定義。在一項(xiàng)研究中，參與者需要從六個(gè)情緒標(biāo)簽中選擇一個(gè)來描述他們看到的人臉。一些研究者可能認(rèn)為，如果某個(gè)表情被選擇的幾率大于 20%，那就說明這個(gè)表情的通用性較為顯著。

?

其他人覺得 20% 的標(biāo)準(zhǔn)太寬松了。Jack 認(rèn)為 Ekman 的閾值過低，她在讀博期間讀過 Ekman 早期的論文，她說，“我總是去找我的導(dǎo)師，給他看這些 60、70 年代的圖表，每個(gè)圖表在文化認(rèn)識(shí)上都存在巨大差異。到今天為止，依然沒有數(shù)據(jù)能證明，對(duì)情緒的認(rèn)可是放之四海皆準(zhǔn)的?！?/p>

?

即使不考慮顯著性，研究者還要面對(duì)主觀性的問題：許多研究都需要事先為情緒貼標(biāo)簽，以便在實(shí)驗(yàn)結(jié)束后進(jìn)行比較。因此，Barrett、Jack 以及其他學(xué)者想用更為客觀的方法來研究情緒。Barrett 正在研究生理指標(biāo)，她希望用這類指標(biāo)來描述憤怒，害怕和愉悅。

?

Jack 則用計(jì)算機(jī)隨機(jī)生成的表情來替代擺拍的面部照片，避免局限于最常見的六種情緒。還有研究人員讓參與者自己來對(duì)人臉進(jìn)行分類，或者讓來自不同文化的參與者用自己的母語給照片做標(biāo)記。

?

硅基情緒

?

軟件企業(yè)則避免讓算法進(jìn)行自由聯(lián)想。一般來說，情緒識(shí)別的人工智能算法需要學(xué)習(xí)數(shù)百萬張人臉圖像以及數(shù)百小時(shí)的視頻——每個(gè)情緒都被標(biāo)好了標(biāo)簽，再從這些資料中習(xí)得模式。Affectiva 表示公司已經(jīng)用來自 87 個(gè)國家超過 700 萬張人臉對(duì)軟件進(jìn)行了訓(xùn)練，目前其情緒識(shí)別準(zhǔn)確率已經(jīng)達(dá)到了 90%。

?

該公司拒絕透露算法背后的科學(xué)依據(jù)。Neurodata Lab 公司意識(shí)到了面部在情緒表達(dá)上的差異，但指出：“如果某人正在經(jīng)歷某種情緒，某些面部表情出現(xiàn)的可能性會(huì)高于隨機(jī)概率?！倍摴镜乃惴ɡ玫恼沁@種規(guī)律。而意見尚不統(tǒng)一的研究人員，不管站哪邊，都對(duì)這類軟件持懷疑態(tài)度，無論是對(duì)訓(xùn)練算法所使用的數(shù)據(jù)存在擔(dān)憂，還是認(rèn)為該領(lǐng)域目前仍未有定論。

?

Ekman 說他曾直截了當(dāng)?shù)靥魬?zhàn)過這些公司的說法。他曾寫信給數(shù)家公司，但拒絕透露公司名稱，只說“它們都是世界上最大的軟件公司”，并向它們索要能證明其自動(dòng)化技術(shù)有效的證據(jù)，但沒有得到回音。他說，“在我看來，他們的理論并沒有證據(jù)支持?！?/p>

?

Martinez 折衷地表示，自動(dòng)化情緒識(shí)別或許能代表某個(gè)群體的平均情緒反應(yīng)。Affectiva 公司曾把軟件賣給營(yíng)銷機(jī)構(gòu)和某些品牌，幫助他們預(yù)測(cè)特定消費(fèi)者對(duì)某個(gè)產(chǎn)品或營(yíng)銷手段的反應(yīng)。

?

即使這個(gè)軟件出錯(cuò)也不會(huì)有太大的影響，頂多廣告的效果不如預(yù)期而已。但是，一些算法的應(yīng)用卻可能改變?nèi)藗兊拿\(yùn)，比如面試和邊境檢查。去年，匈牙利、拉脫維亞和希臘試用了一個(gè)旅客預(yù)篩查系統(tǒng)，通過分析面部微表情來測(cè)謊。

?

想要平息這場(chǎng)情緒-表情的爭(zhēng)論，需要?jiǎng)佑貌煌难芯渴侄?。Barrett 常常受邀給科技公司展示她的研究，不久前剛?cè)チ宋④?。她認(rèn)為研究者要踐行達(dá)爾文撰寫《物種起源》時(shí)的做法：“觀察、觀察、再觀察?！庇^察人們?cè)诂F(xiàn)實(shí)生活如何通過面部和身體傳達(dá)信息，而不僅僅只在實(shí)驗(yàn)室里。然后再用機(jī)器來記錄和分析來自真實(shí)生活的影像。

?

Barrett 認(rèn)為更多的數(shù)據(jù)和分析技術(shù)，而不是回顧陳舊的數(shù)據(jù)和實(shí)驗(yàn)，才能幫研究者獲得新知識(shí)。對(duì)于這個(gè)她和其他研究者看來站不住腳的科學(xué)，許多科技公司卻躍躍欲試，她向這些企業(yè)發(fā)出了挑戰(zhàn)：“我們已經(jīng)到了懸崖口，人工智能企業(yè)到底是要繼續(xù)使用漏洞百出的研究假設(shè)，還是去做應(yīng)該完成的事呢？”

?

參考文獻(xiàn)

1.Chen, C. et al. Proc. Natl Acad. Sci. USA 115, E10013–E10021 (2018).

2.Ekman, P., Sorenson, E. R. & Friesen, W. V. Science 164, 86–88 (1969).

3.Ekman, P. & Friesen, W. V. J. Personal. Soc. Psychol. 17, 124–129 (1971).

4.Crawford, K. et al. AI Now 2019 Report (AI Now Institute, 2019).

5.Susskind, J. M. & Anderson, A. K. Commun. Integrat. Biol. 1, 148–149 (2008).

6.Barrett, L. F., Adolphs, R., Marsella, S., Martinez, A. M. & Pollak, S. D. Psychol. Sci. Publ. Interest 20, 1–68 (2019).

7.Benitez-Quiroz, C. F., Srinivasan, R. & Martinez, A. M. Proc. Natl Acad. Sci. USA 115, 3581–3586 (2018).

8.Chen, Z. & Whitney, D. Proc. Natl Acad. Sci. USA 116, 7559–7564 (2019).

9.Elfenbein, H. A. & Ambady, N. Psychol. Bull. 128, 203–235 (2002)

10.Cowen, A., Sauter, D., Tracy, J. L. & Keltner, D. Psychol. Sci. Publ. Interest 20, 69–90 (2019).

?

原文以 Why faces don’t always tell the truth about feelings 為標(biāo)題發(fā)表在 2020 年 2 月 26 日的《自然》新聞特寫上。

關(guān)注【深圳科普】微信公眾號(hào)，在對(duì)話框：
回復(fù)【最新活動(dòng)】，了解近期科普活動(dòng)
回復(fù)【科普行】，了解最新深圳科普行活動(dòng)
回復(fù)【研學(xué)營(yíng)】，了解最新科普研學(xué)營(yíng)
回復(fù)【科普課堂】，了解最新科普課堂
回復(fù)【團(tuán)體定制】，了解最新團(tuán)體定制活動(dòng)
回復(fù)【科普基地】，了解深圳科普基地詳情
回復(fù)【科學(xué)防控】，學(xué)習(xí)疫情相關(guān)科普知識(shí)
回復(fù)【科普小達(dá)人】，報(bào)名參賽贏取萬元大獎(jiǎng)