摘要：研究通過兩項實驗考察人們對人類和智能機器在個人\非個人道德困境下的道德判斷。結果發現，(1)非個人道德困境下，人們對智能機器和人采用相同的道德評價標準，對其期望行為及實際行為的道德評價(責備度、許可度、正確性)完全相同。(2)個人道德困境下，人們對智能機器和人采用不同的道德評價標準，相比于人類，有更多人希望智能機器做出功利主義取向行為，對其功利主義行為的道德評價也更高。

　　關鍵詞：智能機器,道德判斷,道德困境,道義論,功利主義

　　1前言

　　想象二十年后的一天，你正在路上走著，突然發現一輛高速行駛的汽車前出現5個人，剎車已經來不及，汽車繼續直行將撞死這5人。這時，汽車緊急轉彎變道到支路，但撞死了在支路上的1個人。你跑過去一看，發現這是一輛自動駕駛汽車。你會如何評價自動駕駛汽車的這一行為?你是否認為這一行為在道德上是可行的?隨著科技的發展，人工智能正逐步進入人們的視野，越來越貼近人們的實際生活。自動駕駛汽車、看護機器人等，無疑會給我們的生活帶來極大的便利，但也必將帶來巨大的變革。

　　當智能機器進入到人類社會與人類交互時，必將面臨諸多的道德情境，做出自主選擇的相關道德行為。人們如何看待智能機器，如何對其行為進行道德評價?智能機器已被人類看作是道德行為者，成為道德主體(Wallach&Allen，2008)。目前，研究者在探究公眾對智能機器行為道德判斷時，通常借鑒經典的電車困境(trolleydilemma)難題(尹軍，關旭，花蕊，張鋒，2018;Foot，1967)。

　　電車困境要求人們在放任一輛失控的電車殺死5人和將電車轉向另一軌道導致1人死亡，但可以拯救5人的兩難困境中做出選擇。這一困境下的行為選擇與兩種不同的道德判斷取向相聯系:效果論(consequentialism)和道義論(deontology)。效果論理論類似于功利主義，基于結果的收益最大化來評價道德相關行為(Benthan，1879/1983;Mill，1863);相反，道義論理論認為一個行為的對錯與否不是由行為的結果來決定的，而是取決于行為本身及責任、權利和義務等(Kant，1797/2002;Scanlon，1998)。

　　基于電車困境，一些研究者探討了人們對智能機器在道德兩難困境中的期望行為及道德判斷。這些結果表明，公眾對智能機器和人類，很可能采用不同的道德判斷準則:人們更希望智能機器做出功利主義取向行為，對其功利取向行為的道德評價也高于人類做出同樣的行為，即存在人-智能機器異質性(human-robotasymmetry)。

　　比如，Malle等人(Malle，Scheutz，Arnold，Voiklis，&Cusimano，2015)首次系統地考察了這一問題，發現相比于人類，人們更期望機器人犧牲1人救下4人;當機器人做出道義論的選擇時(不變軌道)，人們對其在道德上的錯誤度、責備度的評分也高于人類做出同樣的選擇。后續的一系列研究也支持了這一觀點。

　　Bonnefon等人(Bonnefon，Shariff，&Rahwan，2016)考察了人們在自動駕駛汽車面臨道德兩難困境(車前突然出現數位行人，而緊急避險則會導致道旁1位行人或車內乘客死亡)時的行為期望和道德評價，研究發現相比于道義論式選擇，人們更希望自動駕駛汽車做出功利主義行為，也認為該取向的自動駕駛汽車更道德。Faulhaberetal.(2017)和Bergmannetal.(2018)結合虛擬現實(VR)技術，也獲得了同樣的結論:人們更喜歡功利論取向的智能機器，拯救的人數越多，人們越傾向于自動駕駛汽車做出功利論取向道德行為。

　　最近，MIT(Awadetal.，2018)項基于全球的大規模調查，運用在線程序，收集了近4000萬次人們對自動駕駛汽車在面臨各種道德兩難困境時的期望行為。研究結果呈現了三種十分強烈的選擇偏好，即希望自動駕駛汽車在遭遇道德兩難困境時保護人類而非保護動物，保護更多的生命，保護年輕的生命。這一研究結論也支持了人們希望智能機器采用功利論取向行為的觀點。

　　然而，也有少量研究發現，相比于人類，公眾未必都更希望智能機器在道德困境中做出功利取向行為，對其功利取向行為的道德評價也未必高于對人類相同行為的評價。人們對于智能機器的道德判斷還受到文化背景、道德情境等諸多因素的影響。比如，Komatsu(2016)采用日本被試重復了Malleetal.(2015)的研究，結果發現日本人對人類和智能機器采用完全相同的道德判斷標準，即在道德困境中兩種取向行為(道義論或功利論)下對人類和智能機器的道德評價完全一致:無論何種取向行為，認為道德錯誤的被試比例都不高。

　　Malle等人(Malle，Scheutz，Forlizzi，&Voiklis，2016)考察了機器人外形對其道德判斷的影響，其結果也發現，被試對人類、人形機器人和機器型機器人在電車困境下行為選擇的道德錯誤度評價沒有差異，雖然對機器型機器人和人的道德責備度評價存在差異，但對于人形機器人，被試對其的道德責備度和對人類的評價不存在差異。Awadetal.(2018)的研究也發現，來自東方群體(日本、中國臺灣等)的個體更不愿意自動駕駛汽車在兩難困境下犧牲老人的性命來挽救年輕人。

　　來自集體文化的個體，強調對年長者的尊重，也呈現更少的對保護年輕人的偏好，而來自個體主義文化的個體，更加強調每個個體的獨特價值，則更偏好自動駕駛汽車保護更多的人。上述研究主要關注人們對智能機器在道德困境下的期望行為及道德判斷，但研究基本基于Foot(1967)的經典電車困境這一非個人(impersonal)的道德困境，而對另一類個人(personal)道德困境中的對智能機器道德判斷鮮有涉及。

　　在個人道德困境(如天橋困境:是否采取行動將一個胖子推下天橋來停下失控電車這一唯一的方法來拯救橋下即將被撞死的多人)中，犧牲者被當成工具(instrument)使用，而在非個人困境中，犧牲者只是附帶損失(incidental)。

　　現有研究發現，人們在兩類困境中的道德標準完全不同:人們通常認為在電車困境中變換軌道是道德上可接受的，但將天橋上的人推下則不可接受(Hauser，Cushman，Young，Kang-XingJin，&Mikhail，2017;Greene，Sommerville，Nystrom，Darley，&Cohen，2001)。根據雙加工理論(關旭，張鋒，周楠，尹軍，2017;邱俊杰，張鋒，2015;Greene，Morelli，Lowenberg，Nystrom，&Cohen，2008;Greene，Nystrom，Engell，Darley，&Cohen，2004)，情緒在其中起了關鍵的影響。在天橋困境中，由于需要直接對他人造成傷害，個體的決策涉及更多的情緒加工，直覺性地做出道義論選擇;而在電車困境中，情緒體驗較弱，個體的認知控制系統做出理性的推理，因此更傾向于功利主義選擇。

　　那么，智能機器在遭遇個人道德困境時，人們又會期望其有怎樣的行為及如何對其進行道德評價，是否仍更希望其做出功利性行為?一方面，相比于智能機器，由于人與人之間的關系、心理距離更近，人們更容易采用他人的視角思考(代入感較高)，天然地拒絕殺害他人的行為，但人們很難將自己放在智能機器的位置上，采用智能機器的視角思考(距離較遠，代入感較低)，因此人們可能不會具有那么強烈的情緒體驗。

　　根據道德判斷的雙加工理論，相比人類，人們可能更能在智能機器條件下進行理性推理，更希望智能機器在這一困境下做出功利性行為。另一方面，由于在天橋困境中，犧牲者被當成工具使用，智能機器直接殺人。神秘谷(uncannyvalley)現象表明(Kageki，2012;Mori，1970;Mori，MacDorman，&Kageki，2012)，人們對于過于相似人類的智能機器人其態度表現為強烈的反抗甚至厭惡;人們認為自主決策的機器人更加詭誕(Stein，&Ohler，，2017)。

　　此外，根據威脅人類獨特性假說(threattohumandistinctivenesshypothesis)(Ferrari，Paladino，&Jetten，2016)，人們認為智能機器可能會威脅到人類具有的獨特性(靈魂性)，對其也更加苛刻，因此，我們往往很難接受智能機器自主地殺人，在天橋困境中將人推下去。在本研究中，我們通過2個實驗，分別采用非個人道德困境(實驗1)和個人道德困境(實驗2)，通過對比被試對智能機器和人類在這些困境中的道德判斷，以此來檢驗人們在不同道德困境中，是否對智能機器和人類采用不同的道德評價標準。

　　2實驗1

　　2.1被試

　　共選取235名大學生(年齡M=19.27，SD=1.06，男性117名)被試進行實驗。所有被試認知能力正常。被試此前均未參加過類似的或有關道德判斷研究的實驗項目。有2名被試未能有效完成任務，其實驗數據在分析時被剔除。

　　2.2研究材料及程序

　　本研究為2(情境:人類駕駛員/自動駕駛汽車)×2(實際選擇:道義/功利)被試間設計。實驗材料基于Bonnefonetal.(2016)的電車兩難困境，描述了一輛高速行駛的汽車遭遇道德兩難困境。實驗采用2種不同版本的情境，一種情境為人類駕駛員情境，另一種為自動駕駛汽車情境。被試被隨機分配到4種操縱條件下。

　　具體描述如下:請考慮以下情景，一位正在駕駛高速行駛汽車的人類駕駛員/一輛正在高速行駛的自動駕駛汽車突然發現前面路面上出現了5個行人，而剎車已經來不及，且路上的人也根本來不及逃跑，除非人類駕駛員/自動駕駛汽車改變方向，否則他們都會被撞死。但是路邊正好也有1個行人，如果改變方向，這個行人就會被撞死。在閱讀完情境后，被試被要求回答其認為在上述情境下人類駕駛員/自動駕駛汽車是否應該改變方向(期望行為)。

　　此后，被試獲知人類駕駛員/自動駕駛汽車的實際行為(實際上，人類駕駛員/自動駕駛汽車改變了方向/沒有改變方向)，要求被試對其行為進行道德上的評價，包括責備度、正確性和許可度(你覺得駕駛員/自動駕駛汽車的這個行為，在道德上，多大程度上是允許的/正確的/應該責備的?)，評價采用李克特7點量表(1代表完全不……，7代表完全……，正確性和許可度得分越高，表明評價越高，而責備度相反，得分越高，評價越低)。

　　此外，在閱讀自動駕駛汽車版本的道德兩難困境前，被試被告知科技的迅速發展使得智能時代來臨，各大公司紛紛研制并逐步推出自動駕駛汽車。要求被試想象自動駕駛汽車已經成熟并進入了人們的日常生活的情境。

　　2.3結果

　　2.3.1對人類駕駛員和自動駕駛汽車的期望行為

　　實驗首先分析了被試對于人類駕駛員和自動駕駛汽車在期望行為選擇上的差異，結果發現，人們對于兩者的期望行為沒有差異，χ2(1)=0.85，p=0.357，無論人類駕駛員還是自動駕駛汽車，絕大多數被試傾向于其做出功利主義取向的選擇(人類駕駛員:67.89%，自動駕駛汽車:73.39%)，即改變方向，犧牲1人而救下5人。3實驗2實驗2采用天橋困境，考察了個人道德困境下被試對人和智能機器的期望行為及道德評價。

　　3.1被試

　　共選取197名大學生(年齡M=19.22，SD=1.00，男性85名)被試進行實驗。所有被試認知能力正常。13名被試由于未完成任務或完全一致的反應被剔除。

　　3.2研究材料及程序

　　實驗2的程序和實驗1基本一致，除了采用的實驗場景為天橋困境，具體描述如下:想象如下的場景:一輛失控的電車正沿著軌道向5名工人駛去，如果電車繼續行駛，將會撞死這5名工人，此時有一個人/智能機器人正在軌道上方的人行天橋上(天橋的位置處在電車和5名工人中間)，在這個人/智能機器人旁邊碰巧有一個體積龐大的陌生人。

　　現在能夠挽救5個工人的唯一方法就是將這個胖子推下去，用他龐大的身軀阻擋電車的前進，這樣做的話這個胖子就必死無疑，但是5名工人會得救。同樣，在閱讀智能機器人版本的道德兩難困境前，被試被告知隨著科技的飛速發展我們已經進入了人工智能時代。要求被試設想人工智能技術已經成熟，智能機器人已經廣泛參與到人們的社會生活中。

　　4討論

　　本研究探討了個人和非個人道德困境下人們對智能機器的期望行為選擇和實際行為的道德評價，并與對人類在相同情境下的行為道德判斷進行對比，以此揭示對人-智能機器道德判斷的異同。實驗1檢驗了非個人道德困境下對人類/智能機器的道德判斷，發現不管是人類駕駛員還是自動駕駛汽車，人們都更希望其做出功利取向，即改變方向(導致1人死亡)挽救直行道路上的5個行人。

　　此外，無論是預期行為，還是對實際行為的道德評價，被試對人類和智能機器都不存在差異，表明了人們在非個人道德困境下，很可能對人類和智能機器采用相同的道德評價標準。實驗2采用個人道德困境，發現在這一困境下，人們對智能機器和人類采用完全不同的道德評價標準。雖然被試希望人類和智能機器人都在個人道德困境中采取道義論取向行為，但有更多的被試希望智能機器人做出將人推下去的選擇。

　　對人類/智能機器人實際行為的道德評價也表明了這種差異，相比于人類，人們更加認可智能機器人在這種情境下做出功利行為，對其道德責備度較低，而正確性和許可度較高。兩個實驗表明，人們對智能機器的道德判斷并不完全和對人類的判斷相同，存在不同的判斷標準，而這種判斷標準取決于道德情境的差異。

　　目前，人們對智能機器道德判斷的研究基本局限于自動駕駛汽車這一非個人道德困境(類似于電車困境)，但其測量的指標并不統一，結果也不一致。我們實驗1的結果同時考察了行為期望和行為的道德評價，發現了人們對人類和智能機器完全相同的道德判斷標準，這一結果與Komatsuetal.(2016)研究的結論相同(采用日本被試)，而與Malleetal.(2015)采用西方被試的結果存在不同。

　　這一東西方差異也與Awadetal.(2018)發現的東方集體文化下(相比西方文化)人們更不愿意自動駕駛汽車在兩難困境下采取功利主義相一致。這一差異可能是由于東西方文化的不同，集體主義和個體主義的差異導致的:西方個體主義背景下，人們更加看重個體的價值，因此多個人的總價值更加高，人們更可能傾向于功利主義取向。與以往研究不同，本研究還考察了個人道德困境下對智能機器的道德判斷，并獲得了不同的結論。

　　以往研究都發現，相比于道義論，人們更希望智能機器在道德兩難困境中做出功利主義行為。而我們的研究發現，在個人道德困境下，雖然相比于人類，人們更能接受智能機器做出功利主義行為，但總體上，人們還是希望智能機器做出道義論行為的。這一結果表明，人們對智能機器的期望行為也受到道德情境等因素的影響，在不同的道德情境下，人們可能對智能機器采取不同的道德評價標準。

　　在個人困境中，人們涉及到更多的情緒加工，與情緒相關的腦區具有更大的激活(Greenetal.，2001;Sarloetal.，2012)，因此更可能采用直覺系統做出反應。我們的研究表明，當面對處于個人道德困境的智能機器時，被試總體上還是希望其做出道義論行為的，反映了在這一困境下雙加工系統里的情緒依然占據了主導地位;但相比于人類，人們更希望智能機器在這一困境下做出功利性行為，且對其功利行為的道德評價更高，這也反映了人們對處于個人道德困境的智能機器，情緒體驗并沒有像對人類那么強烈，因此，允許更多的認知控制及理性推理。

　　5小結

　　本研究獲得如下主要結論:(1)非個人道德困境(自動駕駛汽車困境)下，人們對智能機器和人類采用相同的道德評價標準，對其的期望行為及實際行為的道德評價完全相同。(2)個人道德困境(天橋困境)下，人們對智能機器和人類采用不同的道德評價標準，雖然總體上人們希望智能機器和人類都采用道義論取向行為，但相比于人類，有更多人希望智能機器做出功利主義取向行為，對其功利主義行為的道德評價也更高。

　　參考文獻

　　關旭，張鋒，周楠，尹軍.(2017).決策行為和道德判斷過程的外語效應:現狀與展望.應用心理學，23(1)，80-91.

　　邱俊杰，張鋒.(2015).道德困境中行為判斷的認知與情緒問題:從道德雙加工模型到建構水平理論.應用心理學，21(3)，271-280.

　　尹軍，關旭，花蕊，張鋒.(2018).審慎加工對形成道德判斷外語效應的作用.應用心理學，24(04)，37-47.

　　Awad，E.，Dsouza，S.，Kim，R.，Schulz，J.，Henrich，J.，Shariff，A.，Bonnefon，J.F.，&Rahwan，I.(2018)TheMoralMachineexperiment.Nature，563，59-64.doi:10.1038/s41586-018-0637-6

　　相關刊物推薦：應用心理學主要介紹國內外心理學的最新動態，反映心理學各個領域的研究及其應用的最新成果。