Articol de Bianca Cheregi
„Viitorul ne urmărește cu obstinație. Este tot timpul în așteptare, abia ascuns vederii, pândind de după colț sau după zarea următoare. Nu știm niciodată ce formă va lua. Adesea, ne surprinde complet nepregătiți” (Susskind, 2019, p. 13)
Dilema troleibuzului („the trolley problem”) este un experiment iconic în filozofia gândirii. O mașină se îndreaptă spre cinci muncitori. Pui frână pentru a devia mașina într-o altă mașină, cu riscul de a lovi un singur om? Sau nu faci nimic?
Judith Thomson, filosof la Massachusetts Institute of Technology (MIT) a propus conceptul de dilema troleibuzului („trolley problem”), cu două scenarii posibile: podul (the „footbridge”) și întreruperea („the switch”). În primul scenariu, cunoscut și sub denumirea „fat man”, mașina se îndreaptă către cei cinci muncitori, dar se află pe un pod. Un om supraponderal este și el foarte aproape de pod, iar dacă mașina se îndreaptă spre el ar putea salve cei cinci muncitori.
Dilema troleibuzului („trolley problem”) poate fi aplicată pe mașinile cu pilot automat (self driving cars). Dacă un vehicul nu are altă opțiune decât să aibă o coliziune, ce coliziune va avea așa încât să se aibă în vedere cel mai bun scenariu posibil? Indiferent de variantele disponibile, niciun răspuns nu va satisface pe toată lumea. Dacă mașina este programată să preia controlul, opțiunea va avea în vedere minimizarea pagubelor, deci producerea unui accident mai mic. Cu alte cuvinte, mai mulți oameni vor trăi. Totuși, nici opțiunea conform căreia cei cinci muncitori mor nu e total greșită (Lin, 2017).
Într-un articol publicat pe MIT Technology Review, jurnalista Karen Hao (2018) discută despre dilema troleibuzului și propune următorul titlu: ar trebui ca o mașină cu pilot automat (self-driving car) să ucidă copilul sau bunica? Depinde de locul din care ești. Cu alte cuvinte, dilema troleibuzului („trolley problem”) diferă în funcție de particularitățile culturale.
În 2014, cercetătorii de la MIT Media Lab au făcut un experiment cunoscut sub denumirea de Mașina Morală („Moral Machine”), pornind de la idea de a crea o platformă în care să reunească deciziile oamenilor despre mașinile cu pilot automat, în diferite variante ale dilemei troleibuzului (vezi Figura 1). La experiment au participat oameni din 233 de țări și s-au înregistrat peste 40 de milioane de decizii (Awad et al., 2018). Experimentul realizat de MIT Media Lab a dezvoltat dilema troleibuzului în comparații menite să polarizeze opiniile: ar trebui ca o mașină cu pilot automat să prioritizeze viețile umane în detrimentul vieților animalelor, pasagerii în detrimentul pietonilor, mai multe vieți în detrimentul unor vieți mai puține, femeile în locul bărbaților, tinerii în locul bătrânilor, sănătoșii în locul bolnavilor, pe cei cu status social mai înalt, pe cei care respectă legea versus cei care o încalcă (Hao, 2018). Ar trebui ca mașina să acționeze într-un fel, sau să urmeze cursul prestabilit, fără nicio acțiune?
Figura 1 – Experimentul Mașinii Morale (Awad et al., 2018, p. 60)
Cercetătorii (Awad et al., 2018) au demonstrat că predomină preferința de a salva vieți umane în detrimentul vieților animalelor, salvarea cât mai multor vieți și mai ales salvarea vieților tinerilor. Există diferențe mari mai ales între culturile individualiste și culturile colectiviste. De exemplu, participanții din culturile individualiste au manifestat o preferință pentru valoarea individuală și a avut în vedere salvarea celor mai mulți oameni. Pe de altă parte, participanții din culturile colectiviste, care se bazează pe respectul față de comunitățile mai în vârstă arată o preferință mai slabă pentru a salva viețile celor tineri (Awad et al, 2018, p. 62). De fapt, experimentul denumit „mașina morală” a împărțit țările în trei zone: prima zonă reunește America de Nord și alte țări europene predominant creștine, a doua zonă include Japonia, Indonezia și Pakistan, cu o tradiția confucianistă sau islamică puternică și a treia zonă este formată din țările ce aparțin Americii Centrale și de Sud, Franța și vechi colonii franceze. Prima zonă a manifestat o preferință mai mare pentru a sacrifica oameni mai în vârstă și a-i salva pe cei tineri, comparativ cu celelalte zone.
Studiul MIT Media Lab realizat pe oameni din 233 de țări are implicații asupra eticii în inteligența artificială. Companii precum Tesla lucrează pentru a îmbunătăți continuu sistemul de siguranță, pentru a eficientiza traficul și consumul de combustibil. Totuși, mașinile Tesla ridică și câteva probleme etice, este important să ne gândim la considecințele asupra siguranței publice. O ipoteză des întâlnită în această abordare este că mașinile cu pilot automat („self driving cars”) vor cauza mult mai puține accidente, comparativ cu accidentele cauzate de șoferii umani. Totuși, observăm că noile tehnologii pot să aducă și provocări de natură morală (Susskind, 2019).
Factori de decizie în dilemele etice
Dilema troleibuzului („the trolley problem”) poate avea o rezolvare în filosofia utilitaristă: alege acea acțiune cu cele mai bune consecințe, cu alte cuvinte cel mai mare bine pentru cel mai mare număr de oameni. Utilitarismul prevede maximizarea fericirii ca stare dezirabilă pentru cei mai mulți oameni și în cel mai înalt grad. Conform lui John Stuart Mill (2014, p. 17),
„convingerea care acceptă utilitatea sau principiul celei mai mari fericiri ca fundament al moralei susține că acțiunile sunt corecte proporțional cu tendința lor de a promova fericire și că sunt incorecte în măsura în care tind să producă inversul fericirii. Prin fericire se înțelege plăcerea și absența durerii; prin nefericire durerea și privarea de plăcere”.
Teoria alegerii morale spune că factorii de decizie vor lua în considerare posibilitățile optime pentru a fi fericiți, ceea ce înseamnă că deciziile se vor baza pe utilitate. John Stuart Mill argumenta prin faptul că atunci când „evaluăm orice alt lucru, o facem atât din punct de vedere al cantității, cât și din acela al calității, ar fi absurd să presupunem că evaluarea plăcerilor ar depinde numai de cantitate” (Mill, 2014, p. 19). Mill distinge între plăceri de cantitate și plăceri de calitate, între plăceri de ordin inferior și plăceri de ordin superior. Dacă animalele sunt satisfăcute prin împlinirea nevoilor imediate, ființele umane au nevoie și de satisfacerea unor trebuințe superioare, precum educația și cultura.
Distincția între ucidere activă și pasivă este una importantă, iar un sistem de inteligență artificială proiectat pentru mașinile Tesla X și S poate avea în vedere acest fapt.
O altă teorie importantă în etica afacerilor este deontologia, care se axează pe raționalitate și autonomie. Imperativul categoric formulat de Immanuel Kant spune că morala ar trebui să fie universală. Pentru ca o lege să fie morală, ea trebuie să fie categorică și să se aplice pentru toți oamenii în toate timpurile, iar astfel să treacă „testul universalizării” (Painter-Morland și ten Bos, 2011, p. 120). Cum putem totuși aplica imperativul categoric în mașinile conduse de un sistem de inteligență artificială? Viața umană este o valoare universală, ceea ce înseamnă că situația dezirabilă ar fi ca robotul mașină să nu sacrifice niciodată vieți umane. Dar dacă ajunge într-o situație în care riscul este inevitabil? Ce ar trebui să aleagă?
În cadrul problemei mașinilor automate intervine și legitimitatea actorilor implicați, inclusiv a stakeholder-ilor. O consecință importantă a erei post-adevăr este că „legitimarea nu mai are loc prin intermediul unor valori teleonomice sau, cum le numește Jean Piaget, „valori de finalitate”, inoculate în corpul social prin intermediul marilor ideologii, ci prin valori de randament, care sunt prezentate și receptate ca valori de finalitate” (Borțun, 2012, p. 118).
Discuția despre mașinile automate aduce în discuție și inteligența artificială (IA). În viziunea Alinei Bârgăoanu (2018),
„discuția despre Inteligența Artificială se poate purta în două planuri. Primul, dominat de ideea Inteligenței Artificiale Generale, comparabilă celei umane, dar net superioară acesteia și independentă de orice input uman, reprezintă domeniul literaturii și filmelor SF: roboți umanoizi care preiau controlul asupra planetei, extermină rasa umană, sunt fie infinit mai buni sau infinit mai răi decât oamenii etc. Al doilea plan are în vedere Inteligența Artificială Specifică: o „inteligență” modelată statistic, infinit superioară celei umane din punctul de vedere al capacității de înmagazinare și prelucrare a unor imense cantități de date, dar incapabilă de a transfera capacitatea uluitoare dobândită într-un domeniu, să zicem, jocul de șah, la altul, jocul de go.”
În ceea ce privește mașinile automate, vorbim de o Inteligență Artificială Specifică, folosită pentru a eficientiza experiența condusului. Tesla se numără printre companiile care inovează în tehnologie, prin utilizarea mașinilor electrice și a inteligenței artificiale. Așa cum vom vedea mai departe, noile tehnologii aduc provocări de natură morală în cadrul companiei, mai ales prin raportare la sistemul de frânare automată.
Tesla și sistemul de frânare automată. Great power comes with great responsibility
Compania Tesla a fost dată în judecată în decembrie 2016 pentru faptul că modele S și X nu folosesc sistemul de frânare automată (Automatic Emergency Breaking – AEB) atunci când un șofer uman apasă pedala de accelerație. Această decizie a fost contestată pentru că nu previne accidente precum pericolul de a accelera brusc într-un zid.
Sistemul de frânare automată folosește camere și senzori pentru a determina distanța obiectelor față de vehicule. Atunci când o coliziune este inevitabilă, sistemul frânează automat pentru a reduce din impact (Lin, 2018). Compania Tesla a programat sistemul să se dezactiveze în momentul în care primește instrucțiuni de la un șofer uman și poate conduce cu viteză maximă într-un obiect fix. Problema etică semnalată aici ține de faptul că Tesla nu intervine în decizia cauzată de om în cazul unei coliziuni. Astfel, există un decalaj între siguranța mașinilor cu autopilot și decizia companiei Tesla de a nu interveni în coliziunea creată de un agent uman, cum ar fi apăsarea accelerației indiferent de cine sau ce se află în fața mașinii.
În consecință, ordinele date de un agent uman pot face rău, așa cum intrarea unei mașini robot într-un zid poate răni pasagerii din interior, chiar dacă nu sunt oameni în jur (Lin, 2017). O mașină Tesla nu va prelua controlul și nu se va abate de la traiectoria care duce către un grup de oameni, în situația în care șoferul conduce deliberat înspre ei. Dacă mașina ar fi programată să preia controlul, ar putea să creeze alte accidente, astfel că problema persistă. Compania Tesla este responsabilă și în a doua situație, întrucât accidentul nu ar fi avut loc dacă mașina nu ar fi preluat controlul.
Din punct de vedere etic, dacă o companie poate preveni un eveniment nefericit precum un accident de mașină intenționat într-un zid sau în oameni și poate face asta fără să sacrifice ceva important, atunci are obligația morală să intervină (Lin, 2017). Legea bunului samaritean (the Good Samaritan law) aduce în prim plan datoria morală de a ajuta în situații care pun în pericol cetățenii, indiferent de naționalitatea lor.
Prin înlocuirea șoferului uman cu un șofer robot, mașinile Tesla au o super putere. Dacă până acum responsabilitatea era a șoferului care lua decizia, acum responsabilitatea este în mâna robotului care poate salva vieți. Dacă șoferul uman ia o decizie fatală într-o situație de urgență și produce un accident tragic, vina este a lui. Dar dacă un robot ia exact aceeași decizie, nu mai este un reflex inoportun, ci un omicid premeditat. O mașină cu pilot automat (self-driving car) poate fi programată și învățată să acționeze într-un anumit fel, deci pot fi implicații legale pentru compania care a permis acest fapt. Courtney (2016) menționează experimentul desfășurat de un deținător al modelului Tesla S, pentru a testa abilitatea mașinii de a recunoaște agenții umani. Șoferul a rugat un prieten să stea în fața mașinii în timp ce folosea suita semi-automată. Video-ul arată că mașina detectează pietonul, dar totuși alege să accelereze spre el.
Există și voci care spun că dilema troleibuzului este irelevantă, pentru că nu are un impact practic și nu poate duce mai departe la formularea unor principii.
Companiile care dezvoltă inteligența artificială au început să dezbată despre probleme etice ridicate de utilizarea roboților. „O putere atât de mare implică o responsabilitate la fel de mare (with great power comes great responsibility) – iar inteligența artificială este din ce în ce mai puternică” (Simonite, 2017). Tesla se numără printre companiile care au în vedere dezvoltarea și îmbunătățirea continuă a mașinilor robot.
Din perspectivă utilitaristă, o analiză cost-beneficii a deciziei companiei Tesla de a nu utiliza sistemul de frânare automată (Automatic Emergency Breaking – AEB) pentru modele S și X ar trebui să aibă în vedere consecințele pe termen lung. Principiul maximizării fericirii pentru cel mai mare număr de oameni este foarte important, dar calitatea vieților umane implicate nu este mai puțin importantă.
Această situație ridică câteva probleme morale în ceea ce privește decizia Tesla de a nu folosi sistemul de frânare automată în situația în care agentul uman hotărăște să intre într-un zid sau în alți pietoni. Tesla a programat sistemul să se dezactiveze în momentul în care primește instrucțiuni de la un șofer uman. Cu alte cuvinte, care este valoarea acordată de compania Tesla vieții umane? Există vieți ce merită protejate mai mult decât altele? Dilema troleibuzului („the trolley problem”) și experimentul Mașina Morală, realizat de cercetătorii de la MIT Media Lab ne ajută să înțelegem mai multe perspective ale acestei probleme morale.
Bibliografie
Awad, E., Dsouza, S., Kim, R., Schultz, J., Henrich, J., Sharif, A., … Rahwan, I. (2018). The Moral Machine experiment. Nature, (563), 59–63. https://doi.org/10.1038/s41586-018-0637-6
Bârgăoanu, A. (2018). Marea tablă de șah digitală. Convorbiri Europene. Retrieved from https://www.convorbirieuropene.ro/marea-tabla-de-sah-digitala/
Borțun, D. (2012). Relațiile publice și noua societate. Bucharest: Tritonic.
Bučko, A. (2018). Protecting Reputation in Crisis: Case Study of Strategic Reputational Risk Management at Tesla Inc. Retrieved from https://www.academia.edu/36282427/Tesla_case_study.pdf
Courtney, W. S. (2016). Tesla’s Autopilot Seemingly Does Nothing to Avoid Hitting This Pedestrian. The Drive. Retrieved from https://www.thedrive.com/news/4171/teslas-autopilot-seemingly-does-nothing-to-avoid-hitting-this-pedestrian
Hao, K. (2018). Should a self-driving car kill the baby or the grandma? Depends on where you’re from. MIT Technology Review. Retrieved from https://www.technologyreview.com/s/612341/a-global-ethics-study-aims-to-help-ai-solve-the-self-driving-trolley-problem/
Kravets, D. (2017). Tesla: No algorithm prevents sudden acceleration into fixed objects. Ars Tehnica. Retrieved from https://arstechnica.com/tech-policy/2017/04/tesla-says-there-is-no-legal-duty-to-design-a-failsafe-car/
Lin, P. (2017). Here’s How Tesla Solves A Self-Driving Crash Dilemma. Forbes. Retrieved from https://www.forbes.com/sites/patricklin/2017/04/05/heres-how-tesla-solves-a-self-driving-crash-dilemma/#6d598c9f6813
Meyer, P. (2018). Tesla Inc.’s Organizational Structure & Its Characteristics (Analysis). Retrieved November 30, 2019, from http://panmore.com/tesla-motors-inc-organizational-structure-characteristics-analysis
Mill, J. S. (2014). Utilitarismul. Bucharest: ALL.
Painter-Morland, M., & ten Bos, R. (2011). Business ethics and continental philosophy. Cambridge University Press.
Suskind, J. (2019). Politica viitorului. Tehnologia digitală și societatea. Bucharest: Corint.
Bianca-Florentina Cheregi, asistent universitar doctor la Facultatea de Comunicare și Relații Publice, SNSPA, cercetător în cadrul laboratorului Comunicare, Discurs, Probleme Publice (CoDiPo), afiliat Centrului de Cercetare în Comunicare; coordonator al Masteratului de Brand Management și Comunicare Corporativă; bursier „Spiru Haret” în anul academic 2017-2018; ultima carte publicată: „Nation Branding in Post-Communist Romania. A Semiotic Approach” (2018, comunicare.ro).
