Inteligența artificială are o problemă de părtinire și este vina noastră

În 2016, cercetătorii de la Boston University și Microsoft au lucrat la algoritmi de inteligență artificială când au descoperit tendințe rasiste și sexiste în tehnologia care stă la baza unora dintre cele mai populare și critice servicii pe care le folosim zilnic. Revelația a fost împotriva înțelepciunii convenționale potrivit căreia inteligența artificială nu suferă de prejudecățile de gen, rasiale și culturale pe care noi oamenii le facem.

Cercetătorii au făcut această descoperire în timp ce studiau algoritmi de încorporare a cuvintelor, un tip de AI care găsește corelații și asocieri între diferite cuvinte, analizând corpuri mari de text. De exemplu, un algoritm instruit de încorporare a cuvintelor poate înțelege că cuvintele pentru flori sunt strâns legate de sentimente plăcute. La un nivel mai practic, încorporarea de cuvinte înțelege că termenul „programare computer” este strâns legat de „C ++”, „JavaScript” și „analiză și design orientate pe obiect”. Atunci când este integrată într-o aplicație de scanare reluată, această funcționalitate permite angajatorilor să găsească candidați calificați cu mai puțin efort. În motoarele de căutare, acesta poate oferi rezultate mai bune prin crearea de conținut care are legătură semantică cu termenul de căutare.

Cercetătorii BU și Microsoft au descoperit că algoritmii de înglobare a cuvintelor aveau prejudecăți problematice - cum ar fi asocierea „programatorului de calculator” cu pronumele masculin și „casnicul” cu cele feminine. Descoperirile lor, pe care le-au publicat într-o lucrare de cercetare intitulată „Bărbatul este pentru programator pe calculator cum femeia este pentru casnice?” a fost unul dintre mai multe rapoarte pentru a debuta mitul neutralității AI și a arunca lumină asupra prejudecății algoritmice, un fenomen care atinge dimensiuni critice, deoarece algoritmii devin din ce în ce mai implicați în deciziile noastre de zi cu zi.

Originea prejudecății algoritmice

Algoritmii de învățare automată și de învățare profundă stau la baza celor mai multe programe contemporane bazate pe AI. Spre deosebire de software-ul tradițional, care funcționează pe baza unor reguli predefinite și verificabile, învățarea profundă își creează propriile reguli și învață prin exemplu.

De exemplu, pentru a crea o aplicație de recunoaștere a imaginii bazată pe învățare profundă, programatorii „antrenează” algoritmul prin alimentarea datelor etichetate: în acest caz, fotografiile etichetate cu numele obiectului pe care îl conțin. Odată ce algoritmul ingerează suficiente exemple, acesta poate acumula tipare comune printre datele etichetate în mod similar și să folosească informațiile respective pentru a clasifica eșantioanele fără marcă.

Acest mecanism permite învățării profunde să îndeplinească multe sarcini care erau practic imposibile cu ajutorul software-ului bazat pe reguli. Dar înseamnă, de asemenea, că software-ul de învățare profundă poate moșteni prejudecăți ascunse sau excesive.

„Algoritmii AI nu sunt părtinitori în mod inerent”, spune profesorul Venkatesh Saligrama, care predă la Departamentul de Inginerie Electrică și Calculatoare a Universității Boston și a lucrat la algoritmi de încorporare a cuvintelor. „Au funcționalitate deterministă și vor prelua orice tendințe care există deja în datele pe care le formează”.

Algoritmii de încorporare a cuvintelor testate de cercetătorii de la Universitatea Boston au fost instruiți pe sute de mii de articole din Google News, Wikipedia și alte surse online în care prejudecățile sociale sunt profund încorporate. Ca exemplu, din cauza culturii bro care domină industria tehnologică, numele de bărbați apar mai des cu locuri de muncă legate de tehnologie - și asta duce algoritmi de asociere a bărbaților cu joburi precum programare și inginerie software.

„Algoritmii nu au puterea minții umane în a distinge ceea ce este corect de greșit”, adaugă Tolga Bolukbasi, un student de doctorat final la BU. Oamenii pot judeca moralitatea acțiunilor noastre, chiar și atunci când decidem să acționăm împotriva normelor etice. Dar pentru algoritmi, datele sunt factorul determinant final.

Saligrama și Bolukbasi nu au fost primii care au dat semnalul acestei prejudecăți. Cercetătorii de la IBM, Microsoft și Universitatea din Toronto au subliniat nevoia de a preveni discriminarea algoritmică într-o lucrare publicată în 2011. În acel moment, prejudecata algoritmică era o preocupare ezoterică, iar învățarea profundă încă nu și-a găsit drumul în mainstream. Astăzi, totuși, prejudecata algoritmică deja lasă amprentă în multe dintre lucrurile pe care le facem, cum ar fi citirea știrilor, găsirea de prieteni, cumpărăturile online și vizionarea videoclipurilor pe Netflix și YouTube.

Impactul prejudecății algoritmice

În 2015, Google a trebuit să-și ceară scuze după ce algoritmii care alimentează aplicația Photos au etichetat doi oameni negri drept gorile - poate pentru că setul său de date de formare nu avea suficiente imagini cu oameni de culoare. În 2016, dintre cei 44 de câștigători ai unui concurs de frumusețe judecat de AI, aproape toți erau albi, câțiva erau asiatici și doar unul avea pielea întunecată. Din nou, motivul a fost că algoritmul a fost instruit mai ales cu fotografii cu oameni albi.

Google Photos, ești nenorocit. Prietenul meu nu este o gorilă. pic.twitter.com/SMkMCsNVX4

- Jackyalciné nu răspunde la multe pe aici. DM (@jackyalcine) 29 iunie 2015

Mai recent, un test al serviciilor de analiză a feței IBM și Microsoft a descoperit că algoritmii companiilor erau aproape impecabile în detectarea genului bărbaților cu pielea ușoară, dar adesea au greșit atunci când sunt prezentate imagini cu femei cu pielea întunecată.

Deși aceste incidente au provocat daune neglijabile, nu se poate spune același lucru despre algoritmii AI în domenii mai critice, cum ar fi asistența medicală, aplicarea legii și recrutarea. În 2016, o anchetă a ProPublica a constatat că COMPAS - software-ul bazat pe AI, care evaluează riscul de recidivă la infractori - a fost părtinitor împotriva persoanelor de culoare. Descoperirea s-a referit mai ales la faptul că judecătorii din unele state folosesc COMPAS pentru a determina cine merge liber și cine rămâne în închisoare.

Într-un alt caz, un studiu al platformei de publicitate Google, care este alimentat de algoritmi de învățare profundă, a descoperit că bărbaților li s-au arătat reclame pentru locuri de muncă cu remunerații mai dese decât femeile. Un studiu separat a găsit o problemă similară cu anunțurile de muncă ale LinkedIn. Încă un altul a arătat că algoritmii de angajare părtinitoare au o probabilitate mai mare de 50% să trimită o invitație la interviu unei persoane al cărei nume era european-american decât unei persoane cu nume afro-american.

Domenii precum aprobarea împrumutului, ratingul de credit și bursa se confruntă cu amenințări similare.

Preocuparea algoritmică este în continuare îngrijorătoare datorită modului în care ar putea amplifica prejudecățile sociale. Sub iluzia că AI-ul este rece, calculul matematic, lipsit de prejudecăți sau prejudecăți, oamenii pot avea tendința de a avea încredere în judecata algoritmică fără a o pune la îndoială.

Într-un interviu acordat Wired Marea Britanie, lectorul de criminalistică al Universității Edinburgh Napier, Andrew Wooff, a observat că lumea polițiștilor „presionată în timp, cu resurse” ar putea determina ofițerii de aplicare a legii să se bazeze prea mult pe decizii algoritmice. „Îmi imaginez o situație în care un ofițer de poliție se poate baza mai mult pe sistem decât pe propriile lor procese de luare a deciziilor”, a spus el. "Parțial ar putea fi astfel încât să poți justifica o decizie atunci când ceva nu merge bine."

Bazându-ne pe algoritmi părtinitori creează o buclă de feedback: Luăm decizii care creează date mai părtinitoare pe care algoritmii le vor analiza și instrui în viitor.

Acest lucru se întâmplă deja pe rețelele de socializare, precum Facebook și Twitter. Algoritmii care rulează fluxurile de știri creează „bule de filtru”, care arată conținut conform cu preferințele și părtinirile utilizatorilor. Acest lucru îi poate face mai puțin toleranți față de părerile opuse și pot polariza și mai mult societatea conducând o pană prin diviziunea politică și socială.

„Pregătirea algoritmică ar putea avea un impact asupra oricărui grup”, spune Jenn Wortman Vaughan, cercetător principal la Microsoft. "Grupurile care sunt subreprezentate în date pot fi în special în risc."

În domenii care sunt deja cunoscute pentru prejudecăți, cum ar fi discriminarea endemică a industriei tehnologice împotriva femeilor, algoritmii AI ar putea accentua aceste prejudecăți și duce la o marginalizare suplimentară a grupurilor care nu sunt bine reprezentate.

Sănătatea este un alt domeniu critic, subliniază Wortman. „Ar putea cauza probleme grave dacă un algoritm de învățare automată utilizat pentru diagnosticul medical este instruit pe date de la o populație și, ca urmare, nu reușește să funcționeze bine asupra celorlalți”, spune ea.

Prejudecata poate fi, de asemenea, dăunătoare în moduri mai subtile. "Anul trecut aveam de gând să o iau pe fiica mea pentru o tunsoare și am căutat online imagini cu„ tunsori pentru copii "pentru inspirație", spune Wortman. Dar imaginile returnate erau aproape toate de copii albi, în primul rând cu părul drept, și mai surprinzător, în primul rând băieți, a observat ea.

Experții numesc acest fenomen „vătămare reprezentativă”: când tehnologia consolidează stereotipurile sau diminuează grupurile specifice. „Este greu de cuantificat sau de măsurat impactul exact al acestui tip de prejudecată, dar asta nu înseamnă că nu este important”, spune Wortman.

Îndepărtarea prejudecății din algoritmii AI

Implicațiile din ce în ce mai critice ale prejudecății AI au atras atenția mai multor organizații și organe guvernamentale, fiind luate unele măsuri pozitive pentru abordarea problemelor etice și sociale care înconjoară utilizarea AI în diferite domenii.

Microsoft, ale cărui produse se bazează foarte mult pe algoritmii AI, a lansat în urmă cu trei ani un proiect de cercetare, denumit Fairness, Accountability, Transparency and Ethics in AI (FATE), care vizează utilizatorilor să se bucure de informații și eficiență sporite ale serviciilor bazate pe AI fără discriminare și părtinire.

În unele cazuri, cum ar fi concursul de frumusețe adjudecat de AI, găsirea și remedierea sursei comportamentului părtinitor al algoritmului AI ar putea fi la fel de ușor ca verificarea și schimbarea fotografiilor din setul de date de antrenament. Dar în alte cazuri, cum ar fi algoritmii de încorporare a cuvintelor pe care cercetătorii de la Universitatea Boston au examinat-o, prejudecata este înscrisă în datele de instruire în moduri mai subtile.

Echipa BU, căreia i s-a alăturat cercetătorul Microsoft Adam Kalai, a dezvoltat o metodă de clasificare a încorporărilor de cuvinte pe baza categorizărilor de gen și identificarea analogiilor potențial părtinitoare. Dar nu au luat decizia finală și ar conduce fiecare dintre asociațiile suspecte de 10 persoane pe Mechanical Turk, piața online a Amazon pentru sarcini legate de date, care ar decide dacă asociația ar trebui eliminată sau nu.

„Nu am vrut să introducem propriile părtiniri în proces”, spune Saligrama, profesorul și cercetătorul din cadrul BU. "Tocmai am oferit instrumentele pentru a descoperi asociații problematice. Oamenii au luat decizia finală."

Într-o lucrare mai recentă, Kalai și alți cercetători au propus utilizarea unor algoritmi separati pentru clasificarea diferitelor grupuri de oameni în loc să folosească aceleași măsuri pentru toată lumea. Această metodă se poate dovedi eficientă în domenii în care datele existente sunt deja părtinitoare în favoarea unui grup specific. De exemplu, algoritmii care ar evalua solicitanții de sex feminin pentru un job de programare ar utiliza criterii care sunt cele mai potrivite pentru acel grup în loc să folosească setul mai larg de date care sunt profund influențate de prejudecățile existente.

Wortman de la Microsoft consideră incluziunea în industria AI ca un pas necesar pentru a combate prejudecata în algoritmi. „Dacă dorim ca sistemele noastre de AI să fie utile tuturor și nu doar pentru anumite demografii, atunci companiile trebuie să angajeze echipe diverse pentru a lucra la AI”, spune ea.

În 2006, Wortman a ajutat să găsească Women in Machine Learning (WiML), care organizează un atelier anual în care femeile care studiază și lucrează în industria AI se pot întâlni, să facă rețea, să schimbe idei și să participe la discuții de grup cu femei în vârstă din industrie și mediul academic. Un efort similar îl reprezintă noul Atelier Black in AI, fondat de Timnit Gebru, un alt cercetător Microsoft, care își propune să construiască un talent mai divers în AI.

Bolukbasi de la Universitatea Boston propune, de asemenea, modificarea modului în care algoritmii AI rezolvă problemele. "Algoritmii vor alege un set de reguli care să-și maximizeze obiectivul. Pot exista multe modalități de a ajunge la același set de concluzii pentru perechile de ieșire de intrare date", spune el. "Luați exemplul testelor cu alegere multiplă pentru oameni. Se poate ajunge la răspunsul corect cu un proces de gândire greșit, dar totuși obține același punctaj. Un test de înaltă calitate ar trebui să fie conceput pentru a minimiza acest efect, permițând doar persoanelor care într-adevăr cunoaște subiectul pentru a obține scoruri corecte. Conștientizarea algoritmilor cu privire la constrângerile sociale poate fi văzută ca un analog al acestui exemplu (deși nu este unul exact), unde învățarea unui set de reguli greșite este penalizată în obiectiv. Aceasta este o cercetare continuă și provocatoare subiect."

Opacitatea AI complică corectitudinea

O altă provocare care stă în calea algoritmilor AI mai echitabili este fenomenul „cutie neagră”. În multe cazuri, companiile își păstrează gelos algoritmii: de exemplu, Northpointe Inc., producătorul COMPAS, software-ul de predicție a criminalității, a refuzat să-și dezvăluie algoritmul proprietar. Singurele persoane care sunt private de funcționarea interioară a COMPAS sunt programatorii săi, nu judecătorii care o folosesc pentru a judeca.

În afară de secretul corporativ, algoritmii AI devin uneori atât de agitați încât motivele și mecanismele din spatele deciziilor lor îi evită chiar și pe creatorii lor. În Marea Britanie, poliția din Durham folosește sistemul AI HART pentru a determina dacă suspecții au un risc scăzut, moderat sau ridicat de a comite noi infracțiuni într-o perioadă de doi ani. Dar o revizuire academică din 2017 a HART a observat că „opacitatea pare dificil de evitat”. Acest lucru se datorează în parte cantității și varietății de date pe care le folosește sistemul, ceea ce face dificilă analizarea motivelor care stau la baza deciziilor sale. „Aceste detalii ar putea fi puse la dispoziția publicului liber, dar ar necesita o cantitate imensă de timp și efort pentru a înțelege pe deplin”, se arată în lucrare.

Mai multe companii și organizații conduc eforturi pentru a aduce transparență în AI, inclusiv Google, care a lansat GlassBox, o inițiativă pentru a face mai inteligibil comportamentul algoritmilor de învățare automată, fără a sacrifica calitatea de ieșire. De asemenea, Agenția de proiecte avansate de apărare în apărare (DARPA), care supraveghează utilizarea AI în armată, finanțează, de asemenea, un efort pentru a permite algoritmilor AI să explice deciziile lor.

În alte cazuri, judecata umană va fi cheia în abordarea prejudecății. Pentru a împiedica existența unor prejudecăți umane rasiale și sociale existente în algoritmii HART, Constambulul Durham a oferit membrilor personalului său sesiuni de conștientizare în jurul prejudecății inconștiente. Forța de poliție a luat, de asemenea, măsuri pentru eliminarea punctelor de date, cum ar fi trăsăturile rasiale, care ar putea crea motive pentru decizii părtinitoare.

Responsabilitatea umană

Dintr-o perspectivă diferită, algoritmii AI pot oferi o oportunitate de a reflecta asupra propriilor prejudecăți și prejudecăți. "Lumea este părtinitoare, datele istorice sunt părtinitoare, de aceea nu este surprinzător că primim rezultate părtinitoare", a declarat pentru The Guardian Sandra Wachter, cercetătoare în etica datelor și algoritmi la Universitatea din Oxford.

Wachter face parte dintr-o echipă de cercetare de la Alan Turing Institute din Londra și Universitatea din Oxford, care a publicat o lucrare care solicită reglementări și instituții să investigheze posibila discriminare de către algoritmii AI.

De asemenea, vorbind cu The Guardian , Joanna Bryson, un informatician la Universitatea din Bath și coautor al unei lucrări de cercetare privind prejudecățile algoritmice, a spus: „Mulți oameni spun că arată că AI este prejudiciată. Nu. Aceasta ne arată că suntem prejudiciați și că AI îl învață."

În 2016, Microsoft a lansat Tay, un bot pe Twitter care trebuia să învețe de la oameni și să se angajeze în conversații inteligente. Însă în 24 de ore de la lansarea lui Tay, Microsoft a trebuit să o închidă după ce a început să spună comentarii rasiste, pe care le-a preluat din conversațiile sale cu utilizatorii Twitter. Poate că acesta este un memento care este timpul trecut ca noi oamenii să ne recunoaștem propriul rol în apariția și propagarea fenomenului de prejudecată algoritmică și să facem pași colectivi pentru a anula efectele acestuia.

„Aceasta este o sarcină foarte complicată, dar este o responsabilitate pe care noi, ca societate, nu trebuie să ne îndepărtăm”, spune Wachter.