Ibm watson îi ajută pe studenții universitari să învețe mandarina

Universitățile au parcurs un drum lung în studiile lor de limbă, trecând dincolo de clasele tradiționale într-o sală de cursuri și lecții preînregistrate fără interacțiune. Acum, studenții au acces la tehnologii precum inteligența artificială (AI) și prelucrarea limbajului natural (NLP) într-un mediu de învățare imersiv. Asta se întâmplă la Laboratorul sistemelor cognitive și imersive (CISL) de la Troy, New York, campusul Institutului Politehnic Rensselaer (RPI). De aici, institutul a făcut echipă cu IBM Research pentru a crea tehnologia pentru un curs de vară de șase săptămâni în care studenții interacționează cu agenții AI în medii care includ piețele stradale și restaurante.

Cursul, intitulat "AI-Assisted Immersive Chinese", prezintă un sistem de afișare panoramică la 360 de grade a scenelor generate de computer în camera cognitivă imersivă (CIR) a laboratorului, care se mai numește „Situații camera”. Scenele virtuale au loc în China. Studenții conversează cu avatare care sunt alimentate de Watson Assistant și sunt corectate în vorbirea și pronunția lor. În CIR, studenții folosesc AI conversațional, generarea narativă, conștientizarea contextului spațial și tehnologia de recunoaștere a gesturilor și a feței.

CIR este un exemplu de gamă variată de potențial pentru IBM Watson în mai multe industrii, pe lângă educație. Aceste industrii includ agricultura, resursele umane (HR) și gestionarea flotei.

La RPI, pe lângă asistentul Watson, studenții folosesc Watson Speech to Text, Watson Text to Speech și Translator Language în studiile lor.

Studenții învață mandarina folosind AI în campusul RPI. (Credit de imagine: IBM Research / RPI)

O experiență activă de învățare

Pentru Julian Wong, un junior la RPI, experiența AI imersivă a fost o modalitate atrăgătoare de a învăța mandarina, deoarece îi oferă un mod mai activ de a învăța. Deoarece mandarina este o limbă tonală în care o schimbare a tonului poate modifica sensul cuvintelor, avatarurile din experiența AI oferă feedback pe ton pentru a vă asigura că Wong și ceilalți studenți obțin corect cuvintele.

Lucrul cu AI în CIR oferă un echilibru frumos cu timpul obișnuit de clasă, potrivit Wong. "Întâlnirea pentru a vorbi cu computerul… ajută cu siguranță o mulțime de aspecte ale învățării limbii, în special a abilităților verbale", a spus Wong.

Clasa mandarinului Wong se întâlnește de patru ori pe săptămână. Luni și vineri, urmează o cursă într-o clasă tradițională cu Helen Zhou, profesor asociat la RPI. Acolo învață vocabular nou și primește o introducere în fraze și structuri gramaticale. Marți și joi, clasa se întâlnește în CIR, unde elevii poartă conversații cu agenți virtuali. Într-un mediu de restaurant, Wong a spus că studenții pot parcurge întregul proces de ședere în restaurant, uitându-se la un meniu, comandând mâncare, vorbind cu un ospătar despre modul în care este pregătită mâncarea și achitând factura. Alte medii includ o grădină, o piață și un campus școlar.

Clasa mandarin din clasa imersivă diferă de un mediu tradițional, deoarece oferă o experiență multimodală de limbă și video, potrivit Zhou. Ea a spus că o clasă tradițională va fi mai puțin imersivă și interactivă. "În simularea din sala de clasă imersivă, avem doi agenți care să se lupte între ei, pentru a încerca să convingă elevii să cumpere produsul", a spus Zhou. "Deci elevii ar înțelege prin experiență personală, mai degrabă decât vizionând videoclipuri sau ascultând doar prelegeri. Cred că ar ridica cultura mai ușor decât doar învățând din manuale sau ascultând casete."

În CIR, studenții iau întrebări legate de scenele cu care au interacționat și ridică mâinile pentru a da răspunsuri. Tehnologia viziunii computerizate de la camerele din cameră surprinde gesturile lor. Asistentul AI oferă un test legat de scenă, iar elevii trebuie să răspundă cu o frază în chineză.

„Dacă doriți să selectați una dintre ferestrele de tip pop-up care se află pe ecran, atunci puteți ține mâna, cu palmele deschise și apoi închideți mâna”, a explicat Wong. "Selectați orice este cursorul în prezent. Pentru micile chestionare, dacă știți care este răspunsul corect, atunci puteți muta mâna pe caracterele pe care doriți să le selectați, apoi puteți închide mâna pentru a le selecta. te va anunța dacă ai înțeles sau nu."

Agentul virtual îi înțelege pe studenți de cele mai multe ori, cu excepția cazului în care este posibil să nu aibă microfonul aproape de gură. Sistemul are diferite setări de recunoaștere a vocii, care ridică studenții dacă nu se pronunță. De asemenea, oferă feedback imediat într-o conversație dacă nu aveți un profesor prezent. La timpul propriu, studenții din clasa Mandarin merg pe un site web pentru a accesa clipuri vocale pentru a exersa.

O caracteristică interesantă a experienței imersive la RPI este conștientizarea contextului spațial, în care mai mulți agenți virtuali de pe ecran vă pot spune cu care faceți ochi. „Dacă spui ceva în timp ce te uiți la un agent, atunci acel agent va răspunde și nu celălalt”, a spus Wong.

Un student folosește tehnologia de gestiune și recunoaștere facială a IBM Watson ca parte a unei clase de mandarine la RPI. (Credit de imagine: IBM Research / RPI )

Cum s-a dezvoltat experiența imersivă

Experiența imersivă la RPI a venit a fost creată când profesorii de limbă și profesorii de proiectare a jocurilor s-au întâlnit pentru a discuta un mod mai bun de a preda limba. Un plan de a dezvolta un joc de rol s-a arătat curând într-o discuție despre cum să învețe mandarina printr-o simulare a scenariilor din viața reală, potrivit lui Hui Su, care este atât directorul experienței cognitive pentru utilizator în cadrul IBM Research, cât și director al CISL. IBM și RPI au început să dezvolte cursul la sfârșitul anului 2015 și au creat laboratorul comun la acea vreme. CISL s-a format apoi la scurt timp.

"Scopul laboratorului este de a construi mediul cognitiv și imersiv pentru a îmbunătăți activitățile de grup, pentru a crește inteligența de grup în contextul învățării și luării deciziilor", a spus Su. „Ne concentrăm, de asemenea, pe construirea unor săli de bord cognitive imersive… să privim datele unei situații critice și să încercăm să conștientizăm informațiile și să creăm decizii sau recomandări pentru factorii de decizie”.

Ca parte a programului AI de învățare a limbilor străine, IBM și RPI experimentează analiza conturului pasului. Su a descris cum funcționează această tehnologie. „Când vorbești o silabă, când pronunți o silabă, tehnologia de bază va captura vocea și generează un contur vizual al modului în care pronunți această silabă”, a spus Su. „Apoi folosește acel contur vizual și compară acel contur vizual cu un contur vizual al unui vorbitor nativ.”

Studenții pot apoi să ajusteze în pronunție pentru a atinge tonul corect. Vor învăța că trebuie să schimbe pronunțiile anumitor silabe. Conform cunoștințelor obținute de studenți învățând mandarina în sala de clasă imersivă folosind tehnologia Watson, vor avea mai multă încredere conversând în viața reală, potrivit Su.

"Întreaga idee este de a oferi un context cultural suficient prin mediul nostru imersiv și tehnologia AI pentru a permite studenților să practice un exercițiu", a spus Su. "Deci nu vor avea temeri ca să vorbească cu oamenii din viața reală."

Un student practică mandarina într-un mediu de restaurant virtual, folosind tehnologia IBM Watson. (Credit de imagine: IBM Research / RPI )

O punte între industria tehnologică și Academia

IBM și RPI sunt capabili să construiască o punte de legătură între cercetătorii IBM și membrii facultății, IBM încorporând un cercetător în campus, și anume Su. Între timp, Zhou, profesorul clasei de la RPI, oferă și feedback proiectanților, utilizatorilor și profesorilor cu privire la modul de îmbunătățire a experienței imersive în clasă.

„Trebuie să le ofer feedback imediat pentru a depista sau pentru a îmbunătăți designul, astfel încât să putem oferi studenților o sală de clasă mai naturală”, a spus Zhou. "Deci, este multă muncă implicată, dar merită."

Viitorul învățării limbilor străine

• Cel mai bun software de învățare a limbilor străine pentru anul 2019 Cel mai bun software de învățare a limbilor străine pentru 2019
• IBM lansează instrumente AI pretratate Watson în mai multe industrii IBM lansează instrumente AI pretratate Watson în mai multe industrii
• Vorbește într-adevăr limba noastră AI? Vorbește într-adevăr limba noastră AI?

Acest tip de mediu imersiv este valoros datorită capacității de a oferi un mediu aparent real, conform Zhou. "Mediul imersiv AI nu poate doar să sporească vorbirea și ascultarea studenților, ci și pragmatica utilizării limbajului în situații din viața reală", a spus Zhou. "De aceea, AI este mai ideal pentru mine ca instructor, astfel încât studenții să poată înțelege să folosească limba din timp, chiar și pentru studenții începători, fără a călători în țară."

Mediile de învățare multimodale precum cele oferite la RPI vor extinde rolul AI în clasă. Cu experiența oferită de AI prin agenții virtuali, studenții vor fi pregătiți să abordeze diverse scenarii din lumea reală cu abilitățile lingvistice necesare.