Cum unitatea își construiește viitorul pe ar, vr și ai

Unity este cea mai utilizată platformă de dezvoltare 3D din lume. Acesta alimentează 40% din primele 1.000 de jocuri mobile și mai mult de jumătate din toate jocurile mobile noi, potrivit companiei de analiză a aplicațiilor Apptopia. Alături de Unreal Engine, cele două motoare populare de joc stau la baza majorității experiențelor de joc de pe web.

Cu toate acestea, spațiul de dezvoltare 3D este mult mai aglomerat decât a fost odată, în special când vine vorba de dezvoltare de realitate augmentată și virtuală.

Unity servește ca blocuri de construcție sau se integrează cu cele mai noi platforme AR / VR mai noi, inclusiv ARKit Apple și ARCore Google, dar acum se ocupă și de concurența de genul Amazon Sumerian și alte interfețe drag-and-drop care caută să simplifice experiența pentru creatori mai puțin tehnici.

Pentru a rămâne în fața concurenței și a-și evolua platforma pentru un ecosistem în creștere de noi dispozitive și experiențe 3D, Unity împinge o strategie pe două direcții, condusă de diviziunile sale AR / VR și AI. PCMag a vorbit cu Tony Parisi, șeful global al Unity al soluțiilor de marcă VR / AR și Danny Lange, VP-ul AI și Machine Learning, al Unity, pentru o privire interioară asupra viitorului Unității și a modului în care platforma - și jocurile pe care le creează - devin mai inteligente fără chiar îți dai seama.

Vizualizarea Unity despre peisajul AR / VR

IDC prognozează că cheltuielile cu produsele și serviciile AR / VR vor ajunge la 27 de miliarde de dolari în acest an, iar piața crește doar de acolo. Parisi a declarat că Unity își propune să sprijine fiecare platformă din spațiu.

„În urmă cu trei sau patru ani, înainte de a mă alătura, Unity a început să facă investiții semnificative pe piața VR emergentă - Oculus Rift, HTC Vive, Samsung Gear VR etc. - cu scopul de a crea un fel de sistem cu caracteristici complete pentru dezvoltatori așa că nu trebuie să te lauzi în detalii la nivel scăzut despre cum să sprijini aceste platforme ", a spus Parisi. „Am ajuns la punctul în care scrii cele mai multe aplicații o singură dată și poți să le porti pe aceste dispozitive”.

Acest lucru nu este universal adevărat, a spus el, pentru că o aplicație pe care o creați pentru un set de căști pentru vizualizator mobil va fi concepută puțin diferit de o aplicație optimizată pentru o experiență bazată pe computer. În conformitate cu valorile interne ale Unity, platforma alimentează în prezent 69% din experiențele Oculus Rift, 74% la HTC Vive, 87 la sută pe Gear VR și 91 la sută din experiențele de realitate mixtă (MR) pe Microsoft HoloLens.

• Lucrul cu un ecosistem în creștere

  Parisi lucrează în AR / VR încă de la mijlocul anilor 90, lucrând la vizualizarea 3D. A co-creat formatul de fișier VRML și alte specificații care stau la baza WebGL, și a fondat și a lucrat pentru alte câteva companii VR. S-a alăturat companiei Unity la sfârșitul anului 2016 pentru a conduce publicitatea, marketingul și strategia în AR, VR, MR și umbrela cu o realitate extinsă (XR).

  „imediat după boom-ul Pokemon Go, care a fost un fel de AR simplist, mai degrabă despre locație, a merge undeva și a găsi un Pokemon, plus un pic al camerei. Acesta este un factor pe care îl continuăm să creștem. Este vorba despre locație la fel de mult ca este vorba despre imersiune ", a spus Parisi.

  Pe frontul AR, Parisi a vorbit despre modul în care Facebook și Snap își folosesc platformele de Efecte Camera și Lens Studio pentru a evolua ceea ce poți face cu camerele de telefonie inteligentă pentru a cartografia mediul din jurul tău. Smartphone-ul de punte și AR bazat pe căști sunt experiențe precum jocul Star Wars: Jedi Challenges, care a fost creat și cu Unity și funcționează cu un smartphone combinat cu căști Mirage AR Lenovo.

  Următorul val sunt telefoanele cu suport pentru sistemul de operare AR prin ARKit Apple și ARCore Google, a spus Parisi. Ca și în cazul Amazon Sumerian, Unity partenează cu Apple și Google pentru crearea de conținut AR folosind instrumente 3D. Unity servește, de asemenea, ca bază pentru instrumente Google cu sursă deschisă, precum Tilt Brush și Blocks. Parisi are în vedere o lume amplificată comună, care se întinde pe sisteme de operare mobile.

  "Apple și Google sunt ambii parteneri mari. Avem relații profunde cu ei pentru a dezvolta și susține aceste experiențe și conținutul XR prin intermediul instrumentelor 3D ale Unity", a spus Parisi. "O mulțime de instrumente de creație democratizate care nu sunt destinate codificatorilor sau dezvoltatorilor sau proiectanților profesioniști sunt construite în motorul nostru. Ce este și mai bine este că puteți lua modele Blocks sau arta Tilt Brush și să le aduceți în alte aplicații Unity la fel ca orice alt software asta intră în Unitate ".

  Din partea MR și VR, jucătorii mari ai dispozitivului și software-ului sunt Oculus, HTC și, desigur, Microsoft și ecosistemul său Windows Mixed Reality. Unity creează aplicații 3D pentru toate, dar Microsoft estompează liniile între realitatea mixtă și cea virtuală, a spus Parisi. HoloLens este un dispozitiv cu realitate mixtă, dar căștile Windows Mixed Reality sunt VR.

  "Industria încă se apropie de ceea ce ar trebui să numim toate acestea", a spus Parisi. "În funcție de dacă proiectați conținut care se amestecă digital cu lumea reală, versus într-o lume complet imersivă, aveți diferite provocări. În VR, provocările de performanță sunt mai mari. Trebuie să creați o lume complet sintetică. Asta înseamnă PC seturi de cască VR bazate pe 90 de cadre pe secundă, explozând performanța. Realitatea mixtă este mai puțin intensă, dar trebuie, de asemenea, să se adapteze în timp real la întregul mediu pe care îl prelucrează."

• Evoluția creării de conținut 3D

  Unity este un instrument democratizat de creare 3D pentru dezvoltarea de conținut imersiv. Există versiuni Gratuite, Plus și Pro pe care le puteți cumpăra pentru taxe de abonament lunare și este fără drepturi. Deci ceea ce construiți cu Unity este al vostru. În prezent, Unity acceptă construirea pentru aproximativ 30 de platforme diferite, de la smartphone-uri și sisteme de operare pentru PC la o serie de sisteme de jocuri, televizoare inteligente și căști VR.

  Recent, Unity a fost folosită pentru a crea o gamă largă de conținut și experiențe imersive. Acestea variază de la o serie de festivaluri de film Sundance, numită Spheres, care permite telespectatorilor să exploreze o coliziune cosmică a două găuri negre în VR, până la jocul CocoVR de la Disney, care folosește proiecții în 360 de grade pentru transportul jucătorilor în Land of the Dead.

  Parisi a vorbit și despre utilizarea Unity pentru a construi jocuri VR distractive precum Beat Saber și experiențe augmentate, inclusiv aplicația MLB At Bat AR, care permite spectatorilor de baseball să își arate smartphone-urile la joc și să vadă statistici pe ecran deasupra jucătorilor.

  Unity poate construi toate aceste tipuri de aplicații, dar există multe nuanțe de luat în considerare în design. Experiențele bazate pe computer sunt mai puternice, permițând modele 3D mai mari în medii mai bogate, iar căștile precum Oculus Rift și HTC Vive vă oferă, de asemenea, controlere de intrare, împreună cu urmărirea pozițională și la scară de cameră. Parisi a spus că trebuie să proiectați pentru acest tip de aplicație diferit de cel pentru o experiență de vizualizare de 3 grade de libertate pe un set cu cască precum Google Daydream View. Nu este la fel de ușor ca apăsarea unui buton, dar Unity a lucrat pentru a se asigura că conținutul 3D pe care îl creați se poate muta de la un dispozitiv la altul fără prea multă codificare.

  Dincolo de aplicațiile de jocuri și divertisment pentru experiențe AR / VR, una dintre întrebările cu care Unity a prins în ultima perioadă este cum să-și îmbunătățească mediul de creare 3D pentru a satisface diferite industrii, niveluri de calificare și cazuri de utilizare. La fel ca în cazul instrumentelor de dezvoltare cu coduri scăzute care vizează satisfacerea atât a codificatorilor serioși, cât și a utilizatorilor non-tehnici, Unity își găsește modalități de a face interfața, magazinul de active și restul platformei sale să lucreze pentru diferite tipuri de companii și utilizatori pentru a-și extinde clientul. baza.

  "Ne-am uitat la aceste industrii diferite, în care AR și VR răsăresc. Ar putea fi organizații auto, film, arhitectură, medicale sau alte organizații în care distribuiți software la sute de mii de locuri", a spus Parisi. "Este o lume complet diferită, întreprinderi diferite, medii și instrumente de producție diferite. Am fost inițial concentrați pe industria mobilă și a jocurilor, deoarece acolo a fost creșterea, dar acum roata a învârtit, iar momentul este potrivit să ia acel jurnal și să-l aducă la unele dintre aceste alte industrii acum, deoarece lumea merge B2B."



Limitări AR / VR actuale

În acest moment, cel mai mare obstacol în calea adopției mai răspândite de MR și VR nu este lipsa conținutului, ci limitările hardware atunci când vine vorba de confort și portabilitate față de puterea de calcul, a spus Parisi. Călătoria plină a viitoarei căști Magic Leap servește ca un studiu de caz al manualului în încercarea de a transforma un procesor suficient de puternic într-un factor de formă suficient de mic pentru consumul de masă.

„Este dificil să creezi o experiență de realitate mixtă, care funcționează plimbându-te în jurul camerei de zi versus navigarea pe străzi deschise”, a spus Parisi. "Suntem într-un loc în care continuăm să parcurgem iterații pe hardware pentru a găsi punctul dulce dintre puterea de calcul și portabilitate. Cu un set cu cască VR, puteți să vă deplasați până când simțiți acea prindere a firului. Avem nevoie de un alt o modalitate de a transmite aceste date. Sârmă aia este o durere; rupe imersiunea. Am fost undeva în altă parte timp de un minut, dar apoi am înțeles ceva în jurul piciorului."

Din partea AR, limitările sunt diferite; este mult mai mult despre viziunea computerului și puterea de procesare pentru grafică 3D în timp real. Când vine vorba de viziunea computerului și utilizează diferite tipuri de învățare automată (ML) pentru a completa golurile și pentru a face experiențele AR / VR mai inteligente și mai transparente, de aici vine departamentul AI în creștere.

• Strategia AI a unității

  Unity utilizează AI într-o serie de moduri diferite, de la îmbunătățirea gameplay-ului și a designului motorului la urmărirea comportamentului utilizatorului și schimbarea modului în care dezvoltatorii de jocuri își pot monetiza aplicațiile. Echipa AI, care numără peste 100 de angajați în întreaga lume, este condusă de Danny Lange, VP Unity AI și Machine Learning.

  Lange s-a alăturat unității în urmă cu aproximativ 18 luni după ce a ocupat funcția de șef de învățare automată la Uber și director general al Amazon Machine Learning. A lucrat și la IBM și Microsoft. A venit pe lumea jocurilor cu o perspectivă diferită asupra ML și a ajutat la transformarea eforturilor tradiționale ale ML Unity în proiecte mai ambițioase.

  "Întreprinderi precum Amazon și Uber sunt atât de puternic antrenate de mașini. Venind dintr-o lume de autovehicule auto în acest mediu de jocuri 3D, vrei să cauți locul perfect pentru a împinge limita inteligenței artificiale", a spus Lange.

  „Când am venit, au existat o serie de eforturi de învățare automată în care am adus experiență cu sisteme de învățare la întărire și sisteme dinamice în care, practic, îmbunătățiți comportamentul”, a continuat Lange. "Acest lucru am făcut multe atât la Amazon, cât și la Uber. Fie că trimiteți cărți, fie că optimizați pentru un pickup fără fricțiuni pentru Uber, toate aceste lucruri nu sunt oamenii care stau și îl proiectează, ci sistemele informatice învață unde să spună unde te-ai întâlnit cu șoferul tău Uber. Și când am venit la Unity am văzut o oportunitate uriașă de a aduce aceste idei în lumea jocurilor."

  După cum a explicat Lange, proiectele ML ale Unity se întind de la gameplay la monetizare. Într-o singură instanță, echipa caută grupuri de utilizatori care au anumite modele de cheltuieli pe care dezvoltatorii Unity doresc să le monetizeze prin publicitate sau achiziții în aplicație. Unitatea suprafețează apoi rezultatele către dezvoltatori pentru o implicare mai eficientă pe termen lung.

  De asemenea, compania aplică ML pentru îmbunătățirea gameplay-ului, designul motorului și pentru a ajuta procesul de creare a conținutului. Strategia generală a Unity este defalcată, în esență, între latura de dezvoltare pe mai multe ML-uri la nivel de servicii și mai avansate cercetări aprofundate din partea academică. Lange a spus că acest lucru se referă și la ceea ce face departamentul de la Parisi cu dezvoltarea XR, unde Unity oferă cercetătorilor un mediu grafic 3D pentru a testa noi algoritmi ML.

  "AR și VR sunt de fapt domenii fantastice pentru învățarea mașinilor și AI. De multe ori, eu consider despre AI ca realitate îmbunătățită, iar realitatea este greu de abordat", a spus Lange. "Este greu să vină cu algoritmi fixi care să înțeleagă totul într-o cameră și să poată suprapune acea cameră. Nu poți codifica asta cu adevărat. Trebuie să folosești mașina de învățare și AI pentru a pune obiecte virtuale într-o cameră care recunoaște că o masă este o suprafață și dacă o așezați pe marginea unui tabel, aceasta va cădea. Acestea sunt zone în care învățarea automată joacă un rol foarte important din cauza acestui comportament dinamic din lumea reală; înțelegerea profunzimii și dimensiunilor din spațiile virtuale. urmărind să scoată în evidență avantajul învățării profunde pentru a revoluționa modul în care aceste jocuri sunt create și comportate."



Învățarea mașinii în spatele scenelor

În ceea ce privește dezvoltarea jocului și jocul, Lange a tras înapoi perdeaua în modul în care Unity țesă algoritmii ML în experiența de a automatiza procesul de creare și iterare.

"Prindem o mulțime de date comportamentale: atunci când începe un joc - cât timp ai jucat, care sunt scenele prin care ai trecut în acel joc", a spus Lange. "În acest sens, folosim învățarea automată și analiza datelor într-un context similar cu ceea ce fac Amazon sau Google - adunând date comportamentale și retrimitându-l dezvoltatorului de jocuri. Este un fel de echivalent al analizei web, oferindu-vă date acționabile să folosesc imediat pentru a vedea la ce niveluri se blochează jucătorii, ce scene nu funcționează etc."

Aceste date pot fi utilizate pentru a optimiza factori precum achizițiile în aplicație și publicitatea, dar Lange a spus că algoritmii ajută la găsirea unui echilibru între afișarea conținutului de care sunt interesați utilizatorii și monetizarea jocurilor la extrem. La nivel macro, el a explicat că este vorba mai degrabă despre crearea unei bucle de auto-perpetuare a datelor comportamentale pentru a ajuta jocurile să evolueze organic, scoțând din ecuație manualul dezvoltatorului.

"Învățarea automată este aceea în care poți să iei date și să începi să creezi conexiuni", a spus Lange. "Când puneți asta într-o buclă, cum ar fi ceea ce veți vedea deseori într-un joc, datele conduc la predicții ale jocului și ale jucătorilor. Acest lucru creează mai multe date comportamentale, iar acum aveți de fapt un sistem cu care puteți interacționa și învăța. de la utilizatori și modul în care interacționează între ei. Unul dintre eforturile noastre mari este să folosești tehnologia AI pentru a crea mai multe jocuri organice care evoluează odată cu utilizarea."

• Agenți de învățare automată

  Cel mai important mod în care Unity face acest lucru este prin ML Agents, o inițiativă beta open source care transformă jocurile și simulările 3D în terenuri de antrenament pentru agenți inteligenți autonomi. În esență, Unity le permite dezvoltatorilor să implementeze acești agenți ML flexibili în orice scenariu și vor acționa ca un burete: învățând și evoluând într-un mod personalizat, bazat pe orice mediu virtual în care le aruncați.

  „Definiția mea despre învățare automată versus AI este că, odată cu învățarea automată, adunați date, instruiți sistemul și asta este”, a explicat Lange. "AI este atunci când sistemul se retrăiește constant și devine din ce în ce mai bun. Ne dorim ca jocurile să poată evolua și una dintre inițiativele noastre publice de promovare a agenților de învățare automată".

  Unity are mai multe audiențe țintă pentru agenții săi ML. Un scenariu este pentru dezvoltatori, permițând acestor personaje automate să se miște și să interacționeze cu jucătorii. În loc să-și codifice acțiunile, agenții ML învață prin consolidare, deoarece simulează diferite niveluri și îi ajută pe dezvoltatori să testeze rapid jocurile care acționează ca jucători virtuali care testează mii de niveluri de joc în paralel.

  Un alt caz de utilizare pentru agenții ML se concentrează în jurul narațiunii. Lange a spus că Unity testează agenții, încercând să-și dea seama ce va face un jucător și apoi îi urmează pas cu pas. Ideea este de a înțelege ce fac jucătorii umani și modul în care jocul va compensa acele decizii în schema mai mare a narațiunii. În jocurile în care milioane de jucători sunt activi, agenții ML pot învăța și regla nivelurile sau poveștile unui joc la scară masivă.

  În simularea „Goodboy” de mai sus, echipa lui Lange a construit un joc mobil simplu, folosind un model de învățare automată din setul de instrumente ML-Agents al Unity. În joc, micuții corgi aduc un stick cu mișcări drăguțe, toate fără a fi codate. În schimb, acțiunile și comportamentele sale sunt controlate de agenții ML. Unity intenționează să colaboreze cu partenerii platformei pentru a extinde agenții ML la toate platformele acceptate de Unity.

  „Dacă vă gândiți la acest tip de capacitate din interiorul unui joc la ceea ce numim nivel narativ, nu personajele se mișcă în joc, care sunt neapărat controlate, ci naratarea jocului în sine. Deci, practic, jocul încearcă să te joace în unele drumuri foarte interesante. Așadar, puteți avea de ales să mergeți la stânga sau la dreapta pe o potecă și jocul va orchestra practic o serie de evenimente pe baza a ceea ce prezice că veți face, cinci, 10, 15 mutări de acum, " spuse Lange.

  „Vă puteți imagina cum ar putea funcționa asta într-un joc multiplayer”, a continuat el. "Unul dintre exemplele clasice: la începutul unui joc, doi indivizi se întâlnesc. Unul fură tot aurul de la un alt jucător, apoi se separă cu sânge rău între ei. Așadar, jocul ar asigura apoi o narațiune în care fiecare jucător se termină. împreună, într-un loc unde să supraviețuiască, vor trebui să lucreze împreună.Trebuie să traverseze o punte și nu pot face decât împreună, altfel sunt în afara jocului. simulări, dar cu agenții ML, jocul poate crea dinamic acele tipuri de simulări."

• Construirea de lumi virtuale asistate de AI

  Demonstrația „Piramidele” de mai sus este un mediu care arată rezultatele unui proiect de învățare de armare numit Curiosity, în care agenții ML explorează rapid o lume pentru a descoperi recompensele ascunse de pe hartă.

  O altă latură a operațiilor AI ale Unity implică utilizarea ML pentru a crea scene și texturi mai imersive atunci când generați conținut 3D. Lange a spus că acesta este un domeniu mai nou, dar foarte promițător, în care sistemele autonome dintr-un joc pot genera conținut controlat de mișcare și completează mișcări naturale, învățând cum se mișcă un personaj, om sau animal și apoi imitând animația respectivă într-un joc.

  "Avem mii de dezvoltatori care testează acest lucru", a spus Lange. "Pe plan academic, am început să vedem o mulțime de studenți și doctoranți de la NASA la MIT și la Institutul Paul Allen din Seattle care lansează chestii despre Unity. M-am întâlnit cu dezvoltatorii din Londra care se uită la acest aspect pentru dezvoltarea NPC, care împing cu adevărat limitați performanța grafică cu dispozitive iPhone și dispozitive Android."

  Unity are, de asemenea, un motor numit Extreme AI pentru cartografierea personalităților cu personaje, similar cu modul în care Amazon Sumerian construiește „gazde” infuzate AI. Pentru personajele care nu pot fi redate într-un joc, Unity a început să experimenteze cu asta pentru o simulare mai naturală în ultimul an sau doi, a spus Lange.

  "Deci, dacă doriți să construiți un robot sau o mașină cu autovehicule sau să proiectați o casă, o puteți face în Unity și puteți popula acea casă cu NPC-uri", a spus Lange. "Puteți simula 1.000 de familii care locuiesc în acea casă și puteți aduna informații despre cum se mișcă personajele. Ușile se deschid așa cum trebuie? Există suficientă lumină în camere? Dacă faceți acest lucru în cloud, ați putea avea 1.000 de case diferite cu 1.000 de familii diferite. Acest lucru poate părea că ar merge mult în afara jocurilor în sine, dar la baza tuturor acestea se află tehnologia jocurilor."

• Viitorul aplicațiilor imersive

  Pe măsură ce ambițiile AR / VR și ale inteligenței artificiale se extind, Unity caută dincolo de jocuri pentru o nouă generație de aplicații 3D. Un exemplu este industria auto, pentru care Unity a creat recent o echipă dedicată pentru a ajuta la crearea de conținut AR / VR pentru clienți, inclusiv Audi, Toyota, Lexus și Volkswagen. Parisi a declarat că Unity încearcă să aplice puterea ecosistemului său de dezvoltatori multiplă platforme pentru a aduce crearea de aplicații AR / VR în noile industrii.

  "Schimbăm modul în care proiectezi mașinile, faci filme; cum faci toate aceste lucruri ca o companie care știe să vândă dezvoltatorilor de jocuri", a spus Parisi. "Ca exemplu, hai să spunem că Ford vrea să creeze o aplicație în laboratorul lor de inovare. Au hardware și software de înaltă performanță, iar apoi Rift-ul iese și decid să o facă doar pe un PC pentru jocuri. Ei au publicat un anunț. și șansele sunt, cineva din zona Detroit este un programator Unity. Acea persoană începe prototiparea, se transformă într-o echipă de inovație format din trei persoane, apoi încep să dezvolte noi modalități de a face design auto pentru a înlocui prototipurile fizice."

  Parisi are, de asemenea, un potențial de reducere a frecării atunci când vine vorba de AR și comerț electronic. Marele punct de inflexiune este ratificarea WebXR a World Wide Web Consortium (W3C), un nou standard care va permite experiențelor AR și VR să funcționeze ca aplicații web direct în browserele desktop și mobile.

  Imaginați-vă că vedeți un anunț pentru un nou aparat de bucătărie în feedul dvs. social și apoi trageți acel model 3D într-un mediu de realitate mixt legat de camera dvs. pentru a vedea cum arată în bucătăria dvs. Pentru ca acest tip de tehnologie de publicitate 3D să funcționeze la scară de masă, Parisi a spus că experiența web trebuie să fie perfectă. Dacă trebuie să instalați o aplicație pentru a vizualiza fiecare obiect 3D etichetat cu informații virtuale doar pentru a-l conecta la camera dvs., modelul nu funcționează, însă Unity se vede ca un instrument împreună cu standarde precum WebXR care poate pune la punct acele lacune de compatibilitate.

  Parisi are în vedere un viitor în care factorul de formă pentru experiențele AR / VR este un dispozitiv de divertisment de sine stătător, fie că este o experiență internă, o aplicație bazată pe locație sau o simulare a întreprinderii pentru formare. El a mai spus că interfața utilizator trebuie să devină complet imersivă. Tehnologia nu există încă, dar el nu crede că este atât de departe cum ar putea crede unii.

  "Unii oameni cred că vor trece zeci de ani până să ajungem la un set cu cască imersiv cu adevărat bun sau ochelari cu suficientă putere de calcul", a spus Parisi. "Când luați în considerare toate descoperirile miraculoase ale miniaturizării, toate aceste aspecte de calcul - procesare, GPU, rețea 5G - în câțiva ani, am putea fi capabili să mutați o parte din procesare în marginea sau în cloud. Factorul de formă ar putea să fie orice, dar elementul comun este cu siguranță o interfață de utilizator imersivă în care poți atinge un buton și poți experimenta personaje digitale complet realizate sau medii stratificate care îmbină lumea digitală și cea reală."