Fotografia de calcul este pregătită pentru apropierea sa

Peste 87 de milioane de americani au călătorit internațional în 2017, un număr record potrivit Oficiului Național de Turism și Turism al SUA. Dacă ați fost printre ei, poate ați vizitat o destinație precum Stonehenge, Taj Mahal, Golful Ha Long sau Marele Zid Chinezesc. Și este posibil să vă fi folosit telefonul pentru a filma o panoramă, poate chiar și învârtindu-vă până la capăt cu telefonul pentru a filma o vedere super-largă, pe 360 ​​de grade a peisajului.

Dacă ați avut succes - ceea ce înseamnă că nu există secțiuni eronate, vignetare sau schimburi de culori - atunci ați experimentat un exemplu simplu, dar eficient de fotografie computerizată. Dar în ultimii ani, fotografia de calcul s-a extins dincolo de utilizări atât de restrânse. Nu numai că ne poate oferi o perspectivă diferită asupra fotografiei, ci ar putea schimba și modul în care ne vedem lumea.

Ce este fotografia de calcul?

Marc Levoy, profesor de informatică (emerit) la Universitatea Stanford, inginer principal la Google, și unul dintre pionierii în acest domeniu emergent, a definit fotografia computațională ca o varietate de „tehnici de imagistică computerizată care îmbunătățesc sau extind capacitățile fotografiei digitale. ieșirea este o fotografie obișnuită, dar una care nu ar fi putut fi făcută de o cameră tradițională ".

Potrivit lui Josh Haftel, directorul principal de produse la Adobe, adăugarea de elemente de calcul la fotografia tradițională permite noi oportunități, în special pentru companiile de imagistică și software: „Modul în care văd fotografia computațională este că ne oferă oportunitatea de a face două lucruri. ei înseamnă să încercați să eliminați o mulțime de limitări fizice care există în camerele de luat vederi mobile."

Obținerea unui smartphone care să simuleze adâncimea de câmp (DOF) - un semn distinctiv al unei imagini cu aspect profesional, deoarece separă vizual subiectul de fundal - este un bun exemplu. Ceea ce împiedică o cameră de pe un dispozitiv foarte subțire, precum un telefon, să poată capta o imagine cu un DOF superficial sunt legile fizicii.

„Nu poți avea superficial adâncimea de câmp cu un senzor cu adevărat mic ", spune Haftel. Dar un senzor mare necesită un obiectiv mare. Și, deoarece majoritatea oamenilor doresc ca telefoanele lor să fie ultratine, un senzor mare împerecheat cu un obiectiv mare, voluminos nu este o opțiune. În schimb,, telefoanele sunt construite cu lentile prime mici și senzori minusculi, producând o adâncime mare de câmp care face ca toți subiecții să se axeze aproape și departe.

Haftel spune că producătorii de telefoane inteligente și camere simple pot compensa acest lucru prin utilizarea fotografiei computationale pentru a „înșela simulând efectul în moduri care păcălesc ochiul”. În consecință, algoritmii sunt folosiți pentru a determina ce este considerat fundalul și ce este considerat un subiect prim-plan. Apoi, camera simulează un DOF superficial prin estomparea fundalului.

Al doilea mod în care Haftel spune că fotografia computerizată poate fi utilizată este să folosească noi procese și tehnici care să îi ajute pe fotografi să facă lucruri care nu sunt posibile folosind instrumente tradiționale. Haftel indică HDR (interval dinamic ridicat) ca exemplu.

"HDR este abilitatea de a face mai multe fotografii simultan sau în succesiune rapidă, apoi de a le îmbina pentru a depăși limitările capacității naturale a senzorului." De fapt, HDR, în special pe dispozitivele mobile, poate extinde gama tonală dincolo de ceea ce senzorul de imagine poate captura în mod natural, permițându-vă să capturați mai multe detalii în cele mai scăzute evidențieri și întuneric.

Când fotografia de calcul este scurtă

Nu toate implementările fotografiei de calcul au avut succes. Două încercări îndrăznețe au fost camerele Lytro și Light L16: în loc să amestece caracteristicile foto tradiționale și computaționale (cum ar fi iPhone-urile, telefoanele Android și unele camere de sine stătătoare), Lytro și Light L16 au încercat să se concentreze exclusiv pe fotografie de calcul.

Primul care a intrat pe piață a fost camera Lytro cu câmp luminos, în 2012, care vă permite să reglați focalizarea unei fotografii după ce ați surprins fotografia. A făcut acest lucru prin înregistrarea direcției luminii care intră în cameră, ceea ce nu fac camerele tradiționale. Tehnologia era intrigantă, dar camera avea probleme, inclusiv rezoluție scăzută și o interfață dificil de utilizat.

De asemenea, a avut un caz de utilizare destul de restrâns. După cum subliniază Dave Etchells, fondatorul, editorul și redactorul-șef al Imaging Resource, „În timp ce a fost capabil să vă concentrați după faptul că a fost o caracteristică interesantă, deschiderea camerei a fost atât de mică, nu puteți distinge cu adevărat distanțele cu excepția cazului în care a existat ceva cu adevărat apropiat de cameră ".

De exemplu, spuneți că trageți un jucător de baseball la un diamant local de baseball. Puteți face o fotografie până aproape de gard și, de asemenea, să surprindeți jucătorul prin gard, chiar dacă este departe. Apoi, puteți schimba ușor focalizarea de la gard la jucător. Dar, după cum subliniază Etchells, „Cât de des filmați de fapt o fotografie ca asta?”

Un dispozitiv mai recent care se dorește a fi o cameră de calcul autonomă a fost Light L16, o încercare de a produce o cameră subțire, portabilă, cu calitate și performanță a imaginii la fel cu o cameră D-SLR high-end sau mirrorless. L16 a fost proiectat cu 16 module diferite de lentile și senzori într-un singur corp de cameră. Puternic software-ul de bord ar construi o imagine din diferitele module.

Etchells a fost inițial impresionat de conceptul Light L16. Dar, ca produs real, a spus el, „a avut o varietate de probleme”.

De exemplu, Light, camera foto și compania de fotografie care produce Light L16, a susținut că datele de la acești senzori mici ar fi echivalente cu un senzor mare. "De asemenea, au afirmat că va fi de calitate D-SLR", spune Etchells. Dar, în testele lor de teren, Imaging Resource a constatat că acest lucru nu a fost cazul.

Au existat și alte probleme, inclusiv faptul că anumite zone ale fotografiei au zgomot excesiv, „chiar și în zonele luminoase ale imaginii… Și practic nu a existat o gamă dinamică: umbrele s-au conectat imediat”, spune Etchells, ceea ce înseamnă că în anumite secțiuni de fotografii - inclusiv exemple de fotografii pe care compania le folosea pentru promovarea camerei - nu existau aproape niciun detaliu în umbră.

„De asemenea, a fost doar un dezastru la lumină scăzută”, spune Etchells. „Pur și simplu nu a fost o cameră foto foarte bună, perioada”.

Ce urmeaza?

În ciuda acestor deficiențe, multe companii continuă cu noi implementări ale fotografiei computerizate. În unele cazuri, acestea estompează linia dintre ceea ce este considerat fotografie și alte tipuri de media, precum video și VR (realitate virtuală).

De exemplu, Google va extinde aplicația Google Photos folosind AI (inteligență artificială) pentru noi funcții, inclusiv colorizarea fotografiilor alb-negru. Microsoft utilizează AI în aplicația sa Pix pentru iOS, astfel încât utilizatorii să poată adăuga cărți de vizită pe LinkedIn. Facebook va lansa în curând o caracteristică 3D Photos, care „este un nou tip media care permite oamenilor să surprindă momente 3D în timp folosind un smartphone pentru a partaja pe Facebook”. Și în aplicația Adobe Lightroom, fotografii cu dispozitive mobile pot utiliza funcții HDR și captura imagini în format de fișier RAW.

VR și fotografie computațională

În timp ce dispozitivele mobile și chiar camerele de sine stătătoare folosesc fotografie computerizată în moduri intrigante, chiar Mai Mult Cazurile puternice de utilizare provin din lumea platformelor cu realitate extinsă, cum ar fi VR și AR (realitate augmentată). Pentru James George, CEO și co-fondator al Scatter, un studio media imersiv din New York, fotografie de calcul este deschiderea de noi modalități pentru artiști să își exprime viziunile.

"La Scatter, vedem fotografia de calcul ca fiind tehnologia principală care permite tehnologiilor noi de creație pe care încercăm să o facem pionieri… Adăugarea calculului ar putea începe apoi să sintetizeze și să simuleze unele din aceleași lucruri pe care ochii noștri le fac cu imaginile pe care noi vezi în creierul nostru ", spune George.

În esență, se ajunge la inteligență. Ne folosim creierul pentru a ne gândi și a înțelege imaginile pe care le percepem.

„Calculatoarele încep să poată privi în lume și să vadă lucrurile și să înțeleagă ceea ce sunt în același mod în care putem”, spune George. Așadar, fotografia de calcul este „un strat suplimentar de sinteză și inteligență care depășește doar captarea pură a unei fotografii, dar începe de fapt să simuleze experiența umană de a percepe ceva”.

Modul în care Scatter folosește fotografia computerizată se numește fotografie volumetrică, care este o metodă de înregistrare a unui subiect din diverse puncte de vedere și apoi folosirea software-ului pentru a analiza și recrea toate acele puncte de vedere într-o reprezentare tridimensională. (Atât fotografiile cât și videoclipurile pot fi volumetrice și pot apărea ca holograme de tip 3D, pe care le puteți deplasa în cadrul unei experiențe VR sau AR.) „Sunt interesat în mod deosebit de capacitatea de a reconstrui lucrurile mai mult decât doar într-un mod bidimensional, spune George. „În memoria noastră, dacă ne plimbăm un spațiu , de fapt, ne putem aminti spațial unde lucrurile erau în relație între ele."

George spune că Scatter este capabil să extragă și să creeze o reprezentare a unui spațiu „navigabil complet și liber, în modul în care s-ar putea să vă deplasați ca un joc video sau o hologramă. Este un mediu nou care este născut din intersecția dintre jocurile video și realizarea filmului, care permite realizarea fotografiilor de calcul și realizarea de filetări volumetrice."

Pentru a-i ajuta pe alții să producă protecții volumetrice VR, Scatter a dezvoltat DepthKit, o aplicație software care permite producătorilor să profite de senzorul de adâncime de la camerele de filmare, cum ar fi Microsoft Kinect, ca accesoriu pentru o cameră video HD. În acest sens, DepthKit, un hibrid CGI și software-video, produce forme 3D realiste „potrivite pentru redarea în timp real în lumile virtuale”, spune George.

Scatter a produs mai multe experiențe VR puternice cu DepthKit folosind fotografii computationale și tehnici de filmare volumetrice. În 2014, George a colaborat cu Jonathan Minard pentru a crea „Clouds”, un documentar care explorează arta codului care includea o componentă interactivă. În 2017, Scatter a produs o adaptare VR bazată pe filmul Zero Days , folosind VR pentru a oferi publicului o perspectivă unică în lumea invizibilă a războiului cibernetic - pentru a vedea lucrurile din perspectiva virusului Stuxnet.

Unul dintre cele mai puternice proiecte legate de DepthKit este „Terminalul 3”, o experiență de realitate augmentată a artistului pakistanez Asad J. Malik, care a avut premiera la începutul acestui an la festivalul de film TriBeCa. Experiența vă permite să pășești practic în pantofii unui ofițer de patrulare de frontieră din SUA, prin intermediul unui Microsoft HoloLens și să interogați o hologramă volumetrică 3D asemănătoare unei fantome a cuiva care pare a fi musulmană (există șase personaje totale pe care le puteți intervi).

"Asad este un originar pakistanez care a emigrat în SUA pentru a urma facultatea și a avut câteva experiențe destul de negative, fiind interogat cu privire la fondul său și de ce a fost acolo. Șocat de această experiență, a creat„ Terminalul 3 ", spune George.

Una dintre cheile a ceea ce face ca experiența să fie atât de convingătoare este că echipa lui Malik de la 1RIC, studioul său de realitate augmentată, a folosit DepthKit pentru a transforma videoclipul în holograme volumetrice, care pot fi apoi importate în motoare de jocuri video în timp real precum Unity sau 3D. instrumente grafice precum Maya și Cinema 4D. Prin adăugarea datelor de senzor de profunzime de la Kinect la videoclipul D-SLR pentru a poziționa corect holograma în spațiul virtual AR, software-ul DepthKit transformă videoclipul în computațională video. Pentru a calibra D-SLR și Kinect împreună este utilizat un tablou de control alb-negru, apoi ambele camere pot fi folosite simultan pentru a capta fotografii volumetrice și video.

• 10 sfaturi rapide pentru a repara fotografiile tale rele 10 sfaturi rapide pentru a-ți repara fotografiile rele
• 10 Sfaturi pentru fotografii digitale dincolo de bază 10 Sfaturi pentru fotografie digitală dincolo de bază
• 10 sfaturi și trucuri ușoare pentru fotografii mai bune pentru smartphone 10 sfaturi și trucuri ușoare pentru fotografii mai bune pentru smartphone

Deoarece aceste experiențe AR create cu DepthKit sunt similare modului în care funcționează jocurile video, o experiență precum „Terminalul 3” poate produce efecte interactive puternice. De exemplu, George spune că Malik permite hologramelor să își schimbe forma pe măsură ce le interogați: Dacă în timpul interogatoriului, întrebările dvs. devin acuzatoare, holograma se dematerializează și apare mai puțin umană. „Dar pe măsură ce începeți să invocați biografia persoanei, experiențele proprii și valorile lor”, spune George, „holograma începe de fapt să se completeze și să devină mai fotorealistă”.

Creând acest efect subtil, spune el, puteți reflecta asupra percepției interogatorului și a modului în care ar putea vedea o persoană „ca doar o emblemă în locul unei persoane reale, cu o identitate și unicitate adevărate”. Într-un fel, ar putea oferi utilizatorilor un nivel mai mare de înțelegere. „Printr-o serie de prompturi, în care ai voie să pui o întrebare sau alta”, spune George, „te confrunți cu propriile părtiniri și, în același timp, cu această poveste individuală”.

La fel ca majoritatea tehnologiilor emergente, fotografia de calcul se confruntă atât cu succesul, cât și cu eșecurile. Aceasta înseamnă că unele caracteristici importante sau tehnologii întregi pot avea o perioadă scurtă de valabilitate. Luați Lytro: în 2017, chiar înainte ca Google să cumpere compania, Lytro a închis images.lytro.com, astfel încât să nu mai puteți posta imagini pe site-uri web sau social media. Pentru cei care îl ratează, Panasonic are o funcție de focalizare asemănătoare lui Lytro, denumită Post Focus, pe care a inclus-o în diferite camere de înaltă performanță mirrorless și punct-and-shoot.

Instrumentele și caracteristicile fotografice de calcul pe care le-am văzut până acum sunt doar start . Cred că aceste instrumente vor deveni mult mai puternice, mai dinamice și mai intuitive, pe măsură ce dispozitivele mobile sunt proiectate cu camere și lentile mai noi, mai versatile, procesoare de bord mai puternice și capacități de rețea celulară mai expansive. În viitorul foarte apropiat, este posibil să începeți să vedeți culorile adevărate ale fotografiei computerizate.