Când norul este înotat, este calcul de margine, ai la salvare

De-a lungul liniei de coastă a statului australian Noua Țara Galilor de Sud (NSW) acoperă o flotă de drone, contribuind la menținerea apelor în siguranță. La începutul acestui an, dronele i-au ajutat pe salvamarii din Marea Neagră a statului de salvare a doi adolescenți care se luptau cu surf-uri grele.

Dronele sunt alimentate de algoritmi de inteligență artificială (AI) și algoritmi de viziune a mașinilor, care își analizează constant fluxurile video și evidențiază elemente care au nevoie de atenție: rechini, sau înotători vagabonzi. Acesta este același tip de tehnologie care permite Google Photos să sorteze imagini, o cameră de securitate la domiciliu pentru a detecta persoane necunoscute și un frigider inteligent care să vă avertizeze când perisabilele dvs. sunt aproape de datele de expirare.

Dar, în timp ce acele servicii și dispozitive au nevoie de o conexiune constantă la cloud pentru funcțiile lor de AI, dronele NSW își pot îndeplini sarcinile de detectare a imaginilor cu sau fără o conexiune la internet solidă, datorită cipurilor de calcul neural care le permit să efectueze calcule profunde la nivel local.

Aceste cipuri fac parte dintr-o tendință din ce în ce mai mare de inovații în domeniul calculului de margine, care permit dispozitivelor noastre bazate pe software să îndeplinească cel puțin unele funcții critice fără o legătură constantă cu cloud-ul. Creșterea calculelor de vârf ajută la rezolvarea problemelor noi și vechi și deschide calea pentru următoarea generație de dispozitive inteligente.

Dezbrăcarea norului

În ultimele două decenii, cloud-ul a devenit modul defectuos de găzduire a aplicațiilor, cu un motiv întemeiat.

„Lucrul care face ca norul să fie atât de atractiv este că tinde să descarce costurile de pornire a oricărei activități pe care doriți să o efectuați”, spune Rob High, CTO al IBM Watson. "Norul… le permite oamenilor să rezolve astăzi probleme reale, fără a fi nevoit să suporte costurile creării infrastructurii."

Cu conectivitate la internet omniprezentă și aplicații cloud, servicii și platforme de dezvoltare aproape nenumărate, barierele pentru crearea și implementarea aplicațiilor s-au redus considerabil. Resursele vaste ale furnizorilor de cloud precum IBM, Google și Amazon au impulsionat dezvoltarea nu numai a aplicațiilor de afaceri banale, ci și a unor software complexe care necesită cantități vaste de calcul și stocare - algoritmi AI și de învățare automată, precum și streaming și AR (realitate augmentată) aplicații.

Dar aceste progrese au creat o provocare: majoritatea aplicațiilor pe care le folosim nu pot funcționa decât dacă sunt conectate la cloud. Aceasta include majoritatea aplicațiilor care rulează pe computere și telefoane, precum și software-ul în frigidere, termostate, încuietori de uși, camere de supraveghere, mașini, drone, senzori de vreme și așa mai departe.

Odată cu apariția Internet of Things (IoT), un număr din ce în ce mai mare de dispozitive rulează software și generează date, iar cele mai multe dintre acestea vor necesita o legătură către cloud pentru a stoca și prelucra aceste date. Cantitatea de putere și lățimea de bandă necesară pentru a trimite respectivele date către cloud este imensă, iar spațiul necesar pentru stocarea datelor va contesta resursele chiar și ale celor mai puternice behemoth-uri de cloud.

„Există o mulțime de date pe care le colectăm în aceste sisteme, indiferent dacă este la margine sau este un dispozitiv IoT sau orice alt loc, de care aproape că puteți decide să nu vă pese”, spune High. Dar dacă fiecare decizie trebuie să aibă loc în cloud, toate aceste date vor trebui trimise prin rețea către serverele cloud pentru a fi spălate și filtrate.

Ca exemplu, Avioane nume mari, care conțin sute de senzori care monitorizează motoarele cu jet și colectează sute de gigabyte de date de stare și performanță în timpul fiecărui zbor. "Cât de multe dintre aceste date contează cu adevărat dacă doriți să le analizați pe un total? Probabil doar o parte din acestea", spune High. „De ce să nu scapi de el la sursă când nu este necesar pentru orice altceva faci?”

Făcând ceea ce High sugerează în afara norului, anterior a fost totul, dar imposibil, însă progresele procesoarelor de sistem System-on-Chip (SoC) cu un consum redus de energie au oferit dispozitivelor de bord mai multă putere de calcul și le-au lăsat să suporte o parte din povara de calcul a lor ecosisteme, cum ar fi efectuarea de analize în timp real sau filtrarea datelor.

"Există atât de multe date în mediul de margine, este logic să aducem unele dintre capacitățile de calcul cloud în capacitatea de calcul a dispozitivului de bord", spune High.

Probleme de confidențialitate

Beneficiile de calcul Edge nu se limitează la eliberarea resurselor din cloud.

Remi El-Ouazzane, New Technology Group și General Manager la Movidius (Intel), citează camerele de securitate comercială ca un alt exemplu în care calculul de margine poate face o diferență uriașă. Vedeți aceste camere la semafoare, în aeroporturi și la intrarea clădirilor, înregistrând și transmitând video de înaltă calitate în întreaga rețea.

"Cu cât este mai puțină date pe care trebuie să le transportați într-un server sau centru de date, cu atât puteți face mai multe spălări și finisări la nivel local, cu atât va fi mai bun costul dvs. general de proprietate din perspectiva stocării și transferului", spune El-Ouazzane.

Acest lucru înseamnă furnizarea de camere cu puterea de a-și analiza propriile fluxuri video, de a determina care cadre sau lungimi de video necesită atenție și de a trimite doar acele date către server.

Când aceste camere sunt instalate în casa dvs., birou sau orice locație privată, conexiunea la cloud devine, de asemenea, o problemă potențială de securitate. Hackerii și cercetătorii de securitate au reușit să compromită conexiunea între electrocasnice și serverele lor de cloud pentru a intercepta fluxurile video sensibile. Analizarea datelor obține în mod local necesitatea existenței unui canal video între casa dvs., viața privată și un furnizor de servicii.

Movidius, care a fost achiziționat de Intel în 2016, este una dintre mai multe startup-uri care fac cipuri de computer specializate pentru sarcini de AI, precum recunoașterea vorbirii și viziunea computerului. Compania produce unități de procesare a viziunii (VPU) - procesoare cu putere redusă care rulează rețele neuronale care analizează și „înțeleg” contextul imaginilor digitale, fără a fi nevoie să le trimiteți înapoi în cloud.

Movidius Myriad 2 este un procesor de viziune mereu pornit, creat pentru medii cu putere.

"Când camera înțelege semantica la ceea ce privește, atunci abilitatea de a impune reguli cu privire la ceea ce poate face sau nu poate face camera devine o sarcină foarte ușoară", spune El-Ouazzane. „Nu trebuie să vă captați de fapt camera de zi pentru următoarele 12 ore doar pentru a ști că, la un moment dat, câinele dvs. a traversat covorul din fața canapelei.”

Alte companii explorează utilizarea computerelor de margine specializate pe bază de AI pentru a păstra confidențialitatea utilizatorilor. Apple iPhone X, de exemplu, este alimentat de cipul A11 Bionic, care poate executa activități de AI la nivel local, permițându-i să efectueze o recunoaștere facială complicată, fără a trimite ochiul utilizatorului în cloud.

Mai multe prelucrări AI la margine pot deschide calea către inteligența artificială descentralizată, unde utilizatorii trebuie să împărtășească mai puține date cu companii mari pentru a utiliza aplicațiile AI.

Reducerea latenței

O altă problemă a furnizorilor de cloud mari este că centrele lor de date sunt situate în afara orașelor mari, plasându-le la sute și mii de kilometri distanță de oamenii și dispozitivele care folosesc aplicațiile lor.

În multe cazuri, latența cauzată de datele care călătoresc către și dinspre nor poate produce performanțe slabe, sau mai grave, rezultate fatale. Acesta poate fi un drone care încearcă să evite coliziunile sau să aterizeze pe un teren neuniform, sau o mașină cu autovehicul care încearcă să decidă dacă circulă într-un obstacol sau un pieton.

Implementarea ușoară a rețelelor neuronale profunde și viziunea computerizată de la Movidius face ca chipsurile sale să fie adecvate dispozitivelor cu margine mobilă, cum ar fi drone, pentru care hardware-ul consumator de energie, cum ar fi GPU-urile, nu este posibil. Dronele sunt un studiu deosebit de interesant, deoarece au nevoie de acces cu latență scăzută la calculul AI și trebuie să funcționeze în setări offline.

Detectarea gesturilor ca un alt domeniu în care calcularea pe margine ajută la îmbunătățirea experienței dronei. "Scopul este de a face drone accesibile pentru mulți oameni, iar gestul pare a fi un mod plăcut pentru ca oamenii să le folosească. Latenția contează atunci când gesticulați drona pentru a îndeplini o anumită sarcină", ​​spune El-Ouazzane.

Pentru startup-uri, cum ar fi Skylift Global, care oferă servicii de drone cu greutate mare pentru salvarea lucrătorilor și primilor respondenți, accesul cu latență scăzută la AI și calcularea resurselor poate economisi bani și vieți. "Va reduce semnificativ costurile de ingestie a datelor, va reduce latența rețelei, va crește securitatea și va ajuta la transformarea datelor în decizii în timp real", spune Amir Emadi, CEO și fondator al Skylift.

Livrarea de aprovizionări către primii respondenți necesită decizii în secțiune. "Cu cât trece mai mult timp, de exemplu în lupta împotriva unui incendiu, cu atât mai costisitor devine remedierea situației. Pe măsură ce dronele noastre devin capabile să ia decizii în timp real chiar și atunci când își pierd conectivitatea, vom putea salva mai mult vieți, bani și timp ”, spune Emadi.

Alte domenii care au nevoie de calcul în timp real sunt aplicațiile de realitate augmentată și virtuală și vehicule autonome. "Acestea sunt toate mediile de calcul bazate pe experiență. Se vor întâmpla în jurul oamenilor", spune Zachary Smith, CEO al Packet, o start-up cu sediul în New York, axată pe permiterea dezvoltatorilor să acceseze hardware foarte distribuit.

O aplicație AR sau VR care nu poate ține pasul cu mișcările utilizatorului va cauza amețeli sau va împiedica experiența să devină imersivă și reală. Iar latența va fi și mai mult o problemă atunci când mașinile cu autovehicule, care se bazează foarte mult pe viziunea computerului și algoritmii de învățare a mașinii, vor deveni mainstream.

"O latență de 30 de milisecunde nu va conta pentru încărcarea paginii dvs. web, dar va conta într-adevăr ca o mașină să determine la 60 km / h dacă ar trebui să se întoarcă la stânga sau la dreapta pentru a evita prăbușirea unei fetițe", spune Smith.

Întâlnirea provocărilor marginii

În ciuda nevoii de a aduce calculul mai aproape de margine, introducerea hardware-ului specializat în fiecare dispozitiv ar putea să nu fie răspunsul final, recunoaște Smith. "De ce nu puneți toate calculatoarele în mașină? Cred că are de-a face cu evoluția cât de rapid puteți controla ciclul de viață al acestuia", spune el.

„Când puneți hardware pe lume, acesta rămâne de obicei cinci până la 10 ani”, spune Smith, în timp ce tehnologia care alimentează aceste cazuri de utilizare bazate pe experiență evoluează la fiecare șase până la 12 luni.

Chiar și companiile foarte mari cu lanțuri de aprovizionare complicate adesea se luptă cu actualizarea hardware-ului. În 2015, Fiat Chrysler a trebuit să recheme 1, 4 milioane de vehicule pentru a remedia o vulnerabilitate de securitate care a fost expusă cinci ani mai devreme. Iar producătorul de cipuri gigant Intel încă se confruntă pentru a face față unui defect de proiectare care expune sute de milioane de dispozitive hackerilor.

El-Ouazzane al Movidius recunoaște aceste provocări. „Știm că în fiecare an va trebui să schimbăm o gamă de produse, pentru că în fiecare an vom aduce mai multă informație la margine și vom cere clienților noștri să facă upgrade”, spune el.

Pentru a evita reamintirile constante și pentru a permite clienților să folosească hardware-ul de lungă durată, Movidius își împachetează procesoarele cu resurse și capacitate suplimentară. „Avem nevoie de capacitatea pentru următorii câțiva ani de a efectua upgrade-uri la aceste produse”, spune El-Ouazzane.

Packet, compania lui Smith, folosește o abordare diferită: creează centre de date micro care pot fi implementate în orașe, mai aproape de utilizatori. Apoi, compania poate oferi dezvoltatorilor resurse de calcul de latență foarte scăzută - cât de aproape puteți ajunge la utilizatori fără a pune hardware real la margine.

"Este de părere că va fi nevoie de un mecanism de livrare a infrastructurii care să pună hardware la care să poată fi accesat dezvoltatorii din fiecare oraș din întreaga lume", spune Smith. Compania operează deja în 15 locații și intenționează să se extindă în cele din urmă în sute de orașe.

Dar ambițiile lui Packet merg mai departe decât crearea de versiuni în miniatură a instalațiilor de extindere operate de Google și Amazon. După cum explică Smith, implementarea și actualizarea hardware-ului specializat nu este posibilă cu cloud public. În modelul de afaceri al Packet, producătorii și dezvoltatorii implementează hardware specializat în centrele de date ale companiei, unde îl pot actualiza și reîmprospăta rapid atunci când apare nevoia, asigurându-se în același timp că utilizatorii lor au acces super rapid la resursele de calcul.

Hatch, unul dintre clienții Packet, este un spin-off de la Rovio, compania de jocuri mobile care a creat Angry Birds. Compania rulează Android pe servere de calcul extrem, pentru a oferi servicii de streaming de jocuri multiplayer cu latență scăzută utilizatorilor cu dispozitive Android de ultimă generație.

"are nevoie de servere ARM destul de specializate pe toate aceste piețe din întreaga lume", spune Smith. "Au configurații personalizate ale oferirii serverului nostru, iar noi îl plasăm pe opt piețe globale din toată Europa și în curând vor fi 20 sau 25 de piețe. Se simte ca Amazon pentru ei, dar ajung să ruleze hardware personalizat pe fiecare piață din Europa.“

Teoretic, Hatch ar putea face același lucru în cloud public, dar costurile ar face o afacere ineficientă. „Diferența este între a pune 100 de utilizatori pe CPU față de a pune 10.000 de utilizatori pe procesor”, spune Smith.

Smith consideră că acest model va atrage generația de dezvoltatori care va conduce următoarele inovații software. „La ce ne concentrăm este să conectăm generația de software, oameni care au crescut în cloud, cu primitive hardware specializate”, spune Smith. "Vorbim despre utilizatori care nici măcar nu își pot deschide MacBook-ul pentru a privi în interior, și aceasta este persoana care va inova pe stiva hardware / software."

Se vor risipi norii?

Dacă dispozitivele edge devin capabile să îndeplinească sarcini de calcul complicate, viitorul norului este în pericol?

„Pentru mine, calculul de margine este o evoluție naturală și logică a cloud computing”, spune IBM Watson's High.

De fapt, în 2016, IBM a lansat un set de instrumente care permit dezvoltatorilor să distribuie perfect sarcini între margine și cloud, în special în ecosistemele IoT, unde dispozitivele edge colectează deja o mulțime de date despre mediul lor imediat. Și la sfârșitul anului 2016, Amazon Web Services, o altă platformă importantă de dezvoltare a norului, a anunțat Greengrass, un serviciu care permite dezvoltatorilor IoT să ruleze părți din aplicațiile lor cloud pe dispozitivele de margine.

Nimic din toate acestea nu înseamnă că norul nu va dispărea. "Există doar o mulțime de lucruri care sunt mai bine făcute în cloud, chiar și când se lucrează mult pe margine", spune High. Aceasta include sarcini cum ar fi agregarea de date din mai multe surse diferite și efectuarea de analize la scară largă cu seturi de date uriașe.

"Dacă trebuie să creăm modele în algoritmii AI pe care îi folosim în aceste dispozitive de bord, crearea și formarea acestor modele este încă o problemă foarte masivă de calcul intensiv și de multe ori necesită o capacitate de calcul care depășește cu mult ceea ce este disponibil pe aceste dispozitive de bord", ridică. spune.

El-Ouzzane este de acord. „Capacitatea de a antrena modelele AI la nivel local este extrem de limitată”, spune el. "Din punct de vedere al învățării profunde, instruirea are un singur loc unde să stai și este în cloud, unde obții suficiente resurse de calcul și suficient spațiu de stocare pentru a putea face față seturilor de date mari."

De asemenea, dispozitivele El-Ouazzane folosesc cazuri în care dispozitivele de margine sunt atribuite cu misiuni și sarcini critice în timp, în timp ce norul are grijă de invocarea mai avansată care nu depinde de latență. „Trăim într-o lume de continuitate între nor și margine”.

„Există o relație foarte simbiotică și sinergică între calculul de margine și cloud computing”, spune High.