Video: The future we're building -- and boring | Elon Musk (Noiembrie 2024)
Un lucru care m-a impresionat la Summit-ul tehnologic de la Bloomberg de ieri a fost accentul pe tratarea datelor în moduri noi - cu alte cuvinte, pe abordarea a ceea ce se numește adesea „date mari”.
Unele dintre conversații s-au referit la valoarea datelor mari și dacă a fost cu adevărat o „oportunitate de trilioane de dolari”, în timp ce altele s-au ocupat de provocările specifice ale organizațiilor individuale și ale industriei în ansamblu se confruntă cu implementarea mai largă a acestor noi tehnici.
Gerard Francis, Global Head of Bloomberg Enterprise Solutions, Bloomberg LP a început ziua sugerând că cel mai important lucru pe care îl pot face companiile este să „valorifice valoarea datelor prin utilizarea acestora” și să se concentreze pe accesul, calitatea și fluxul de date din cadrul unei organizații. În panourile ulterioare, s-a vorbit mult despre instrumente noi care tratează datele, precum și probleme specifice în stocarea, gestionarea și găsirea persoanelor care să se ocupe de date.
Într-un grup general privind tendințele întreprinderii, Dwight Merriman, președinte și co-fondator al MongoDB, a declarat că stratul de date al pistei de aplicații are „cea mai mare perturbare și schimbare pe care am văzut-o în 25 de ani”. El a spus ca companiile folosesc baze de date relationale de 25 de ani sau mai mult, ceea ce face ca cea mai veche tehnologie din stiva. Dar acum se întâmplă lucruri cu stocarea bazată pe fișiere, cum ar fi Hadoop și noile tehnologii de baze de date, adesea grupate ca „NoSQL”. El a subliniat că Big Data nu este despre „mare”, ci mai degrabă despre forma datelor, tipurile de date și mișcarea către tratarea datelor în timp real.
Ofițerul principal de informații Google, Benjamin Fried, a fost de acord că majoritatea întreprinderilor nu au probleme de „date mari”. Multe dintre seturile de date - cu lucruri precum HR-ul și datele financiare - nu sunt chiar atât de mari, a spus el. Ceea ce este important este flexibilitatea de care aveți nevoie pentru a face față corect datelor.
Ce este Big Data Oricum?
Acest concept - că flexibilitatea este la fel de importantă ca și dimensiunea datelor - a avut ecou într-un alt panou în cursul zilei. Acolo, participanții au fost de acord că companiile au de-a face cu aplicații grele de date de mult timp, dar scara sa schimbat recent. De exemplu, Mark F. Bregman, vicepreședinte principal și director tehnologic al Neustar, a menționat că unele companii „acum depozitează totul” în speranța că se vor dovedi valoroase.
„Marele este mai bine definit ca complexitate”, potrivit lui Gary Bloom, CEO și președinte al MarkLogic. El a menționat că multe așa-numite aplicații „big data” implică o mulțime de tipuri diferite de date, dar nu și tipul de volum pe care îl auziți în mod normal în aplicațiile „big data”.
El a menționat un exemplu de trafic aerian care combină date meteorologice, date aeroportului, date geospatiale, date de zbor, date de rezervare a companiei aeriene și date sociale. El a menționat că tratarea datelor eterogene a fost cu adevărat greu de făcut cu bazele de date relaționale tradiționale, reținând comentariile anterioare ale Merrimanului MongoDB că aceasta a fost „prima schimbare generațională a bazei de date în 25 de ani” de când am trecut de la mainframe la era bazelor de date relaționale.
El a menționat că mulți oameni vorbesc despre date de social media, dar este necesar să fie combinat cu alte date pentru a avea cu adevărat ceva pe care să-l poți valorifica. Combinarea acestor date este „valoarea reală”.
Desigur, unele aplicații implică multe informații, Bregman afirmând că eterogenitatea este doar un factor. El a menționat datele DNS, care pot genera cu ușurință 8 TB de informații pe zi, și nevoia de a stoca astfel de lucruri în Hadoop. Bregman și ceilalți au remarcat că, atunci când vine vorba de „valorificarea datelor”, valoarea reală nu se află în datele brute, ci în schimb se află în analiză atunci când devine ceva ce poți folosi. Ceilalți de pe panou au fost de acord.
CEO-ul Streambase, Mark Palmer, a spus că combaterea unor cantități mari de date cu analize de streaming a fost importantă în multe aplicații; și am vorbit despre valoarea suplimentară care ar putea fi creată prin combinarea analizelor tradiționale și în timp real.
Dar a fost de acord că complexitatea datelor este o problemă. El a menționat cum Vivek Ranadivé, care conduce Tibco (care deține acum Streambase), a cumpărat o echipă de baschet în parte pentru a-și da seama cum tehnologia poate îmbunătăți experiența fanului. El a vorbit din nou despre „crearea diferitelor tipuri de date”, pornind de la un flux de Twitter, dar și exploatarea altor tipuri de date.
Bloom a menționat că totul depinde de aplicație, spunând că „latența este în ochiul spectatorului”. Unele aplicații trebuie să analizeze datele de pe fir înainte de a ajunge chiar la baza de date, în timp ce altele nu.
Bregman a pus problema că în loc să fie greu de mișcat resurse de calcul, acum este mult mai greu să mutați datele. El a menționat că pentru multe aplicații, „blocarea” este locația datelor. După ce vă stocați datele într-un cloud public, este foarte greu să le mutați. Ca urmare, a spus el, multe organizații vor să stocheze cantități masive de date în propriile locații, apoi să poată trece la diferiți furnizori pentru funcționalitatea de calcul. Împrumutând un termen din BloL MarkLogic, el a vorbit despre modul în care organizațiile ar putea avea nevoie de un „centru de date centrat pe date” ca loc în care păstrezi cantități masive de date.
Big Data este „Oportunitate de trilioane de dolari?”
Un alt grup a discutat despre oportunitățile și provocările aduse de datele mari, reflectând la un comentariu de la Porter Bibb, Managing Partner la MediaTech Capital Partners. Bibb a spus că există de fapt mai mult decât un trilion de dolari de beneficii pentru corporații care utilizează noile tehnici. Până în prezent, a spus el, „nici măcar nu am început să valorificăm potențialul pe care această tehnologie îl oferă”.
Bibb a vorbit despre cum este important pentru organizații să-și alinieze strategia de date cu strategia de afaceri și a fost îngrijorat că majoritatea sistemelor corporative și guvernamentale sunt aliniate greșit.
În acea primă sesiune, Scott Weiss de la Andreessen Horowitz a spus că „Hadoop este ca stocarea criogenică”, așa că moderatorul Jason Kelly din Bloomberg Link l-a întrebat pe arhitectul șef Cloudera, Doug Cutting, care a fost unul dintre creatorii Hadoop în primul rând, cum a văzut el acea.
Tăierea a spus că Hadoop le permite oamenilor să lucreze cu mai multe date. El a spus că organizațiile scot datele de pe bandă rulantă, în schimb le fac online și pot fi utilizate. Clienții trec de la lucrul cu 90 de zile de date la cinci sau 10 ani de date într-o „arhivă activă”.
O serie de probleme specifice legate de toate aceste date au apărut din nou în acest panou. CEO-ul Snaplogic, Gaurav Dhillon, a vorbit despre „gravitatea datelor”, spunând că nu are sens să luați date care sunt la fața locului în Hadoop și să le mutați în cloud. Dar, în același timp, dacă există date în cloud, cum ar fi analiza clic-flux, nu are sens să o mutați pe loc. În consecință, a spus el, a văzut foarte puține „oportunități transfrontaliere” în mutarea datelor.
Tăierea a spus că nu crede că există o penurie de oameni de știință de date. În schimb, el a spus că există o mulțime de oameni care înțeleg matematica și afacerile, dar pur și simplu nu au aceste instrumente. Puteți afla elementele de bază ale instrumentelor și ce fac acestea în câteva săptămâni, a spus el, dar înțelegerea afacerii dvs. durează ani de zile. Cu toate acestea, există o mulțime de oameni care înțeleg asta.
Dhillon a reflectat, de asemenea, îngrijorările cu privire la legislația care se referă la ce informații pot fi stocate unde. El a spus că unele piețe verticale necesită stocarea informațiilor la fața locului, dar a fost îngrijorat de lucruri precum cerințele de a nu muta datele din țara de origine. O mare parte din acestea este o reacție excesivă la lucruri precum revelațiile Snowden și încălcările de date, a spus el, menționând că „o grabă de a legifera nu este niciodată bună”.
Întrebat dacă este îngrijorat de faptul că încălcările Snowden și Target îi fac pe clienți temători de date, Cutting a spus că este îngrijorat că atât de mulți oameni sunt îngrijorați. Mulți oameni sunt speriați de tehnologie, a spus el și a fost un eșec al industriei de a face clienții confortabili în ideea că datele lor nu au fost utilizate. "Nu trebuie să fii înfiorător", a spus el.
La final, s-a discutat mult despre evaluări, Bibb sugerând că investiția recentă a Intel în Cloudera a fost o „mare afacere”, deoarece validează ceea ce face compania. El a spus că alte companii mari precum Oracle, IBM, Microsoft și Amazon se pliază în jurul companiilor de analiză predictivă. „Graba de aur abia începe.”
Dhillon a spus că evaluările reflectă ceea ce companiile de instalații sanitare aduc pe piața de date mari. El a spus că este fericit să vadă astfel de tipuri de „pick and shovel” obținând evaluări bune, dar a spus că are o teamă că evaluările devin înaintea pieței.
Bibb a spus că a considerat că datele mari ar putea fi supraexpuse în mass-media, dar este subexpusă în „c-suite” (adică CEO-uri, CFO-uri și alți executivi de vârf). El a spus că are un „potențial economic imens care încă nu a fost descoperit..“
