Unitățile de procesare a tensiunii Google modifică regulile pentru învățarea mașinii

Unul dintre cele mai interesante - și neașteptate - anunțuri pe care Google le-a făcut la conferința dezvoltatorilor de I / O săptămâna trecută a fost că a proiectat și implementat propriile cipuri pentru învățarea mașinilor. În timpul notei sale cheie, CEO-ul Google, Sundar Pichai, a prezentat ceea ce el numea Tensor Processing Units (TPU), spunând că compania le-a folosit în mașinile sale AlphaGo, care l-a învins pe campionul lui Go Sedol.

"TPUs sunt un ordin de magnitudine cu o performanță mai mare pe watt decât FPGA-urile comerciale și GPU-urile", a spus Pichai. În timp ce nu a oferit multe detalii, distinsul inginer hardware Google Norm Jouppi a explicat într-o postare pe blog că un TPU este un ASIC personalizat (circuit integrat specific aplicației). Cu alte cuvinte, este un cip special conceput pentru a rula învățarea mașinii și special adaptat pentru TensorFlow, cadrul de învățare automată Google.

Imagine

În postare, Jouppi a spus că este „mai tolerant” cu precizie de calcul redusă, ceea ce înseamnă că necesită mai puțini tranzistori pe operație. Acest lucru permite Google să obțină mai multe operații pe secundă, permițând utilizatorilor să obțină rezultate mai rapid. El a spus că o placă cu un TPU se încadrează într-un slot pentru unitatea de disc din rafturile sale din centrul de date și a arătat o imagine a rack-urilor de server umplute cu TPU, despre care a spus că au fost utilizate în mașinile AlphaGo ale companiei.

În plus, Jouppi a spus că TPU-urile lucrează deja la o serie de aplicații la Google, inclusiv RankBrain, folosite pentru a îmbunătăți relevanța rezultatelor căutării și Street View, pentru a îmbunătăți precizia și calitatea hărților și a navigației.

Într-o conferință de presă, VP pentru Google Infrastructura Tehnică Urs Hölzle a confirmat că TPU rulează folosind matematica întreagă pe 8 biți, în loc de matematica cu punct flotant de înaltă precizie pentru care sunt concepute cele mai moderne procesoare și GPU-uri. Majoritatea algoritmilor de învățare a mașinilor se obțin prin reguli cu date de rezoluție mai mică, ceea ce înseamnă că cipul poate gestiona mai multe operații într-o anumită zonă și poate aborda eficient modele mai complexe. Aceasta nu este o idee nouă, modulul Nvidia Drive PX 2, anunțat la începutul acestui an la CES, este capabil de 8 teraflops la o precizie în virgulă flotantă pe 32 de biți, dar atinge 24 de "terape" de învățare profundă (termenul companiei pentru 8 -bita matematică întreagă).

Deși Hölzle a refuzat să intre în anumite caracteristici, rapoartele spun că a confirmat că Google folosește atât TPU-uri, cât și GPU-uri astăzi. El a spus că acest lucru va continua pentru ceva timp, dar a sugerat ca Google să vadă GPU-urile ca fiind prea generale, preferând un cip mai optimizat pentru învățarea mașinii. El a spus că compania va lansa mai târziu o hârtie care descrie beneficiile cipului, dar a precizat că acestea sunt proiectate doar pentru uz intern, nu pentru vânzare către alte companii. O altă aplicație pe care a descris-o a fost folosirea cipurilor pentru a gestiona o parte din calculul din spatele motorului de recunoaștere vocală utilizat pe telefonul Android.

Alegerea de a utiliza un ASIC este un pariu interesant de către Google. Cele mai mari progrese în învățarea mașinilor din ultimii ani - tehnologia din spatele presiunii mari pentru rețele neuronale profunde - a fost adoptarea de GPU-uri, în special linia Nvidia Tesla, pentru a instrui aceste modele. Mai recent, Intel a achiziționat Altera, un important producător de FPGA-uri (tablouri de canale programabile pe câmp), care sunt undeva la mijloc; nu au un scop general ca GPU-urile sau sunt concepute special pentru TensorFlow ca cipul Google, dar pot fi programate pentru a face o varietate de sarcini. Microsoft a experimentat FPGA Altera pentru învățare profundă. IBM își dezvoltă cipul Neurosinaptic TrueNorth conceput special pentru plase neuronale, care a început să fie utilizat recent într-o varietate de aplicații. Cadence (Tensilica), Freescale și Synopsys își împing DSP-urile (procesoare cu semnal digital) pentru a rula aceste modele; Mobileye și NXP au anunțat recent jetoane concepute special pentru ADAS și autovehicule; și mai multe companii mai mici, inclusiv Movidius și Nervana, au anunțat planurile pentru cipuri concepute special pentru AI.

Este prea devreme pentru a ști care abordare va fi cea mai bună pe termen lung, dar faptul că avem câteva opțiuni foarte diferite înseamnă că vom putea să vedem o competiție interesantă în următorii ani.