Niv-AI: Revoluționând eficiența energetică a GPU-urilor

Provocările Energetice ale Centrelor de Date

Electricitatea este un material esențial pentru inteligența artificială, dar noile tehnici de procesare depășesc capacitatea operatorilor de centre de date de a-și gestiona relația cu rețeaua electrică. Acest lucru îi obligă să reducă consumul de energie cu până la 30%. «Există atât de multă energie risipită în aceste fabrici de AI», a declarat Jensen Huang, CEO-ul Nvidia, în cadrul unei conferințe anuale a companiei. «Fiecare watt neutilizat este un venit pierdut», a subliniat compania.

Soluția Niv-AI pentru Optimizarea Consumului de Energie

Astăzi, startup-ul Niv-AI a ieșit din stealth cu o finanțare de $12 milioane pentru a rezolva această problemă prin măsurarea precisă a consumului de energie al GPU-urilor cu ajutorul unor senzori noi și dezvoltarea de instrumente pentru gestionarea mai eficientă a acestuia. Compania din Tel Aviv a fost fondată anul trecut de CEO-ul Tomer Timor și CTO-ul Edward Kizis, fiind susținută de Glilot Capital, Grove Ventures, Arc VC, Encoded VC, Leap Forward și Aurora Capital Partners. Compania a refuzat să dezvăluie evaluarea sa.

Gestionarea Surprizelor de Cerere de Energie

Laboratoarele de frontieră operează mii de GPU-uri în concert pentru a antrena și rula modele avansate, ceea ce duce la creșteri frecvente ale cererii de energie la nivel de milisecunde, pe măsură ce procesoarele comută între sarcini de calcul și comunicarea cu alte GPU-uri. Aceste creșteri fac dificilă gestionarea energiei trase de la rețea de către centrele de date. Pentru a evita lipsa de electricitate, centrele de date plătesc pentru stocarea temporară de energie sau reduc utilizarea GPU-urilor, ambele cazuri reducând rentabilitatea investițiilor în cipuri scumpe.

Inovația Niv-AI în Monitorizarea și Sincronizarea Energiei

«Pur și simplu nu putem continua să construim centre de date așa cum le construim acum», a declarat Lior Handlesman, partener la Grove Ventures și membru al consiliului Niv-AI. Primul pas în planul Niv este înțelegerea a ceea ce se întâmplă; compania implementează acum senzori la nivel de rack care detectează utilizarea energiei la nivel de milisecunde pe GPU-urile pe care le deține și alături de partenerii de design. Scopul este de a înțelege profilurile specifice de energie ale diferitelor sarcini de învățare profundă și de a dezvolta tehnici de atenuare care să permită centrelor de date să deblocheze mai mult din capacitatea lor existentă.

Viitorul: Un Strat de Inteligență între Centrele de Date și Rețea

Inginerii se așteaptă să construiască un model AI pe baza datelor colectate, cu scopul de a-l antrena să prezică și să sincronizeze sarcinile de energie în întregul centru de date—un «copilot» pentru inginerii centrelor de date. Niv se așteaptă să aibă un sistem operațional în câteva centre de date din SUA în următoarele șase până la opt luni. Este o idee atractivă, deoarece hyperscalerii care încearcă să construiască noi centre de date se confruntă cu dificultăți legate de utilizarea terenului și de lanțul de aprovizionare. Fondatorii văd produsul lor final ca un strat de «inteligență» lipsă între centrele de date și rețeaua electrică. «Rețeaua se teme de fapt că centrul de date va consuma prea multă energie la un moment dat», a declarat Timor. «Problema pe care o analizăm este o problemă cu două capete. Unul este să încercăm să ajutăm centrele de date să utilizeze mai multe GPU-uri și, sperăm, să valorifice mai mult din energia pentru care deja plătesc. Pe de altă parte, poți crea și profiluri de energie mult mai responsabile între centrele de date și rețea.»