Gimlet Labs: Revoluționarea inferenței AI cu o abordare elegantă

Inovația Gimlet Labs în domeniul AI

Zain Asgar, profesor adjunct la Stanford și antreprenor de succes, a reușit să strângă 80 de milioane de dolari pentru startup-ul său, Gimlet Labs, în cadrul unei runde de finanțare Seria A condusă de Menlo Ventures. Gimlet Labs a dezvoltat ceea ce pretinde a fi primul și singurul „multi-silicon inference cloud”, un software care permite rularea simultană a sarcinilor de lucru AI pe diverse tipuri de hardware. Acest sistem poate distribui munca unei aplicații AI atât pe CPU-uri tradiționale, cât și pe GPU-uri optimizate pentru AI, precum și pe sisteme cu memorie mare.

«Practic, rulăm pe orice hardware disponibil», a declarat Asgar. Această flexibilitate permite ca un singur agent să îmbine mai multe etape, fiecare necesitând hardware diferit: «Inferența este limitată de calcul; decodarea este limitată de memorie; iar apelurile de instrumente sunt limitate de rețea», a explicat Tim Tully de la Menlo Ventures într-o postare pe blog despre finanțare.

Impactul economic și eficiența Gimlet Labs

Potrivit estimărilor McKinsey, dacă tendința actuală de a implementa mai multă capacitate de calcul continuă, cheltuielile pentru centrele de date ar putea ajunge la aproape 7 trilioane de dolari până în 2030. Asgar menționează că aplicațiile folosesc doar între 15% și 30% din hardware-ul existent. «O altă modalitate de a privi acest lucru: irosești sute de miliarde de dolari pentru că lași resursele neutilizate», a spus Asgar. Scopul lor a fost să facă sarcinile de lucru AI de 10 ori mai eficiente decât până acum.

Gimlet Labs susține că accelerează inferența AI de 3 până la 10 ori pentru același cost și putere. Compania poate chiar să împartă modelul de bază pentru a rula pe diferite arhitecturi, folosind cel mai bun cip pentru fiecare porțiune a modelului. Gimlet Labs a încheiat deja parteneriate cu producători de cipuri precum NVIDIA, AMD, Intel, ARM, Cerebras și d-Matrix.

Evoluția și viitorul Gimlet Labs

Produsul Gimlet Labs, disponibil ca software sau printr-un API către propriul Gimlet Cloud, nu este destinat dezvoltatorilor obișnuiți de aplicații AI, ci marilor laboratoare de modele AI și centrelor de date. Compania a fost lansată public în octombrie, raportând venituri de opt cifre de la început (cel puțin 10 milioane de dolari). Asgar a declarat că baza sa de clienți s-a dublat în ultimele patru luni și include acum un producător major de modele și o companie foarte mare de cloud computing, deși nu a dorit să le numească.

Cofondatorii Gimlet Labs au lucrat anterior împreună la Pixie, un startup care a creat un instrument open source de observabilitate pentru Kubernetes, achiziționat de New Relic în 2020. După ce Asgar s-a întâlnit întâmplător cu Tully și a primit investiții de la profesori de la Stanford, investitorii de capital de risc au început să se intereseze. După lansare, o ofertă de investiție a ajuns rapid pe biroul lui Asgar, iar runda a fost rapid suprasubscrisă.

Cu finanțarea anterioară, startup-ul a strâns acum un total de 92 de milioane de dolari, inclusiv de la investitori precum Bill Coughran de la Sequoia, profesorul Nick McKeown de la Stanford, fostul CEO al VMware Raghu Raghuram și CEO-ul Intel Lip-Bu Tan. Compania are în prezent 30 de angajați. Alți investitori includ Factory, Eclipse Ventures, Prosperity7 și Triatomic.