Guide Labs lansează un nou model LLM interpretabil

Un Nou Tip de Model LLM

Într-o lume în care înțelegerea deciziilor unui model de învățare profundă este o provocare majoră, Guide Labs, un startup din San Francisco, vine cu o soluție inovatoare. Fondat de Julius Adebayo și Aya Abdelsalam Ismail, compania a lansat recent Steerling-8B, un model LLM cu 8 miliarde de parametri, conceput pentru a oferi o interpretabilitate fără precedent. Acest model permite ca fiecare token generat să fie urmărit până la originea sa în datele de antrenament ale modelului.

Interpretabilitate și Trasabilitate

Steerling-8B nu doar că simplifică identificarea materialelor de referință pentru faptele citate de model, dar oferă și o înțelegere mai profundă a conceptelor complexe precum umorul sau genul. «Dacă am un trilion de moduri de a codifica genul și îl codific în 1 miliard din cele 1 trilion de lucruri pe care le am, trebuie să te asiguri că găsești toate acele 1 miliard de lucruri pe care le-am codificat», a explicat Adebayo. Această abordare este considerată una dintre „graalurile sfinte” ale interpretabilității în AI.

O Abordare Inovatoare în Dezvoltarea LLM-urilor

Cercetările lui Adebayo, inițiate în timpul doctoratului său la MIT, au dus la dezvoltarea unei noi metode de construire a LLM-urilor. Prin inserarea unui strat de concept, datele sunt organizate în categorii trasabile, necesitând o adnotare mai detaliată a datelor la început. Acest proces a fost facilitat de utilizarea altor modele AI pentru a ajuta la antrenarea modelului, rezultând cel mai mare concept de probă al companiei până acum.

Provocările și Viitorul Interpretabilității

Deși există îngrijorări că această abordare ar putea elimina unele comportamente emergente ale LLM-urilor, Adebayo asigură că modelul companiei continuă să descopere concepte noi, cum ar fi calculul cuantic. El argumentează că arhitectura interpretabilă va deveni esențială pentru toți dezvoltatorii de LLM-uri, mai ales în industriile reglementate, cum ar fi finanțele, unde este crucial ca modelele să fie controlabile și să nu discrimineze pe baza rasei sau altor factori irelevanți.

Impactul și Planurile de Viitor ale Guide Labs

Conform lui Adebayo, «acest model demonstrează că antrenarea modelelor interpretabile nu mai este o știință, ci o problemă de inginerie». Guide Labs susține că Steerling-8B poate atinge 90% din capacitatea modelelor existente, folosind mai puține date de antrenament datorită arhitecturii sale inovatoare. Compania, care a ieșit din Y Combinator și a obținut o finanțare de $9 milioane de la Initialized Capital în noiembrie 2024, plănuiește să dezvolte un model mai mare și să ofere acces API și agentic utilizatorilor. Adebayo consideră că democratizarea interpretabilității inerente va aduce beneficii pe termen lung pentru rolul nostru în cadrul rasei umane, subliniind importanța de a nu lăsa deciziile importante în mâinile unor modele misterioase.