Näin tekoälymallit oppivat muistamaan kaiken: Miljoonan tokenin läpimurto

Hei teknologiafanit! 🤖

Muistatko, kun ChatGPT unohti keskustelun alun pitkän jutustelun jälkeen? Tai kun yritit syöttää pitkän dokumentin ja törmäsit "liian pitkä" -virheeseen? Ne ajat voivat olla ohi. Uudet keksinnöt tekevät tekoälystä paljon taitavampaa massiivisten tekstien kanssa.

Muistiongelma, joka on piinannut kehittäjiä

Nykyiset tekoälymallit muistuttavat kaveria, joka hukkaa langan pitkän tarinan keskellä. Useimmat mallit käsittelevät kerralla vain 8 000–32 000 tokenia – eli noin kymmeniä tuhansia sanoja.

Kuvittele kuitenkin, mitä haluamme: koko romaanin analysointi, lakipapereiden purku tai monitiedostoiset koodiprojektit. Tavallinen kirja on 250 000 tokenia. Se on liikaa useimmille malleille.

Syy piilee attention-mekanismissa. Sen skaalaus on neliömainen: tekstin pituus kaksinkertaistuu, muisti nelinkertaistuu. Kolminkertaistuu? Kahdeksan kertaa enemmän muistia. Ongelma räjähtää käsiin nopeasti.

Ulysses: Älykäs ratkaisu

Tänne astuu Ulysses Sequence Parallelism. Snowflake AI Researchin kehittämä juttu kuuluu Arctic Long Sequence Training -protokollaan.

Idean ydin on simppeli: älä tunge kaikkea yhteen GPU:hun. Jaa laskenta useammalle. Kuten tiimi lukee dokumentin osia erikseen ja vertaa muistiinpanoja – ei yksi ihminen yritä pitää kaikkea päässään.

Ulysses loistaa attention head parallelismilla. Se jakaa tekoälyn "aivojen" osat: kukin hoitaa oman tekstiosansa ja yhdistää lopuksi kokonaisuuden.

Miksi tämä muuttaa pelin?

Aluksi ajattelin: kiva, mutta iso juttu? Nyt olen innoissani. Mahdollisuudet ovat valtavat.

Tutkijoille ja kehittäjille: Kouluta malleja kokonaisilla koodikokoelmilla, tutkimuspapereilla tai monidokumenttiaineistoilla. Ei enää pätkimistä.

Käyttäjille: Assistentit muistavat koko keskusteluhistorian, purkavat kokonaisia kirjoja ja pitävät kontekstin yllä pitkissä vuorovaikutuksissa.

Yrityksille: Käsittele sopimuksia, teknisiä ohjeita tai markkinaraportteja kokonaisina ilman hukattuja säikeitä.

Helppo integrointi ekosysteemiin

Hieno puoli: tämä leviää nopeasti. Hugging Face on lisännyt Ulyssuksen ydinkirjastoihinsa.

• Accelerate: Moni-GPU-tuki helposti.
• Transformers Trainer: Koulutus hoituu sujuvasti.
• TRL:n SFTTrainer: Säätö tehtäväkohtaisiin tarpeisiin.

Kehittäjät pääsevät miljoonan tokenin konteksteihin ilman koodin uusiksi kirjoittamista. Innovaatiot kiihtyvät.

Kilpailija: Ring Attention

Ulysses ei ole ainoa. Ring Attention kierrättää tietoa GPU:iden välillä ympyrässä – erilainen jako attention-laskennalle.

Molemmilla vahvuuksia. Kilpailu edistää alaa, kuten puhelimien kosketusnäyttöjen kehitys aikoinaan.

Mitä seuraavaksi?

Olemme käännekohdassa. Transformer-arkkitehtuuri avasi 2017 nykyiset mallit. Ulysses voi mahdollistaa ihmistasoista tietomäärää käsittelevät tekoälyt.

Miljoonan tokenin tuki ei ole pelkkä tekninen voitto. Se avaa oven ihmistiedon täyteen syvyyteen.

Nähdäänkö ChatGPT analysoimassa romaaneja ensi vuonna? Ehkä ei heti, mutta pohja on valmis. Odotan innolla, mitä kehittäjät keksivät.

Mitä mieltä olet? Innostaako pidempi muisti vai pelottaako? Kerro kommenteissa!

Haluatko tekniset syvät sukellukset? Tutustu täysimittaiseen raporttiin ja toteutukseen.