Как ИИ моделите най-накрая започват да помнят всичко: Прорывът с милион токена

Здравейте, фенове на технологиите! 🤖

Създавали ли сте дълъг чат с ChatGPT и той внезапно да забрави какво сте говорили в началото? Или качвате голям файл и ви изскача грешка „твърде дълъг“? Тези проблеми може и да отшумят скоро. Нови инженерски трикове правят ИИ моделите много по-добри в справянето с огромни текстове.

Проблемът с паметта, който дразни всички ИИ специалисти

Сегашните ИИ модели са като приятел, който след пет минути не помни какво си му казал. Обикновено те „обръщат внимание“ само на 8000–32 000 думи – или „токена“, както ги наричат в ИИ света.

А ние искаме повече: да четат цели книги, да разбират сложни договори или да помагат с код от няколко файла. Една средна книга е около 250 000 токена – далеч над лимита им.

Причината е техническа и много интересна. „Механизмът за внимание“, който дава контекст, расте квадратично. Удвоиш текста? Трябват четири пъти повече памет. Утроиш го? Девет пъти. Бързо става невъзможно.

Ulysses: Умното решение, което всички очакваха

Тук идва Ulysses Sequence Parallelism – идея толкова проста, че човек се чуди защо не я измислиха по-рано. Създадена от екипа на Snowflake AI Research, тя е част от протокола Arctic за дълги последователности.

Идеята е гениална: вместо да пъхаш всичко в един GPU (който остава без памет), разпределяш задачата по няколко. Като група хора, които четат различни части от книга и после си разменят бележки, вместо един да се мъчи да запомни всичко.

Ulysses е особено елегантен заради „паралелизма на внимателните глави“. Разделяш „мозъка“ на ИИ на екипи, всеки отговаря за парче текст, и те събират пъзела заедно.

Защо това е голяма работа

Първо си помислих: „Странно, но хубаво“. Сега съм направо развълнуван от възможностите:

За учени и програмисти: Трениране на цели кодови бази, пълни статии или набори от документи – без да рязаш на парчета.

За обикновени хора: ИИ асистенти, които помнят цял разговор, четат книги или запазват контекст дълго време.

За фирми: Обработка на договори, техническа документация или пазарни анализи без да се изгуби нишката.

Как се интегрира (обяснявам лесно)

Най-якото е колко бързо го приемат. Екипът на Hugging Face го вгради в основните си инструменти:

• Accelerate: Опростява работата с няколко GPU.
• Transformers Trainer: За трениране на езикови модели.
• TRL's SFTTrainer: За настройка към конкретни задачи.

Сега всеки може да работи с милион токена, без да преписва кода си. Това ускорява инновациите.

Съперникът: Ring Attention срещу Ulysses

Не е само Ulysses. Има и Ring Attention – там информацията се предава в кръг между GPU-тата, вместо да се разделя вниманието.

И двете са силни, а конкуренцията ни носи напред. Припомня ми времето на първите смартфони, когато фирмите тестваха луди идеи за екрани и интерфейси.

Къде отиваме оттук?

Намираме се на повратна точка в ИИ развитието. Както трансформерите от 2017 отвориха вратата за днешните модели, така Ulysses може да създаде ИИ, който работи с човешка сложност.

Милион токена не са просто трик – това е стъпка към ИИ, който разбира пълното богатство на човешкото знание.

Ще видим ли ChatGPT да анализира романи след година? Не точно, но основите се слагат. Искам да видя какво ще измислят разработчиците!

Какво мислите? Вълнува ви ИИ с супер памет, или ви е страх? Пишейте в коментарите!

Искате технически детайли? Вижте пълното описание и примери за имплементация.