🧠 Новая модель ИИ «Titans» от Google: как память человека, но в компьютере!

Google представил новую модель искусственного интеллекта под названием Titans. Эта штука умеет запоминать информацию почти так же, как это делает наш мозг. Давайте разберёмся, что это за модель и почему она такая крутая.

Titans построена на идее, которая очень похожа на то, как работает наша память. У нас в голове есть краткосрочная память (например, чтобы запомнить номер телефона на пару минут) и долговременная память (чтобы помнить важные события из жизни). Titans делает то же самое: она объединяет эти два типа памяти, чтобы лучше обрабатывать информацию.

Одна из самых интересных фишек Titans — это то, как она решает, что запоминать. Модель использует понятие «удивления». Если информация кажется необычной или важной, Titans сохраняет её в долговременной памяти. А если данные не нужны, она их просто забывает, чтобы не тратить место. Звучит логично, правда?

Google создал три разных версии Titans, каждая из которых работает с памятью по-своему:

1. MAC (Memory as Context) — память как контекст. Эта версия лучше всего справляется с очень длинными текстами.

2. MAG (Memory as Access Gates) — память как «ворота». Здесь память контролирует, к какой информации можно получить доступ.

3. MAL (Memory as Layer) — память как часть модели. Эта версия встраивает память прямо в структуру модели.

Titans прошла множество тестов и показала себя лучше, чем многие известные модели, такие как Transformer и Mamba2. Вот несколько примеров её успехов:

- Огромные тексты: Titans может обрабатывать тексты длиной больше 2 миллионов слов. Это как прочитать несколько толстых книг за раз и всё запомнить!

- Тест «Иголка в стоге сена»: Titans нашла нужную информацию в текстах длиной 16 000 слов с точностью 95%. Это как найти иголку в огромном стоге сена.

- Тест BABILong: Titans обогнала даже такие мощные модели, как GPT-4 и Llama3, в задачах, где нужно понимать длинные тексты.

При этом Titans остаётся компактной: самая большая версия модели имеет всего 760 миллионов параметров. Это меньше, чем у многих конкурентов, но работает она лучше.

Хотя Titans создавалась для работы с текстом, её можно использовать и в других областях. Например, она уже показала хорошие результаты в моделировании ДНК и анализе видео. Это значит, что Titans может помочь не только в лингвистике, но и в науке, медицине и других сферах.

Google планирует сделать код Titans открытым, чтобы все могли его использовать и улучшать. Это значит, что скоро мы увидим ещё больше крутых приложений на основе этой модели.