Стартап от Илона Маска снова собрал миллионы долларов?

В отличие от GPT-4, проект миллиардера использует real-time твиты из соцсети X, может потроллить вас, но самое главное – вывернуть себя наизнанку. Ведь исходный код нейронки полностью открыт для всех желающих – тут.

Почему стартап “убийцы ракет” не дотягивает до проекта OpenAI?

Нейронка от Маска работает на JAX, а написана на Rust?

---------------------------------------------------------------

Илон Маск — наш неповторимый бизнесмен, единорог, открывший Tesla, выкупивший Twitter. Теперь его новая компания красуется соответствующе - X.AI, так как является подразделением социальной сети X. Миллиардер в отличие от компаний OpenAI, Google и Antrophic выстраивают свою философию вокруг создания AGI.

Хотя Маск поздновато вступил в конкуренцию, он все еще стремится "догнать" альтернативные проекты вычислительными способностями и эффективностью. Напоминаем, что Маск оставался с основателем зеленого гиганта, но в последние месяцы он все время напоминает о "первоначальных" целях компании, обвиняя в безрассудной гонке за деньгами и открытиями.

Ключевое отличие Grock-1 от других нейросетей – у нее полностью открытый исходный код.

Код Grok-1 был опубликован на GitHub и продублирован на Hugging Face. Архив весов модели, объемом 300 ГБ, доступен для скачивания по отдельной магнитной ссылке. В репозитории содержится всё необходимое для запуска нейросети, включая инструкции и рекомендации. Исходный код предоставлен под лицензией Apache 2.0.

Нейросеть Grok-1 наделена 314 миллиардами параметров, что значительно превышает GPT-3.5, имеющую лишь 175 миллиардов параметров. Запуск такой крупной модели невозможен на обычном рабочем ноутбуке или домашнем ПК; для этого потребуется система с весьма мощными графическими ускорителями, а точнее сотнями A100...

Публикация исходного кода будет особенно полезна стартапам, занимающимся разработкой чат-ботов и языковых моделей, поскольку они смогут использовать Grok-1 в качестве основы. Кроме того, этот шаг Илона Маска демонстрирует открытость его компании, противопоставляя её философии OpenAI, разрабатывающей свои секретные и опасные проекты...

Скажем так, последнее время подобный проект похож на "обидный" кейс обманутого миллиардера, который зафиксировал прибыль на проседании рынка: Маск был сооснователем крупнейшей ИИ-компании, но не совсем вовремя ушел к личным проектам. Напомним, что в этом же году Илон подал иск на Альтмана и компанию OpenAI.

Хотя проект в общей сумме собрал оценок на 24 млрд долларов, в то же время OpenAI оценили в 29 млрд долларов. К слову, относительно недавно Маск выпустил Grock-1.5, модель, которая стала мультимодальной – она позволяет формировать отчеты в Эксель таблицы из исходных данных, например. Уже неплохо.

У Grok два основных режима работы: базовый и «веселый». В базовом Grok стремится быть обстоятельным и серьезным. Это тот самый помощник, который обязан выполнять свою задачу в точности.

В «веселом» режиме наш робот становится этаким компаньоном, который совершено не стесняется нарушать личные границы.

Все его предложения начинаются и заканчиваются с "мой дорогой человек", а внутри самого сообщения зашито немного пошлости, мат. Короче говоря, альтер-эго OpenAI во всей своей красе. Можно сказать, X еще неплохо играется с твитами пользователей. Да-да. Илон Маск пошел по пути создания целой инфраструктуры своих IT-продуктов. Жаль, что такой чат-бот не реализован внутри электромобилей.

Однако в «веселом» режиме Grok часто допускает неточности. В состоянии веселья чат-бот может распространять недостоверную информацию, путать даты и факты. Этот режим позволяет нейросети свободно фантазировать на тему различных теорий заговора, в результате чего ответы Grok на один и тот же вопрос могут значительно различаться в зависимости от режима.

Например, в «веселом» режиме он может утверждать о наличии неопровержимых доказательств встречи с Йети в Сибирской тайге, тогда как в базовом режиме укажет на отсутствие достоверных доказательств. Доверять можно только официальным ответам Grock.

Скажем честно, OpenAI будет поточнее своего конкурента. Забавно, что в отличие от политически нейтрального GPT – детище Маска склонно пропагандировать либертарианские взгляды.

Либертарианцы — люди, желающие падения государства как института. И нет, это не значит, что миллиардер — либертарианец, так обучилась модель на килотоннах данных. Впрочем, компания обещает немного поправить исходный код, чтобы сделать чат-бота нейтральнее.

Тут важно отметить: Grock обучена не только на открытых данных их интернета, но и имеет прямой доступ ко всем твитам сети. Это вам не GPT со своими устаревшими источниками из 21 года...

С другой стороны, Твиттер становится настоящим глухим телефоном, искаженным проводником во внешний мир. Поэтому в отношении актуальных новостей из-за предвзятости пользователей X, нейросеть может выдавать неактуальные или вообще недостоверные ответы.

Хотя по всем показателям Grock превосходит своего конкурента GPT.

Ну вот мы и получили открытый исходный код. Нужно с ним что-то делать. Grok-1, являющаяся крупной языковой моделью, лежащей в основе системы Grok, обучили с использованием уникального технологического стека, включающего систему управления программным обеспечением Kubernetes, фреймворком машинного обучения JAX на языке Rust.

Этот подход позволил команде xAI разработать Grok быстрее и эффективнее по сравнению с другими чат-ботами. А вы как думали? - Питоном даже и не пахнет...

Rust компилируется в машинный код и мы получаем производительность сопоставимую с C и C++. Это особенно актуально для задач машинного обучения и нейросетей, где скорость выполнения перемножения наших "матриц" да и скорость вычислений в целом — главное.

Возможность использования низкоуровневых оптимизаций и доступ к аппаратным ресурсам напрямую делает Rust отличным выбором для высокопроизводительных вычислительных задач. Rust также поддерживает параллелизм и многопоточность на уровне языка, поэтому координировать видеокарточки с TPU легче.

Существует множество библиотек и фреймворков. Тот же ndarray например, для работы с многомерными массивами. Здесь можно отметить tch-rs для интеграции с библиотекой PyTorch, и rust-cuda для работы с графическими процессорами.

Kubernets работает на уровне абстракции, обеспечивающей изоляцию приложений в контейнерах, а это дополнительная портативность и гибкость.

Основа Kubernetes – концепция кластера, включающего в себя узлы, на которых запускаются контейнеры, упакованные в поды. Управление кластером ведут через контрольный план, включающий API-сервер, контроллеры, менеджеры и планировщик. Выходит наилучший мониторинг состояний узлов и подов, выполнения заданий и поддержания желаемого состояния системы.

Архитектура Kubernetes построена на основе декларативной модели управления, где пользователи описывают желаемое состояние системы с помощью YAML или JSON манифестов, а контрольный план отвечает за приведение фактического состояния системы в соответствие с этими описаниями.

Важной особенностью Kubernetes остается использование механизма контроллеров для управления состоянием приложений и кластеров. Контроллеры следят за состоянием ресурсов: поды, службы, конфигурации и хранилища, и предпринимают корректирующие действия для поддержания заданного состояния.

Механизмы планирования и балансировки нагрузки в Kubernetes обеспечивают эффективное распределение ресурсов и повышение отказоустойчивости приложений.

Планировщик анализирует ресурсы узлов и требования подов, выбирая оптимальные узлы для размещения новых подов. Балансировка нагрузки и автоматическое масштабирование позволяют адаптировать производительность приложений под текущие нагрузки. Короче говоря, система обеспечивает адаптивность "нагрузок".

Kubernetes формирует интеграцию с различными сетевыми и хранилищными провайдерами. Система поддержки сетевых политик и сторонних сетевых плагинов позволяет пользователям определять правила доступа и изоляции на уровне сети. Большой плюс системы — поддержка плагинов.

Добавим, что написана нейронка с использованием JAX, о которой мы уже писали.

JAX — это библиотека для численных вычислений, разработанная Google, которая поддерживает автоматическое дифференцирование и компиляцию.

Каждая операция, выполненная в ходе вычислений, записывается в виде графа операций. Затем, используя правила дифференцирования элементарных операций, эти же операции применяются к каждому узлу графа для вычисления производной функции по каждому из входных параметров.

Преимущество автоматического дифференцирования – оно позволяет вычислять производные для сложных функций, состоящих из множества элементарных операций, без необходимости вручную выводить аналитическое выражение для производной.

Центральным элементом является возможность автоматического дифференцирования, что упрощает вычисление градиентов и ускоряет процесс обучения моделей.

JAX также поддерживает векторизацию и параллельные вычисления, что + 100 к очкам производительности.

Трансформеры, будучи основой современных LLM требуют, как мы уже сказали, A100… JAX, благодаря своей архитектуре, оптимизированной для таких задач, позволяет эффективно управлять этими ресурсами, обеспечивая быструю и надежную тренировку моделей.

Он компилирует код в машинные инструкции, которые могут выполняться на GPU и TPU, что значительно ускоряет процесс вычислений. В результате разработчики могут быстро экспериментировать с новыми архитектурами и гиперпараметрами.

Короче говоря, JAX – это про авто-авто-авто математические вычисления.

Короче говоря, несмотря на все усилия и оптимизацию, работа с чат-ботов в отношении железа идет достаточно тяжело…

Как и все крупные языковые модели, Grok-1 обучалась на массивных объемах текстовых данных, собранных из интернета, охватывающих широкий спектр источников от статей Википедии до научных публикаций.

Однако Grok имеет уникальное преимущество перед другими моделями благодаря своему прямому доступу к постам, сделанным в социальной сети X. Это обеспечивает Grok «знание мира в реальном времени», как заявляет компания, что предоставляет ему «значительное преимущество перед другими моделями», по словам Илона Маска.

Как нам кажется, такие крупные стартапы строятся не из перспективы реального роста и окупаемости инвестиций, сколько на авторитете самого Маска. Сколько он сжигал ракет...

Но успехи действительно присутствуют. Все же стартап выглядит, как ироничное создание ироничного чат-бота.

Ключевым плюсом остается работа с твитами в реальном времени, как и информацией.

Grok-1 продемонстрировал превосходные результаты на контрольных экзаменах по математике средней и старшей школы, автодополнению кода и пониманию языка, превзойдя GPT-3.5, лежащую в основе бесплатной версии ChatGPT.

На венгерских национальных экзаменах по математике для старших классов Grok-1 получил оценку C, несмотря на то, что модель не была специально настроена для этого теста, что также превзошло показатели GPT-3.5.

Тем не менее? Grok-1 пока не достиг уровня GPT-4 на этих экзаменах. Компания xAI объясняет это тем, что GPT-4 обучается на значительно большем объеме данных и с использованием более мощных вычислительных ресурсов.

Будем честны, разница между GPT четвертого поколения и третьего выглядит разительно. И сравнение новейшей ИИ-технологии от Илона Маска со старой версией чат-бота от OpenAI выглядит по меньшей мере... забавно...

В инвест. раунде участвовали Valor Equity Partners, Sequoia Capital, Vy Capital, Andreessen Horowitz, Fidelity Management & Research Co., а также саудовский принц аль-Валид ибн Талал.

Давайте поможем вам ее запустить.

Для начала работы с моделью Grok-1 следует выполнить клонирование её репозитория с GitHub. Это можно сделать следующим образом:

git clone https://github.com/xai-org/grok-1.gitcd grok-1

Эти команды загружают исходный код модели на ваш локальный компьютер и переходят в директорию с проектом.

Для корректной работы модели необходимо установить все зависимости Python, указанные в файле requirements.txt. Выполните следующую команду для установки всех необходимых библиотек:

pip install -r requirements.txt

Файл requirements.txt содержит список библиотек, таких как dm_haiku, jax[cuda12_pip], numpy и sentencepiece, необходимых для работы с моделью. Установка этих библиотек гарантирует, что все зависимости будут удовлетворены.

Для загрузки весов модели Grok-1 предоставляется два варианта, из которых можно выбрать подходящий:

Вариант 1: Использование торрент-клиента

Вы можете использовать предоставленную magnet-ссылку с торрент-клиентом для загрузки весов модели. Пример ссылки для загрузки:

bash

Копировать код

magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce

Вариант 2: Загрузка через HuggingFace Hub

Либо можно воспользоваться HuggingFace CLI для загрузки напрямую:

pip install huggingface_hub[hf_transfer]huggingface-cli download xai-org/grok-1 --repo-type model --include ckpt-0/* --local-dir checkpoints --local-dir-use-symlinks False

После загрузки весов модели необходимо поместить контрольную точку ckpt-0 в директорию checkpoints, чтобы скрипт run.py мог её успешно загрузить.

После успешной загрузки весов модели вы готовы выполнить её запуск. Для этого используйте скрипт run.py, который загружает контрольную точку и демонстрирует пример работы модели на тестовом входе. Запустите скрипт следующей командой:

python run.py

Скрипт run.py инициализирует конфигурацию модели, загружает контрольную точку из директории checkpoints и демонстрирует пример вывода модели. Для более детального изучения реализации можете просмотреть сам скрипт run.py.