Алленовский институт разрабатывает открытую языковую модель для исследовательских работ
Количество ИИ-инструментов, способных выполнять разноплановые задачи с текстом, растет с каждым днем. Однако большинство современных языковых моделей являются закрытыми, что лишает сторонних исследователей возможности изучать принципы их работы. Институт AI2 занялся разработкой открытой большой языковой модели с целью создать инструмент для научно-исследовательских работ.
Алленовский институт искусственного интеллекта (AI2) - некоммерческая организация, занимающаяся исследованиями в области машинного обучения. Разрабатываемая им языковая модель получила предварительное простое название Open Language Model (OLMo). Работа над инструментом будет проводиться в сотрудничестве с производителем микросхем AMD и стартапами по обработке данных для тренировки языковых моделей.
По словам старшего директора по исследованиям НЛП в AI2 Ханны Хаджиширзи, исследовательско-технологические сообщества нуждаются в доступе к открытым языковым моделям для продвижения и развития науки, для чего институт и создаёт конкурентоспособную языковую модель.
Безусловно, OLMo будет не первой языковой моделью с открытым исходным кодом - помимо неё уже существуют такие примеры, как Bloom и Llama. AI2 рассматривает OLMo не только как модель, но и как платформу, с которой исследователи смогут брать отдельные разработанные институтом компоненты - либо для использования в своих проектах, либо для попыток улучшения и оптимизации инструмента. По словам Хаджиширзи, вся работа над OLMo будет выложена в открытый доступ, включая публичную демо-версию инструмента, набор обучающих данных и API.
Мы разрабатываем OLMo, чтобы предоставить сообществу исследователей искусственного интеллекта более широкий доступ к работе непосредственно над языковыми моделями. Мы считаем, что широкая доступность всех компонентоа OLMo позволит исследователям изучать и улучшать то, что мы создаём. Наша конечная цель — совместными усилиями создать лучшую модель открытого языка в мире.
Значимое отличие OLMo от аналогичных больших языковых моделей, по словам разработчиков, заключается в том, чтобы она будет целенаправленно натренирована лучше работать с текстами образовательного формата (учебниками, научными статьями и т. д.), чтобы стать «уникально подходящей» системой для научно-академических инструментов.
Как и в случае со многими инструментами генеративного ИИ, перед AI2 стоит вопрос определения прав на владение контентом, который будет генерироваться с помощью OLMo. Для определения прав интеллектуальной собственности и оценки вопросов конфиденциальности команда института планирует работать с юристами и сторонними экспертами на протяжении всего процесса создания модели.
По словам Хаджиширзи, AI2 также будет использовать все возможные опции для снижения риска использования языковой модели в злоумышленных и вредоносных целях.
Институт планирует потратить на разработку модели около года и выпустить публичную демо-версию в 2024 году. По информации от разработчиков, у OLMo будет около 70 миллиардов параметров. Обучение начнётся в ближайшие месяцы и будет проходить на LUMI - самом мощном современном суперкомпьютере.
Если вам понравилась статья, поделитесь ею в своем блоге или поставьте нам оценку, чтобы о проекте узнало как можно больше читателей!
страшно,очень страшно. Но статья крутая
Пхахпхапа
То есть скоро можно будет перестать общаться с реальными людьми и просто общаться с ИИ?
Такой прогресс только радует
Мда, треш
Спасибо за статью, очень интересный контент