NVIDIA повышает эффективность развертывания искусственного интеллекта с помощью NIM
В настоящее время NIM расширяет поддержку моделей от NVIDIA, A121, Adept, Cohere, Getty Images и Shutterstock, а также моделей с открытым исходным кодом от Google, Hugging Face, Meta, Microsoft, Mistral AI и Stability AI
На конференции GTC компания NVIDIA представила программу NIM, разработанную для упрощения интеграции пользовательских и предварительно подготовленных моделей искусственного интеллекта в рабочие настройки. NIM использует опыт NVIDIA в области вывода и оптимизации моделей, предлагая понятный подход, который объединяет выбранную модель с точно настроенным механизмом вывода и помещает эту комбинацию в контейнер, а затем предоставляет ее в виде микросервиса.
NVIDIA заявляет, что благодаря программе NIM развертывание контейнеров, обычно занимающее несколько недель или месяцев у разработчиков, может быть ускорено. Особенно это актуально в ситуациях, когда компаниям не хватает собственных специалистов по искусственному интеллекту. Основная стратегическая цель NVIDIA с NIM заключается в создании сети контейнеров, специально подготовленных для работы с искусственным интеллектом на базе их аппаратной инфраструктуры. Эти специализированные микросервисы становятся основным программным компонентом для организаций, стремящихся ускорить свои инициативы в области искусственного интеллекта.
В настоящее время NIM расширяет свою поддержку для моделей, созданных не только компанией NVIDIA, но и другими партнерами, такими как A121, Adept, Cohere, Getty Images и Shutterstock. Это дополнительно к моделям с открытым исходным кодом от таких партнеров, как Google, Hugging Face, Meta, Microsoft, Mistral AI и Stability AI. NVIDIA активно сотрудничает с ведущими компаниями, такими как Amazon, Google и Microsoft, чтобы обеспечить доступ к микросервисам NIM через SageMaker, Kubernetes Engine и Azure AI соответственно. Эти сервисы готовы к интеграции на различных платформах, таких как Deepset, LangChain и LlamaIndex.
“Мы уверены, что графический процессор NVIDIA является наилучшим выбором для выполнения вывода этих моделей на […], а также убеждены в том, что NVIDIA NIM представляет собой лучший программный пакет и среду выполнения” – заявил Манувир Дас, глава подразделения корпоративных вычислений NVIDIA, на брифинге для прессы перед сегодняшними анонсами.
В рамках логического вывода NVIDIA планирует внедрить сервер Triton, который будет дополнять TensorRT и TensorRT-LLM для своих операций. Среди предложений, доступных через NIM, – Riva, предназначенный для адаптации моделей речи и перевода, cuOpt для улучшения процессов маршрутизации, а также модель Earth-2, разработанная для более точного прогнозирования погоды и климата.
NVIDIA постоянно расширяет свой набор сервисов, внедряя новые функции постепенно. Одним из предстоящих дополнений является включение в сервис NIM оператора NVIDIA RAG LLM. Этот оператор направлен на упрощение создания генеративных чат-ботов с искусственным интеллектом, способных интегрировать индивидуальные данные. Это значительно упрощает процесс разработки и делает его более эффективным.
Выделяя важность сообщества и партнерских отношений, конференция также подчеркнула значимость сотрудничества с ведущими компаниями, включая Box, Cloudera, Cohesity, Datastax, Dropbox и NetApp. Эти компании в настоящее время успешно используют сервисы NIM, что подчеркивает их доверие к продуктам и технологиям NVIDIA.
“Устоявшиеся корпоративные платформы представляют собой настоящий кладезь данных, которые могут быть превращены в источник силы для генерации помощников искусственного интеллекта. Эти контейнерные микросервисы искусственного интеллекта, созданные в рамках экосистемы наших партнеров, становятся строительными блоками, с помощью которых предприятия любой отрасли могут преобразиться в компании с искусственным интеллектом”, – подчеркнул генеральный директор NVIDIA, Дженсен Хуанг.
Что на самом деле делает NVIDIA NIM?
NIM – это контейнер, который содержит микросервисы. В этот контейнер можно встроить модели любого типа, открытые или проприетарные, при условии, что они работают на графическом процессоре NVIDIA, независимо от того, размещены ли они в облаке или на персональном ноутбуке. Следовательно, контейнер можно развернуть в любой среде, поддерживающей контейнеры, включая настройки Kubernetes в облаке, серверы Linux или даже бессерверные платформы “Функция как услуга”. NVIDIA планирует внедрить функцию бессерверных функций на своем портале ai.nvidia.com, что позволит разработчикам взаимодействовать с NIM до его развертывания.
В заключение, важно отметить, что NIM не стремится заменить ни одну из существующих методик доставки моделей NVIDIA. Это скорее специализированный контейнер, который объединяет усовершенствованные модели, оптимизированные для графических процессоров NVIDIA, а также ключевые технологии для улучшения производительности логического вывода.
Существенным вопросом является переход к производству. Как можно улучшить исходные прототипы, разработанные с помощью NIM, чтобы достичь заметных бизнес-результатов через внедрение этих моделей в производственные процессы? NVIDIA совместно с консорциумом ведущих поставщиков данных рассматривает NIM как решение этой проблемы. Функциональность векторных баз данных играет ключевую роль в активации RAG и поддерживается различными поставщиками векторных баз данных, включая Apache Lucene, Datastax, Faiss, Kinetica, Milvus, Redis и Weaviate.
источник: AINews
#nvidia #nvidia GTC #технологии #NVIDIA GTC 2024 #искусственныйинтеллект