RU
EN
В 2024 году Институт искусственного интеллекта Пола Аллена (AI2) планирует выпустить Open Language Model (OLMo) — большую языковую модель, предназначенную для научных исследований. Разработка OLMo осуществляется при участии компании AMD, консорциума Large Unified Modern Infrastructure, который обеспечивает вычислительные мощности для обучения и образования, а также компаний Surge AI и MosaicML, которые предоставляют данные и обучающий код.
Старший директор по нейролингвистическим исследованиям (НЛП) в AI2 Ханна Хаджиширзи заявила, что доступ к открытым языковым моделям необходим исследовательским и технологическим сообществам для продвижения науки. В рамках создания конкурентоспособной языковой модели OLMo, мы работаем над устранением разрыва между государственными и частными исследовательскими возможностями и знаниями. Хаджиширзи отметила, что хотя многие открытые модели на сегодняшний день «раздвинули границы» и привнесли новый опыт, они не были разработаны специально для научных исследований.
AI2 рассматривает OLMo не только как еще одну модель искусственного интеллекта, но и как платформу, и по словам Хаджиширзи, всё, что AI2 делает для OLMo, будет общедоступно, включая датасет и API. Согласно старшему директору по исследованиям НЛП в AI2, Ноа Смиту, другой особенностью OLMo является улучшенная способность модели использовать и понимать учебники и академические статьи. Это не первый случай, когда создаются научные нейронные сети, например, печально известная модель Galactica от Meta*. Однако Хаджиширзи считает, что уникальность OLMo заключается в том, что она разрабатывается с помощью обучения, полученного в академических кругах, а также инструментов, созданных учеными для научных исследований, таких как Semantic Scholar. В результате OLMo станет «уникально подходящей» для научных и академических приложений.
AI2 планирует начать обучение своей новой языковой модели OLMo в ближайшие месяцы на суперкомпьютере LUMI в Финляндии, который является самым быстрым в Европе на январь этого года. Организация приглашает специалистов принять участие в проекте и внести свой вклад в процесс разработки модели, а также критически оценить его результаты. Для этого можно связаться с организаторами на странице проекта OLMo.
* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».
