RU
EN
OpenAI, создатель нейросети GPT-4 и сервиса ChatGPT, разрабатывала новый ИИ под названием Arrakis, который обещал большую эффективность и меньшие затраты на обслуживание. Однако из-за проблем с качеством проект был приостановлен.
Arrakis задумывалась как модель, сопоставимая по возможностям с GPT-4, но более экономичная в эксплуатации благодаря применению принципа разреженности. В отличие от традиционных моделей, которые используют все свои ресурсы, Arrаkis обрабатывала данные лишь частично. Этот подход уже применялся, например, в проекте Pathways от Google.
Работа началась в прошлом году, и обучение модели стартовало весной. Однако команда OpenAI обнаружила, что модель работает медленнее ожидаемого. После месяца попыток оптимизации проект был закрыт. Несмотря на успешные ранние тесты принципа разреженности, в более крупных масштабах он не оправдал себя.
Тем не менее, опыт, полученный при работе над Arrakis и мультимодальной моделью Gobi, будет полезен OpenAI в будущих проектах. Microsoft также вкладывала большие надежды в проект, ища более доступные альтернативы в свете растущих затрат на поддержку генеративных ИИ.
Arrakis могла создавать текст, изображения и видео, при этом демонстрируя меньше ошибок, чем GPT-4. Она также могла функционировать как автономный агент. Модель обучалась в том числе на синтетических данных, и её запуск планировался на 2024 год. Существует мнение, что она могла бы стать основой для создания новых, более эффективных моделей и даже повлиять на разработку GPT-3.5 Turbo.
