Оценка прозрачности моделей ИИ

Стремясь раскрыть тайны «чёрного ящика» нейросетей, учёные из Стэнфорда, Массачусетского технологического института и Принстона создали «Индекс прозрачности основных моделей» (FMTI). Эта система оценки ранжирует десять ведущих моделей ИИ на основе доступной информации о них. Результаты показали, что только модели с открытым кодом предоставляют некоторую прозрачность.

С увеличением влияния ИИ на общество, его прозрачность уменьшается, что напоминает секретность предыдущих цифровых технологий, таких как социальные сети, — говорит соавтор исследования Саяш Капур. Отсутствие прозрачности затрудняет понимание ограничений модели и возможность компенсации за причиненный ущерб.

FMTI оценивает модели ИИ по 100 критериям, связанным с прозрачностью и доступностью. Это включает в себя их структуру, данные для обучения и потребность в ресурсах. Также учитываются политики использования, защиты данных и управления рисками. Подробности методологии представлены в 110-страничном документе.

До публикации отчета исследователи обсудили результаты с руководством компаний, позволяя им аргументировать свою позицию. Несмотря на это, средний балл моделей составил 37 из 100. Это подтверждает, что ни одна модель не достигла нужного уровня прозрачности.

Модель Llama 2 от Meta✴ лидирует с 54%, за ней следуют Bloomz от Hugging Face с 53% и GPT-4 от OpenAI с 48%. Исследователи отметили, что даже OpenAI, утверждающий свою «открытость», не обеспечивает полную прозрачность для GPT-4. Топ-5 замыкают модели Stable Diffusion 2 и PaLM2 с 47% и 40% соответственно.

Исследователи подчеркивают дебаты о том, должны ли модели ИИ быть открытыми. Открытые модели, такие как Llama 2 и Bloomz, получили более высокие оценки по сравнению с закрытыми, например, GPT-4.

Ученые надеются, что FMTI станет стимулом для создателей ИИ к большей прозрачности и планируют обновлять рейтинг ежегодно. Большинство участников рейтинга уже присоединились к инициативам правительства США по ответственному использованию ИИ.

«Один из самых острых политических споров в области ИИ сегодня заключается в том, должны ли модели ИИ быть открытыми или закрытыми»

Результаты FMTI могут быть полезны Европейскому Союзу при разработке новых регуляций в области ИИ. Этот индекс может помочь законодателям лучше понять текущее состояние отрасли и потенциальные направления регулирования.