Из-за ограничений времени на тестирование подрядчики Google произвольно оценивают ответы Bard

Чат-бот Bard был разработан компанией Google в марте в ответ на популярность ChatGPT от OpenAI. Сначала сотрудники техногиганта вручную тестировали технологию, а затем работу передали фирме Appen.

Сотрудники компании Appen помогают улучшить чат-бота Google, и проверка текстов Bard на соответствие подсказкам пользователей — их основная задача. Однако, из-за большого объема работы, некоторые сотрудники ставят оценки наугад.

Подрядчики из компании Appen, нанятые Google для оценки точности ИИ-ответов, жалуются на ограниченное время, предоставляемое для решения. Как сообщает издание Insider, хотя внештатникам говорят, что это ответы «теоретического чат-бота», даты переписок совпадают с анонсом Bard от Google.

Согласно инструкции, подрядчики должны изучать запросы для ИИ, выбирать наиболее подходящий ответ из двух предложенных и объяснять письменно причины своего выбора, чтобы обучать бота на этих данных. Одними из основных критериев оценки являются связность и точность.

На каждую задачу выделяется ограниченное время, которое может варьироваться от нескольких минут до 60 секунд. По словам внештатных сотрудников, дать адекватную оценку ответу в такие сжатые сроки трудно, особенно если это тема, в которой они не разбираются, например, блокчейн и технологии в целом.

Работники вынуждены выполнять задания, на которые не знают ответа, потому что выплаты зависят от времени, затраченного на задачу, и они хотят заработать деньги.

Опрошенные оценщики сказали, что им проще рандомно выбрать ответ, чем тратить свое время впустую и потерять деньги. Некоторые же признались, что рады были бы приложить больше усилий в работе с чат-ботом, но чтобы выбор был точен, на исследование необходимо потратить несколько часов, которые им не оплатят.