Тест BotPrize проходил в виде многопользовательской компьютерной игры Unreal Tournament 2004, персонажами которой управляли как реальные люди, так и компьютерные алгоритмы. Игроки, одновременно выступавшие в роли судей, должны были оценить вероятность того, что тем или иным персонажем управляет человек, а не компьютерная программа. На основе этой оценки для всех участников игры рассчитывалась «человекоподобность» поведения.
В ходе теста двум компьютерным алгоритмам удалось достичь «человекоподобности» около 52 процентов — на 10 процентов больше, чем средняя соответствующая оценка у реальных игроков.
Первый алгоритм, Mirrorbot, разработанный сотрудником французского Европейского центра виртуальной реальности Михая Полчеану (Mihai Polceanu), полностью копировал поведение противников – манеру бега, стрельбу или смену оружия.
Второй алгорим UT^2 разработан сотрудниками Техасского университета в Остине. Он также основан на имитации поведения людей, но не копировании его в реальном времени, а повторении их тактики «в среднем». По словам разработчиков, это позволяет избавиться от классических недостатков ботов. Например, программа приобрела человекоподобный способ обходить препятствия, который довольно сильно отличает поведение ботов от поведения реальных людей.
Конкурс BotPrize проводится уже пятый год подряд, но только сейчас программам-претендентам удалось его выиграть. Две победившие команды поделят призовой фонд, составляющий 7 тысяч долларов.
Примечательно, что победившие программы не старались сделать ничего самостоятельно, а лишь мимикрировали, подражая поведению живых игроков. Многочисленные боты и люди играли на одной карте «все против всех» на условиях полной анонимности и более чем в 50% случаев боты были определены как люди всеми четырьмя «органическими» судьями. В то же время, живых игроков не признавали людьми с такой же частой: более чем в половине случаев судьи посчитали их ботами. Таким образом, простое копирование оказалось правдоподобнее несовершенных, но старавшихся самостоятельно «думать» программ. Это особенно явно продемонстрировал алгоритм Neurobot, основанный на популярной модели нейронных сетей: он так и не смог обмануть судей, показав только четвертый результат с 26% успешности мимикрии под человека.
Конкурс BotPrize нельзя считать полноценным аналогом оригинального теста Тьюринга. В исходной постановке задачи компьютерная программа должна убедить судью в том, что она является человеком во время свободной беседы. Для этого искусственный интеллект должен обладать глубоким пониманием человеческого языка, что пока недоступно ни для одной программы, отмечает Lenta.Ru.