PNAS Nexus: Эксперты выявили главную слабость искусственного интеллекта

Фото из открытых источников

Международный исследовательский коллектив провёл тестирование ведущих языковых модели при помощи теста Струпа, который остаётся классическим психологическим инструментом для измерения концентрации. Результаты удивили: чем длиннее была задача, тем хуже ИИ с ней справлялся. Работу опубликовали в журнале PNAS Nexus.

Как обычно делается тест Струпа? Испытуемому демонстрируют слова-цвета, которые написаны цветными чернилами. Задача в том, чтобы называть цвет чернил, не произнося собственно слово. Так, если слово «зелёный» написано красным, требуется отвечать «красный». Люди как правило справляются с этим успешно, даже когда списки слов длинные.

Этот тест в эксперименте провели с GPT-4o, Claude 3.5 Sonnet, GPT-5, Claude Opus 4.1 и Gemini 2.5. Когда ИИ нужно было справляться с короткими списками в 5 слов, все системы делали эту работу хорошо. Но как только списки слов росли, точность резко падала. Так, GPT-4o при 5 словах удавалось верно идентифицировать 91% ответов, при 10 задачах КПД снижался до 57%, при 40 — падал до 15%. Claude 3.5 держался до 20 слов, а потом резко рухнул до 24%.

Авторы считают, что модели утрачивают связь с инструкцией и возвращаются к тому, что умеют лучше всего — читают слова. Это принципиальное отличие от людей: мы способны поддерживать устойчивое произвольное внимание.