Там, где рождается индивидуальность. Как мозг создает уникальность каждого человека - Шантель Прат
Как механизмы обучения методом кнута и пряника влияют на реальную жизнь
В качестве конкретного примера того, как по-разному ведут себя сторонники кнута и пряника, я привожу одну из серии головоломок, которые мы придумали в лаборатории на основе теста «Продвинутые прогрессивные матрицы Равена», измеряющего способности к решению логических задач[392] Суть головоломки – выбрать лучшее недостающее изображение из четырех представленных вариантов. Обратите внимание, что изображения на матрице меняются как слева направо, так и сверху вниз.
Иногда в лабораториях этот тест проводят на время, иногда нет. Но поскольку я задаю вам только одну задачку, советую не жалеть времени. Как только выберете лучший, по вашему мнению, ответ, переверните страницу и посмотрите, что это говорит о том, как предпочитает учиться ваш мозг.
Правильный ответ на вопрос – фрагмент № 2. Он правильный потому, что изображения на матрице меняются по следующему сочетанию правил. В каждом столбце и строке присутствуют рисунки с одной, двумя и тремя вертикальными линиями, а также с одной, двумя и тремя горизонтальными линиями. Если вы логически выведите только это правило, единственным подходящим решением задачи станет фрагмент № 2 – так как недостающим элементом служит фигура с двумя вертикальными и тремя горизонтальными линиями. Но есть и другие закономерности. Сочетание вертикальных и горизонтальных элементов тоже подвержено правильному чередованию: незакрашенные прямоугольники, обычные прямые линии и загогулины вроде макаронин. Теперь обратите внимание, что в столбцах количество и сочетание горизонтальных и вертикальных линий тоже подчиняется правильной закономерности.
Прийти к правильному ответу в этой задаче можно разными способами, но наши с Андреа исследования совместно с Лорен Грэм, одной из самых сильных наших бывших стажерок, показали, что чем больше человек предпочитает путь «Избегай», тем лучше он решает задачи такого типа[393] Относительная сила пути «Выбирай», с другой стороны, никак не коррелировала со способностями решать такие головоломки. Уточню: я не имею в виду, что сторонники пряника плохо решают задачи этого типа, поскольку они не обязательно плохо умеют избегать плохих вариантов. Можно хорошо (или плохо) уметь и то и другое! Вернее было бы считать, что у любого человека точность стратегии «Избегай» в большей степени связана со способностью решать сложные задачи, чем точность стратегии «Выбирай». Но почему?
Чтобы лучше понять отношения между обучением методом кнута и пряника и решением задач, мы создали компьютерную программу и научили ее решать задачи точно так же, как, по нашим представлениям, делали бы люди. Сначала программа берет какой-то визуальный элемент, скажем, две изогнутые вертикальные линии, как на фрагменте слева вверху, а затем пытается вывести правило, которое объясняет, как меняется этот элемент в соседнем фрагменте. Потом она проверяет его на следующем фрагменте. Но у нашей модели есть одна важная особенность: ей нужен способ проверять себя и решать, добивается ли она успеха и приближается ли к решению. Так часто бывает в реальной жизни. К несчастью, а может, и к счастью, в реальной жизни мы редко получаем большое красное «НЕВЕРНО» в ответ на неидеальное решение. Поэтому, чтобы решать такие сложные задачи, нужно, в частности, понимать, что твой метод работает. У нашей программы, в отличие от многих других систем искусственного интеллекта, есть способ давать обратную связь, поэтому ее отлично учит и пряник (ура, сработало!), и кнут (не получилось, забудь это). Как и у наших испытуемых, когда мы сделали модель восприимчивее к кнуту, она стала лучше решать задачки, а когда мы усилили у нее способность учиться на пряниках, ничего не изменилось.
В соответствии с данными, которые мы собрали благодаря нашим испытуемым, эта модель показала, что в случае сложной задачи важно знать, когда твои мысли свернули не туда. Скажем, если будешь решать ту же задачу, соотнося две изогнутые черные линии на левой верхней картинке с тремя изогнутыми черными линиями на картинке по центру верхней строки (по правилу «поверни и прибавь один»), окажешься на неверном пути. Решение этой задачи предполагает разные правила для вертикальных и горизонтальных линий, и если между ними есть какое-то сходство, то в этом упражнении это чистая случайность!
Положа руку на сердце, когда я поняла, что к успеху в решении сложных задач приводит только кнут, я сначала огорчилась. Хотя я искренне убеждена (с научной точки зрения), что при всем разнообразии наших способов думать, чувствовать и действовать у каждого из них есть и преимущества, и недостатки, мне претит сама мысль, что пряник (а я считаю, что меня лучше учит пряник, а не кнут) не имеет никакого отношения к умению решать сложные задачи, а умение избегать лестниц как раз имеет. Однако есть несколько обстоятельств, о которых временно забыл мой наездник – именно тот аспект моей навигационной системы, который считает себя экстравертом-оптимистом и гораздо охотнее ищет наслаждений, чем избегает разочарований.
Во-первых, в большинстве случаев решение стремиться к хорошему или избегать плохого принимается бессознательно или по крайней мере на уровне, который трудно описать словами. Следовательно, неважно, кем ты себя считаешь – оптимистом или пессимистом, человеком чувствительным к вознаграждению или наказанию – все это не обязательно связано с тем, что тебя лучше учит, кнут или пряник.
Во-вторых, те, кого учит пряник, обычно быстрее и точнее соображают, где найти всякие жизненные блага. Пряник – мощное средство обучения. Не забывайте, что большинство систем искусственного интеллекта, использующие метод обучения с подкреплением, опираются только на пряник.
Однако в полном соответствии с идеей этой книги, если тебя учит только пряник, за это придется платить, и даже можно подсчитать, сколько именно. Одна из важнейших составляющих этой платы была наглядно видна во время пандемии. Если нужно выбрать из нескольких вариантов, но все плохие, сторонники пряника оказываются в тупике.
