Может ли ИИ «чувствовать» вину?

Фантасты часто изображают роботов холодными и расчётливыми существами, стремящимися управлять наивными людьми. Но у искусственного интеллекта есть и другой возможный путь развития.

У людей такие эмоции, как гнев, печаль или благодарность, появлялись в ходе эволюции, чтобы помогать мыслить, взаимодействовать и выстраивать доверие. Учёные предполагают, что продвинутый ИИ может развить в себе нечто подобное.

Исследование, опубликованное в журнале Journal of the Royal Society Interface, показало, что даже среди простейших программных агентов (по сути, «миниатюрных персонажей», чем-то напоминающих героев The Sims) наличие аналога чувства вины может быть устойчивой стратегией, которая способствует сотрудничеству и приносит в конечном счёте выгоду всем участникам.

Эмоции – это не просто субъективные переживания, а комплексы когнитивных искажений, физиологических реакций и поведенческих склонностей. Когда человек причиняет кому-то вред, он часто чувствует побуждение искупить свою вину, возможно, для того, чтобы показать окружающим, что больше не повторит этот проступок. В своём исследовании учёные допустили, что подобное стремление к самонаказанию можно посчитать чувством вины. И именно его они запрограммировали в своих искусственных агентах. Вопрос заключался в том, вытеснят ли в соперничестве агенты, которые не обладают этим чувством, тех, кто им обладает, – объясняет Теодор Чимпяну, специалист по компьютерным наукам из Университета Стерлинга (Шотландия).

Агенты с такими же агентами-соседями участвовали в игре для двух игроков под названием «итерационная дилемма заключённого». Эта игра происходит из теории игр – математического подхода к анализу принятых решений несколькими участниками, исходя из их предпочтений и стратегий. На каждом ходу игрок выбирает: «сотрудничать» (вести себя честно) или «предавать» (действовать эгоистично). В краткосрочной перспективе больше очков приносит предательство, но это в дальнейшем провоцирует партнёра поступать так же. В итоге оказывается, что всем игрокам гораздо выгоднее сотрудничать. Искусственные агенты, конечно, не могли испытывать вину так же глубоко, как люди, но ощущали её как самоналоженный штраф, побуждающий их снова сотрудничать после совершения эгоистичного поступка.

Исследователи провели несколько серий симуляций с разными настройками и структурами социальных сетей. В каждой серии участвовало 900 игроков, и каждому игроку была назначена одна из шести стратегий, определяющих склонность к предательству, чувству вины и реакции на него. В одной из стратегий, получившей техническое название DGCS, агент ощущал вину после предательства — то есть терял очки, пока снова не начинал сотрудничать. Ключевым моментом стало то, что агент чувствовал вину (терял очки) только если получал информацию о том, что его партнёр тоже платит «цену вины» за своё предательство. Это защищало агента от превращения в «жертву» и способствовало его стремлению ко взаимному сотрудничеству. В реальной жизни распознать вину у других сложнее, но извинения, реально чего-то стоящие человеку – это хороший индикатор.

Симуляции не моделировали, как именно поведение, похожее на чувство вины, могло бы возникнуть изначально, а только то, сможет ли оно выжить и распространиться после своего возникновения. После каждой итерации агенты могли копировать стратегию соседа, причём вероятность подражания зависела от общего счёта набранных очков соседом. В ряде сценариев, особенно когда вина была незначительной и агенты взаимодействовали только с ближайшими соседями, стратегия DGCS становилась доминирующей, и, как показали результаты, большинство взаимодействий переходило в режим сотрудничества и доверия.«Наверное, доверять легче, когда у агента есть ощущение, что сосед мыслит так же, как он», — говорит Теодор Чимпяну.

Возможно, в дальнейшем учёные захотят имплементировать пусть не осознанные, а лишь функциональные проявления эмоций в искусственный интеллект. Авторы исследования отмечают, что эти проявления даже смогут со временем самопроизвольно возникать у ИИ, если тот окажется способным к мутации или самообучению.

Однако, как предупреждают философы, здесь есть и существенные оговорки. Так, Сара Розенсток из Мельбурнского университета (Австралия), не участвовавшая в работе, но использующая теорию игр для изучения эволюции вины, говорит о том, что произведённые в ходе представленного исследования симуляции основаны на большом множестве предположений. Поэтому здесь нельзя делать однозначные выводы, однако, результаты позволяют выделять ситуации, в которых чувство вины либо устойчиво, либо нет. Трудно сопоставить подобные симуляции со всей сложностью реального мира. Что вообще может считаться проверяемыми издержками для ИИ, кроме прямых денежных потерь? Если поговорить с современным чат-ботом, «ему практически ничего не стоит просто сказать “извини”», не испытывая при этом ничего похожего на настоящую вину. Несогласованный с нашими ценностями ИИ вполне будет способен лишь симулировать раскаяние, – а затем снова сможет нарушить все существующие правила.

Источник: ScienceNews

Image for illustration only. Image source: Freepik.com