Сделают ли чат-боты процесс обучения поверхностным?
Когда дело доходит до изучения чего-то нового, традиционный поиск в Google часто оказывается более полезным инструментом нежели модный ChatGPT.
Большие языковые модели (LLM), лежащие в основе систем искусственного интеллекта и современных чат-ботов, все чаще становятся средством получения быстрых резюмирующих ответов. Однако, в ходе исследования, описанного в октябрьском выпуске PNASNexus, выяснилось, что человек, ищущий информацию с помощью традиционной поисковой системы, в конечном счёте приобретает более глубокие знания, чем тот, кто полагается на ответы чат-бота с искусственным интеллектом.
LLM фундаментально меняют не только способ, которым мы получаем информацию, но и процесс развития самих знаний”, — говорит Шири Мелумад, исследующая психологию потребителей в Пенсильванском университете. “И чем больше мы узнаём об их преимуществах, о рисках с этим связанных, тем качественнее будет проходить их дальнейшая эволюция и возрастать эффективность применения”.
Шири Мелумад и её коллега нейробиолог из Пенсильванского университета Джин Хо Юн провели серию экспериментов для сравнения результатов поиска знаний в поисковых системах и чат-ботах. Более 10 000 участников были рандомно распределены для получения искомой информации по заданным темам с помощью Google или ChatGPT. Далее, респонденты написали друг другу рекомендации на основе ответов, полученных соответствующим способом, а исследователи попытались оценить полноту полученных ими знаний, отражённых в этих рекомендациях.
Результаты экспериментов говорят о том, что знания, полученные из сгенерированного чат-ботом резюме, оказались более поверхностными по сравнению со знаниями, полученными посредством ранжированной поисковой выдачи веб-ссылок. Расчёты показателей “поверхностности” и “глубины” знаний основывались на мнениях участников, характеристиках инструментов обработки естественного языка и на независимой экспертной оценке.
Кроме того, анализ результатов исследования показал, что участники, использовавшие LLM, оказались менее ответственны за рекомендации, которые они давали. В них содержался менее информативный контент, который эти респонденты с гораздо меньшей охотой готовы были применять в своих же собственных интересах.
“Аналогичные результаты были получены даже тогда, когда участники использовали усовершенствованную версию ChatGPT, добавляющую к резюмирующему ответу дополнительные веб-ссылки на оригинальные источники”, — комментирует Мелумад. Только четверть из всех участников эксперимента “Чат со ссылками” оказались заинтересованными перейти хотя бы по одной ссылке.
“LLM действительно могут сократить нагрузку, связанную с самостоятельным сбором информации, но пока только в ущерб более глубоким знаниям”, — говорит она и добавляет, что, наверное, стоило бы повысить качество разработок инструментов поиска, которые будут стимулировать пользователей «копать глубже».
Оппонируя авторам исследования, психолог Дэниел Оппенгеймер из Университета Карнеги-Меллон в Питтсбурге замечает, что, по его мнению, правильнее было бы говорить, что LLM снижают мотивацию людей к самостоятельному мышлению, а не утверждать, что человек, самостоятельно агрегирующий информацию, полученную посредством традиционного поиска, приобретает более глубокие знания, чем тот, кто просто получает обобщённый результат, сгенерированный ИИ. “Как и при любом обучении, — говорит он, — эффективность инструмента будет зависеть от того, как вы его используете. К сожалению, это исследование показало, что пока человек использует ИИ не так хорошо, как мог бы.
Источник: ScienceNews
Image for illustration only. Image source: Aiease.ai
