Группа исследователей НИВЦ и филологического факультета МГУ изучила чувствительность больших языковых моделей к одному типу грамматических ограничений — островным ограничениям. Истории о том, что нейросети не всегда адекватно отвечают на запросы пользователей, уже стали обыденностью, но мы до сих пор не знаем, в чем именно может состоять аномальность текстовых ответов. Исследование, проведенное в рамках НОШ МГУ «Культерное наследие», призвано дать ответ на данный вопрос. Материал принят к печати в номере 3 журнала «Вестник СПбГУ, серия „Язык и литература“».
Языковая компетенция человека включает не только правила порождения и понимания языковых выражений, но и ограничения, которые накладываются на эти правила. Нарушение ограничений приводит к снижению приемлемости предложения и аномалиям в восприятии его содержания. Предметом исследования стали так называемые острова — синтаксические конструкции, ограничивающие передвижение входящих в их состав элементов. В русском, как и во многих других языках, имеется правило, помещающее вопросительное слово в начало предложения: Маша поставила на стол чашку — Что Маша поставила __ на стол? Однако в ряде случаев это правило невозможно применить. Один из таких случаев — сочинение двух существительных посредством союзов и, или, … Если мы захотим задать вопрос только к одному из них, поместив соответствующее вопросительное слово в начало предложения, пример станет неграмматичным: Маша поставила на стол чашку и тарелку — *Что Маша поставила на стол __ и тарелку?. Полученное вопросительное предложение неграмматично, потому что предполагает передвижение вопросительного местоимения «из острова» сочинения (чашка и тарелка).
В исследовании протестированы лингвистические способности трёх больших языковых моделей: ChatGPT, GigaChat и YandexGPT. Тесты показали, что модели могут интерпретировать предложения с нарушением островных ограничений и давать семантически верные ответы, хотя носитель языка этого сделать не может. Это связано с тем, что разработчики программного обеспечения целенаправленно задают возможность генерации ответа даже при неидеальных входных данных.
В первом из тестов использовались две разные затравки, и реакция моделей на них отличалась. ChatGPT показал средние устойчивые результаты при смене инструкций, YandexGPT на одной из инструкций дал более 70% верных ответов на неграмматичные предложения, а GigaChat оказался ближе всего к человеку в том, что «неохотно» понимал подобные примеры.
Второй тест проверял, считают ли модели предложения с нарушением островных ограничений корректными с точки зрения русского языка. Оказалось, что лингвистическая компетенция больших языковых моделей отличается от человеческой. Модели оценили как некорректные лишь половину предложений, образованных с нарушением островных ограничений.
«Говорить о неотличимости языкового поведения нейросетевых моделей от поведения человека, конечно, преждевременно, — подводит итог сотрудник лаборатории автоматизированных лексикографических систем НИВЦ Лада Паско. — Количество семантически верных ответов и положительных оценок приемлемости оказалось достаточно большим для всех моделей, хотя такое языковое поведение не типично для человека. Нейросетевые модели способны интерпретировать вопросы, в которых есть нарушения грамматических ограничений, и более чем в половине случаев оценивают их как корректные. При этом поведение нейросетей зачастую нелогично: нейросеть может посчитать предложение некорректным, но интерпретировать его, и наоборот».
В результате исследования были разработаны метрики для определения последовательного (или непоследовательного) поведения больших языковых моделей и выявляющие логичность и устойчивость оценок, их зависимость от лексического материала и т. д. На базе данного пилотного проекта планируется создать сложную систему тестов для оценки владения русским языком, потенциально применимую как к людям, так и к нейросетям. Такая система должна содержать как универсальные (островные и другие) ограничения, так и запреты, специфические именно для русского языка.
Языковая компетенция человека включает не только правила порождения и понимания языковых выражений, но и ограничения, которые накладываются на эти правила. Нарушение ограничений приводит к снижению приемлемости предложения и аномалиям в восприятии его содержания. Предметом исследования стали так называемые острова — синтаксические конструкции, ограничивающие передвижение входящих в их состав элементов. В русском, как и во многих других языках, имеется правило, помещающее вопросительное слово в начало предложения: Маша поставила на стол чашку — Что Маша поставила __ на стол? Однако в ряде случаев это правило невозможно применить. Один из таких случаев — сочинение двух существительных посредством союзов и, или, … Если мы захотим задать вопрос только к одному из них, поместив соответствующее вопросительное слово в начало предложения, пример станет неграмматичным: Маша поставила на стол чашку и тарелку — *Что Маша поставила на стол __ и тарелку?. Полученное вопросительное предложение неграмматично, потому что предполагает передвижение вопросительного местоимения «из острова» сочинения (чашка и тарелка).
В исследовании протестированы лингвистические способности трёх больших языковых моделей: ChatGPT, GigaChat и YandexGPT. Тесты показали, что модели могут интерпретировать предложения с нарушением островных ограничений и давать семантически верные ответы, хотя носитель языка этого сделать не может. Это связано с тем, что разработчики программного обеспечения целенаправленно задают возможность генерации ответа даже при неидеальных входных данных.
В первом из тестов использовались две разные затравки, и реакция моделей на них отличалась. ChatGPT показал средние устойчивые результаты при смене инструкций, YandexGPT на одной из инструкций дал более 70% верных ответов на неграмматичные предложения, а GigaChat оказался ближе всего к человеку в том, что «неохотно» понимал подобные примеры.
Второй тест проверял, считают ли модели предложения с нарушением островных ограничений корректными с точки зрения русского языка. Оказалось, что лингвистическая компетенция больших языковых моделей отличается от человеческой. Модели оценили как некорректные лишь половину предложений, образованных с нарушением островных ограничений.
«Говорить о неотличимости языкового поведения нейросетевых моделей от поведения человека, конечно, преждевременно, — подводит итог сотрудник лаборатории автоматизированных лексикографических систем НИВЦ Лада Паско. — Количество семантически верных ответов и положительных оценок приемлемости оказалось достаточно большим для всех моделей, хотя такое языковое поведение не типично для человека. Нейросетевые модели способны интерпретировать вопросы, в которых есть нарушения грамматических ограничений, и более чем в половине случаев оценивают их как корректные. При этом поведение нейросетей зачастую нелогично: нейросеть может посчитать предложение некорректным, но интерпретировать его, и наоборот».
В результате исследования были разработаны метрики для определения последовательного (или непоследовательного) поведения больших языковых моделей и выявляющие логичность и устойчивость оценок, их зависимость от лексического материала и т. д. На базе данного пилотного проекта планируется создать сложную систему тестов для оценки владения русским языком, потенциально применимую как к людям, так и к нейросетям. Такая система должна содержать как универсальные (островные и другие) ограничения, так и запреты, специфические именно для русского языка.