Ученые филологического факультета и НИВЦ МГУ количественно оценили, насколько согласованы между собой суждения о вариативных феноменах, полученные от носителей русского языка. Соответствующая статья опубликована в журнале «Вестник Московского университета. Серия 9: Филология». Количественная оценка проводилась по двум параметрам: анализировалось единодушие респондентов в языковой общности и индивидуальная последовательность респондентов в ходе лингвистического эксперимента. Результаты показали, что доступность в грамматике языка одного или нескольких вариантов определенной конструкции нетривиально соотносится с параметрами согласованности. Выявленные закономерности позволят задать точку отсчёта при анализе языковой компетенции нейросети и ее сравнении с языковой компетенцией человека. Исследование проводились в рамках НОШ МГУ «Культурное наследие».
Современные модели грамматики предполагают, что языковое поведение внутри языкового сообщества должно быть единообразным. Тем не менее, в ситуациях внутриязыковой вариативности допускается подвижность суждений носителей языка. Вариативные феномены предполагают более одного грамматически допустимого варианта, а следовательно, разные носители могут предпочитать разные варианты. Московские исследователи, предположили, что природа вариативности может определять уровень согласованности носителей языка, и проверили это предположение на материале лингвистических экспериментов.
«Для оценки согласованности мы предлагаем два параметра, — прокомментировала научный сотрудник лаборатории автоматизированных лексикографических систем НИВЦ МГУ Анастасия Герасимова. — Во-первых, мы анализируем единодушие респондентов в языковой общности. Мы предполагаем, что в языковой общности существуют подмножества носителей языка, которые имеют сходные представления об уровне приемлемости отдельных вариантов в ситуации вариативности. Соответственно, реакции членов одного подмножества на экспериментальные условия должны мало различаться. Во-вторых, мы учитываем индивидуальную последовательность респондентов. В рамках эксперимента представления о приемлемости у носителя языка меняться не должны, а значит, варьирование оценок для идентичных по структуре языковых стимулов должно быть ограничено.»
Авторы исследования провели количественный анализ экспериментальных данных о четырех феноменах вариативности в русском языке, которые отличаются ожидаемым распределением вариантов и типом грамматического взаимодействия. В результате оказалось, что однозначной корреляции между доступностью в грамматике языка одного или нескольких вариантов определенной конструкции и единодушием и последовательностью респондентов в оценках приемлемости не наблюдается. Феномены показывают различный уровень вариативности не только в отношении предпочтения одного из доступных вариантов, но и в отношении уверенности респондента в собственных предпочтениях.
«Фактическое распределение грамматических профилей носителей языка оказывается много сложнее, чем может следовать из обобщений, сделанных для всей совокупности участников эксперимента, — рассказала магистрант кафедры теоретической и прикладной лингвистики филологического факультета МГУ Лада Паско. — Кроме того, собственно распределение вариантов по приемлемости никак не коррелирует с большей или меньшей последовательностью респондента в оценках. Мы наблюдали как случай большей последовательности для высоких оценок более приемлемого варианта, так и бóльшую уверенность в низких оценках менее приемлемой альтернативы.»
Предложенные исследователями параметры согласованности оказывают существенное влияние на распределении суждений о приемлемости, а следовательно, они необходимы для моделирования языковой компетенции как в лингвистических теориях, так и в нейросетевых архитектурах. Если языковой феномен характеризуется противоречивыми суждениями о приемлемости со стороны носителей языка, то и в случае нейросетей ожидаемы будет несовпадающие суждения при различных итерациях запуска. Поскольку нейросетевая модель обучается на массиве текстов, в котором суммируются грамматические профили различных носителей и групп носителей, в поведении нейросети должен наблюдаться соответствующий разброс оценок или выбор вариантов. Поэтому исследователи предлагают использовать согласованность как одно из оснований для сравнения языковых компетенций человека и нейросети.
Современные модели грамматики предполагают, что языковое поведение внутри языкового сообщества должно быть единообразным. Тем не менее, в ситуациях внутриязыковой вариативности допускается подвижность суждений носителей языка. Вариативные феномены предполагают более одного грамматически допустимого варианта, а следовательно, разные носители могут предпочитать разные варианты. Московские исследователи, предположили, что природа вариативности может определять уровень согласованности носителей языка, и проверили это предположение на материале лингвистических экспериментов.
«Для оценки согласованности мы предлагаем два параметра, — прокомментировала научный сотрудник лаборатории автоматизированных лексикографических систем НИВЦ МГУ Анастасия Герасимова. — Во-первых, мы анализируем единодушие респондентов в языковой общности. Мы предполагаем, что в языковой общности существуют подмножества носителей языка, которые имеют сходные представления об уровне приемлемости отдельных вариантов в ситуации вариативности. Соответственно, реакции членов одного подмножества на экспериментальные условия должны мало различаться. Во-вторых, мы учитываем индивидуальную последовательность респондентов. В рамках эксперимента представления о приемлемости у носителя языка меняться не должны, а значит, варьирование оценок для идентичных по структуре языковых стимулов должно быть ограничено.»
Авторы исследования провели количественный анализ экспериментальных данных о четырех феноменах вариативности в русском языке, которые отличаются ожидаемым распределением вариантов и типом грамматического взаимодействия. В результате оказалось, что однозначной корреляции между доступностью в грамматике языка одного или нескольких вариантов определенной конструкции и единодушием и последовательностью респондентов в оценках приемлемости не наблюдается. Феномены показывают различный уровень вариативности не только в отношении предпочтения одного из доступных вариантов, но и в отношении уверенности респондента в собственных предпочтениях.
«Фактическое распределение грамматических профилей носителей языка оказывается много сложнее, чем может следовать из обобщений, сделанных для всей совокупности участников эксперимента, — рассказала магистрант кафедры теоретической и прикладной лингвистики филологического факультета МГУ Лада Паско. — Кроме того, собственно распределение вариантов по приемлемости никак не коррелирует с большей или меньшей последовательностью респондента в оценках. Мы наблюдали как случай большей последовательности для высоких оценок более приемлемого варианта, так и бóльшую уверенность в низких оценках менее приемлемой альтернативы.»
Предложенные исследователями параметры согласованности оказывают существенное влияние на распределении суждений о приемлемости, а следовательно, они необходимы для моделирования языковой компетенции как в лингвистических теориях, так и в нейросетевых архитектурах. Если языковой феномен характеризуется противоречивыми суждениями о приемлемости со стороны носителей языка, то и в случае нейросетей ожидаемы будет несовпадающие суждения при различных итерациях запуска. Поскольку нейросетевая модель обучается на массиве текстов, в котором суммируются грамматические профили различных носителей и групп носителей, в поведении нейросети должен наблюдаться соответствующий разброс оценок или выбор вариантов. Поэтому исследователи предлагают использовать согласованность как одно из оснований для сравнения языковых компетенций человека и нейросети.