Разграничение языка и мышления в больших языковых моделях

Большие языковые модели ближе всех из существующих моделей подошли к овладению человеческим языком, однако мнения об их языковых и когнитивных способностях по-прежнему расходятся. В настоящей работе большие языковые модели оцениваются с учётом различия между формальной языковой компетентностью — знанием языковых правил и закономерностей — и функциональной языковой компетентностью — пониманием языка и его использованием в реальном мире. Это разграничение основано на данных нейронауки человека, согласно которым формальная и функциональная компетентность обеспечиваются разными нейронными механизмами. Хотя большие языковые модели демонстрируют удивительно высокую формальную компетентность, их результаты при выполнении задач на функциональную компетентность остаются нестабильными и часто требуют специализированной донастройки и/или интеграции с внешними модулями. Мы предполагаем, что моделям, использующим язык подобно человеку, необходимо овладеть обоими типами компетентности, а для этого могут потребоваться отдельные механизмы, специализированные соответственно на формальной и функциональной языковой компетентности.