Предсказательный сигнал вознаграждения в дофаминовых нейронах

Данные о последствиях поражения мозга, блокады рецепторов, электрической самостимуляции и применения веществ, вызывающих зависимость, свидетельствуют о том, что дофаминовые системы среднего мозга участвуют в обработке информации о вознаграждении и обучении поведению, направленному на его получение. Большинство дофаминовых нейронов демонстрируют фазическую активацию в ответ на первичные вознаграждения — пищу и жидкость, — а также на условные зрительные и слуховые стимулы, предсказывающие вознаграждение. В ответ на стимулы, сходные с предсказывающими вознаграждение, а также на новые или особенно значимые стимулы у этих нейронов возникают двухфазные реакции: активация с последующим снижением активности. Однако аверсивные стимулы вызывают фазическую активацию лишь у немногих нейронов. Таким образом, дофаминовые нейроны придают стимулам окружающей среды положительную мотивационную ценность, предсказывают и обнаруживают вознаграждение, а также сигнализируют о событиях, привлекающих внимание и побуждающих к действию. Поскольку дофаминовые нейроны не различают разные вознаграждения, их сигнал, по-видимому, сообщает о неожиданном наличии или отсутствии вознаграждения. Все реакции на вознаграждения и предсказывающие их стимулы зависят от предсказуемости события. Дофаминовые нейроны активируются в ответ на события, которые лучше ожидаемых, не реагируют на события, соответствующие ожиданиям, и подавляются в ответ на события, которые хуже ожидаемых. Сигнализируя о вознаграждении в соответствии с ошибкой предсказания, реакции дофаминовых нейронов обладают формальными характеристиками обучающего сигнала, постулируемого теориями обучения с подкреплением. В процессе обучения реакции дофаминовых нейронов смещаются от первичных вознаграждений к стимулам, предсказывающим вознаграждение. Это может быть связано с нейронными механизмами ретроградного действия вознаграждения — одной из главных загадок обучения с подкреплением. Импульсный ответ вызывает кратковременное высвобождение дофамина у множества дендритов, тем самым передавая постсинаптическим нейронам относительно глобальный сигнал подкрепления. Этот сигнал может улучшать поведение, направленное на получение вознаграждения, предоставляя информацию о нём до совершения действия, а также способствовать обучению, изменяя синаптическую передачу. Дофаминовый сигнал вознаграждения дополняется активностью нейронов стриатума, лобной коры и миндалевидного тела: они обрабатывают конкретную информацию о вознаграждении, но не передают глобальный сигнал ошибки предсказания вознаграждения. Взаимодействие разных сигналов вознаграждения может обеспечивать избирательное подкрепление поведения с учётом конкретного вознаграждения. Среди других проекционных систем норадреналиновые нейроны преимущественно участвуют в механизмах внимания, а нейроны базального ядра неоднородно кодируют вознаграждение. Лазящие волокна мозжечка передают клеткам Пуркинье сигналы об ошибках выполнения движений или об ошибках предсказания аверсивных событий. Большинство нарушений, возникающих после поражений с истощением дофамина, трудно объяснить нарушением сигнала вознаграждения; возможно, они связаны с утратой общей обеспечивающей функции тонического уровня внеклеточного дофамина. Таким образом, дофаминовые системы могут выполнять две функции: фазически передавать информацию о вознаграждении и тонически обеспечивать работу постсинаптических нейронов.