Рис. 49. А. Схема экспериментальной установки для выработки классических условных рефлексов. Б. Аппарат, применяемый для выработки инструментальных условных рефлексов. Животное не может двигаться, в его головной мозг вживлены электроды, а внутренние органы можно стимулировать через введенные в них трубки. Животное получает пищу при нажиме на рычаг. В. Кривая научения, показывающая частоту нажимов. В горизонтальных промежутках между двумя стрелками пищевое подкрепление не подается.

Важное значение подкрепления. Инструментальный (или оперантный, по терминологии Скнннера) условный рефлекс всегда представляет собой активную двигательную реакцию, для которой подкрепление служит самым важным фактором. На эту реакцию можно влиять, изменяя частоту подкрепления.

Оперантное научение очевидным образом отличается от описанного выше опыта с выработкой классического условного рефлекса. Этот тип научения впервые в 1913 г. описал Торндайк (Thorn-dike); он объяснил свои результаты явлением, которое он назвал законом эффекта. Согласно этому закону, двигательная реакция усиливается положительным результатом (например, получением пищи), к которому приводит случайная активность животного. Эта теория согласуется с представлением Дарвина, что только такое поведение прочно закрепляется, которое существенно для выживания индивидуума и вида. Следует подчеркнуть, что в отличие от павловского условного рефлекса двигательная реакция в этом случае не вызывается внешним стимулом или сигналом, а вырабатывается на основе подкрепления, которое следует за определенным движением. Сложные стимулы, связанные с обстановкой, служат фоном и приобретают значение только в случае дифференцировки, когда, скажем, нажатие на рычаг подкрепляется при наличии одного стимула (например, шума машины) и не подкрепляется при другом стимуле (например, свистке).

Снова совмещение во времени. Что касается мозгового механизма инструментального научения, то и здесь, как и при павловском условном рефлексе, следует предполагать образование временной связи между двумя функциональными системами. При ориентировочной двигательной активности импульсы обратной афферентации активируют нейроны проприоцептивного представительства в головном мозгу. За этим следует возбуждение, вызванное пищевым подкреплением. В результате в обеих центральных областях происходит специфическое повышение возбудимости. По мнению большинства исследователей, предпосылки для выработки условных реакций того и другого типа одни и те же: требуется более или менее одновременное возбуждение двух разных областей мозга (рис. 50).