Теоретические основы обучения с позитивным подкреплением

[mashum]

В данной теме я буду выкладывать определения некоторых терминов, которыми мы пользуемся при обучении попугаев с использованием позитивного (положительного) подкрепления.

 

Таргет ("мишень")
Небольшой вспомогательный предмет, часто применяемый в дрессировке с позитивным подкреплением. Таргет-тренировкой можно заниматься с любым животным, но мы будем говорить здесь о попугаях, конечно.
Таргетом может быть что угодно: игрушка, мячик, но лучше всего подходит небольшая палочка, желательно (но необязательно) с ярким концом.
Покажите попугаю палочку. Если он заинтересуется и попробует конец на клюв, похвалите и поощрите: это то, что вам нужно. В дальнейшем за укус конца палочки попугай всегда должен получать поощрение, периодически предлагайте ему таргет, даже если вы не планируете в ближайшее время с ним заниматься, чтобы попугай не подзабыл его.
Часто попугаи пугаются таргета и улетают. В таком случае его можно положить рядом с клеткой, или просунуть кончик в клетку, возможно, рядом расположить яблоко или другое угощение, чтобы повысить вероятность того, что попугай случайно коснется конца таргета. Заметили, что коснулся - поощряете и хвалите. Довольно быстро попугай сообразит, что от него требуется.
Приучать к таргету можно как вне клетки, так и в клетке. Дикого попугая тоже можно приучить к таргету, тренируя в клетке и подбрасывая лакомства в опустошенную заранее кормушку (не забыв заранее отрегулировать питание, конечно).
В дальнейшем дистанция между попугаем и таргетом увеличивается, и попугай научается следовать за таргетом или прилетать к нему в любое место, где бы тот не находился.
Например, таргет используется при обучении команде "в клетку", "наверх", в ряде трюков - пролезть через туннель или скатиться с горки. Также таргетом пользуются, если нужно научить птицу касаться какого-либо предмета, особенно если она его боится: сначала дают укусить таргет вдали от этого предмета, затем таргет постепенно приближают к нему, так, что в конце птица случайно коснется нужной части предмета (например, ручки коробки). Таргетом можно пользоваться при обучении играть в игрушки.

 

Несколько правил:
1)Таргетом нельзя играть и его нельзя использовать как жердочку - попугай может запутаться. С таргетом может быть только одно взаимодействие - укусить кончик.
2) Как только желаемое поведение или трюк выучены, таргет нужно убирать, оставляя лишь голосовую команду.

[mashum]

Условное подкрепление (в некоторых статьях оно же называется "мост")
Сигнал, который птица ассоциирует с чем-то хорошим и приятным. Таким сигналом может быть слово, например, "молодец", или клик (см. кликер).
Условному подкреплению учат с помощью классического кондиционирования (см. ниже). Например, вы даете попугаю его любимые семечки, повторяя: "молодец". Через некоторое время попугай начинает ассоциировать слово "молодец" с угощением. Таким образом, позже, при обучении, вы сможете хвалить попугая именно в тот момент, когда он делает что-то хорошее, и он сообразит быстрее, что конкретно в его действиях привело к похвале, а затем и к лакомству. Тренировки без условного подкрепления обычно не так эффективны, потому что выдача лакомства занимает время и попугай забывает или плохо понимает, за что его выдали.
Условное подкрепление желательно произносить всегда одним тоном, и не использовать в обычных разговорах с попугаем, иначе он может запутаться. Одним из очень эффективных и популярных условных подкрепителей является кликер.

[mashum]

Положительное (позитивное) поощрение
Тут всё просто: это то, что нравится вашей птице безо всяких объяснений и научений, и то, что ей очень хочется получить.
Самым очевидным поощрением является, конечно, лакомство. Как определить, какое лакомство использовать в виде поощрения?
В течение нескольких дней предлагайте попугаю смесь из разных зёрен и орехов, и следите за тем, что он выбирает в первую очередь. Это и будет вашим поощрением: в дальнейшем вы убираете лакомство из кормушки и предлагаете птице только за успехи в тренировках или поведение, которое вам нравится - например, взаимодействие с игрушками.
Для маленьких попугаев это обычно семечки, порезанные пополам, или несколько зерен чумизы. Крупным попугаям может подойти четвертинка миндаля или арахиса, или еще меньшая часть.
Если птица уже ручная, лакомство дают из рук. Но и недоверчивую птицу можно обучать, например, закидывая кусочки семечек в пустую кормушку, если вы учите попугая в клетке (например, таргет-тренировка), или давать их щипчиками (например, Kisslinka обучает своего неразлучника, предлагая ему семечки на зубочистке, так как птичка пока не доверяет ее рукам).
Если птичка сделала какой-то важный шаг в обучении, вы предлагаете "джек-пот" - бОльшую порцию кусочков семечек или смесь нескольких разных.
Старайтесь тренировать тогда, когда попугай заинтересован в пищевом поощрении - например, с утра, или после часовой прогулки, когда появляется аппетит. Как построить режим питания, если вы всерьез решили заниматься с птицей, написано здесь:
http://mybirds.ru/groups/popug/feeding/heidenreich.php
Если у вас хороший контакт с попугаем, то похвала или ласка тоже могут быть положительным поощрением. Вы должны быть уверены, что ему это нравится. Однако, при выполнении сложных трюков, разгадывания головоломок и т.д. нужно всегда предлагать пищевое поощрение - мало кто согласится работать без зарплаты, какой бы интересной и хорошей работа ни была

[mashum]

Кликер
Небольшой инструмент, чаще всего маленькая коробочка с металлической пластиной (бывает с кнопкой), издающий четкий щелкающий звук. Используется в качестве условного подкрепления (см.) при обучении самых разных животных: собак, кошек, лошадей, кроликов, попугаев и т.д.
Преимущество кликера состоит в том, что щелчок (клик), издаваемый им, всегда хорошо слышен, всегда одинаков, используется только для тренировки животного (попугая в нашем случае) и его нельзя ни с чем перепутать, и - моментальным кликом можно точно обозначить движение или часть поведения, которую вы хотите подкрепить.
Кликер был предложен в качестве условного подкрепления автором теории оперантного научения (см.) психологом-бихевиористом Скиннером еще в 60х годах прошлого столетия, однако широкое распространение кликер получил в 1992 году после конференции Общества Бихевиористов в Америке. С тех пор сотни и тысячи животных были обучены с помощью кликера и позитивного подкрепления, без применения наказания как метода дрессировки.
Кликер-тренинг успешно применяется в обучении канареек, голубей, куриц, ворон, уток, страусов Эму, ястребов, сов, пингвинов, и конечно же, попугаев.
Приучают к кликеру так же, как и к голосовому условному подкреплению: кликают и выдают поощрение. После знакомства с кликером поощрять нужно каждый клик - ведь именно поощрение он и означает для птицы.
Попугай может научиться имитировать звук кликера, обычно это не проблема - так как во время тренировки его клики не поощряются, он быстро перестает их воспроизводить. Однако, многие хозяева замечают, что птица может "кликать" хозяину в свободное время, если он делает что-то, что ей нравится: оба получают еще один способ общения.
Кликером можно как подкреплять любое поведение, предлагаемое птицей, которое вам нравится (в таком случае вы должны держать кликер под рукой, если вдруг попугай начнет делать что-то, что вы хотите подкрепить - например, заниматься с игрушкой), так и обучать нужному вам поведению - трюкам или командам.
Часто при обучении конкретному поведению с помощью кликера тренеру "не хватает рук" - в таком случае можно попробовать удерживать кликер мизинцем и безымянным пальцем, или подключить к тренировке других членов семьи (чаще это дети), например, для того, чтобы выдавать поощрения. Особенно полезно тренировать в такой паре, если птица - "однолюб", то-есть привязана только к одному члену семьи.
Кликер используется только на стадии обучения. После закрепления нужного навыка кликер убирают.

 

Вводная статья о кликере на сайте:
http://mybirds.ru/groups/popug/training/clickering.php

 

Использование кликера при обучении некоторым трюкам:
http://mybirds.ru/groups/popug/training/clickertraining.php
http://mybirds.ru/forums/index.php?showtopic=32501

 

Чтобы лучше понять принцип действия кликера, можно поиграть в модельную игру, которая похожа на "горячо-холодно", только в этой игре есть лишь "горячо" - а именно клик. Вы берете кликер и загадываете какое-нибудь действие, например, подойти к шкафу и достать оттуда книгу. Ваш партнер (друг или член семьи) должен отгадать, что именно вы задумали, и выполнить это, а вы подсказываете ему только кликами - клики выдаются если он двигается в правильном направлении. После каждого клика партнер возвращается на исходную точку (например, середина комнаты), - так будет проще сорентироваться.
Потом поменяйтесь ролями - ваш партнер кликает, а вы пытаетесь сделать то, что он задумал. Так вы почувствуете себя в шкуре попугая, которому кликером пытаются подсказать, что именно он должен сделать.
Что делать, если птица боится кликера

 

Продолжительность тренировки
Тренировка может продолжаться от 2-х до 20-ти минут - зависит от настроения и тренированности попугая. Заниматься можно один или два раза в день, утром и вечером, (несколько дней в неделю с одним или двумя выходными), желательно приблизительно в одно и то же время, так попугаю будет проще сконцентрироваться в нужный момент.
Очень часто попугаи просят ещё и ещё - но даже с тренированными попугаями не рекомендуется заниматься больше получаса. Лучше закончить тренировку в хорошем настроении на хорошей ноте, возможно, старым любимым трюком, и продолжить в другой раз, чем с попугаем, уставшим и объевшимся угощений. Вы не артист цирка и никуда не торопитесь, а вот провести аналогию между усталостью и тренировками попугай вполне может, а так недолго и до потери интереса к занятиям.