В.А. Непомнящих
Институт биологии внутренних вод РАН, Борок, Ярославская обл.

Формулируются и обсуждаются принципы поведения, позволяющие животным решать задачи поиска в условиях, когда эти задачи не поддаются формализации. Согласно этим принципам:

Обсуждается значение указанных принципов для разработки поисковых агентов.

Введение

Представим себе робота, посланного на неизученную планету, чтобы обследовать её поверхность и отобрать геологические образцы с максимальным содержанием урана, причем за ограниченное время и при ограниченном запасе энергии. При такой постановке задачи не ясно, что означает «максимальное содержание урана», так как заранее неизвестно его распределение в образцах, так же как неизвестно распределение образцов по поверхности планеты. Чтобы определить пороговое содержание урана, достаточное для отбора образца, робот мог бы провести предварительное исследование планеты. Однако заранее неизвестно, сколько времени и энергии потребуется для такого исследования, а эти ресурсы у робота ограничены. Таким образом, перед роботом стоит одна из тех нечетко формализуемых задач, которые представляют одновременно значительный интерес и значительные трудности для систем искусственного интеллекта. С другой стороны, живые организмы в их естественной среде постоянно оказываются в аналогичной ситуации. В связи с этим имеет смысл обсудить следующие вопросы:

Чтобы обсуждение было более наглядным, мы используем в качестве примера личинок ручейников Chaetopteryx villosa – насекомых, обитающих на дне водоемов.

1. Поведение ручейников

Личинки носят на себе «домик» – трубку из песка и других частиц, которые они собирают на дне водоемов. Строительство требует меньше времени и энергии, если личинки используют относительно крупные частицы. Однако поиск крупных частиц также требует затрат времени и энергии, неизвестных ручейнику заранее. Задача осложняется еще и тем, что личинки могут обнаружить частицу и определить её размер только на ощупь, что требует дополнительных затрат времени. В этой ситуации личинки не исследуют среду, прежде чем начать строительство, а ведут себя следующим образом. Они передвигаются по дну до тех пор, пока не найдут и не прикрепят к домику крупную частицу. После этого они остаются на месте и ощупывают, одну за другой, соседние частицы. Если несколько частиц подряд оказываются мелкими, ручейники прекращают ощупывание и снова начинают передвигаться по дну до тех пор, пока не найдут новую крупную частицу, после чего цикл повторяется. В целом это поведение выглядит вполне адаптивно: в естественных водоемах частицы разного размера имеют тенденцию скапливаться на разных участках дна. Поэтому обнаружение одной крупной частицы повышает вероятность обнаружения таких же частиц на том же участке, и наоборот, если крупные частицы на участке редки, то его лучше покинуть. Тактика, используемая личинками, приводит к тому, что готовый домик состоит в основном из самых крупных частиц.

Личинка пробует частицу	Готовый домик

Однако в поведении личинок есть и такие черты, которые трудно назвать адаптивными. После прикрепления крупной частицы следующая частица, даже мелкая, ощупывается дольше, чем требуется для её опознания. В результате личинки теряют время. Более того, некоторые из таких частиц даже прикрепляются к домику, несмотря на то, что они были бы отвергнуты ручейниками в другой ситуации. В результате отбор крупных частиц не бывает абсолютным. Наконец, во время передвижения личинки совершают противоположную ошибку: они либо игнорируют, либо слишком кратко ощупывают частицы, так что могут отказаться от крупной частицы раньше, чем сумеют оценить её подлинный размер. В результате личинки часто пропускают участки с крупными частицами.

Аналогичные закономерности наблюдаются, когда личинка обследует частицу. Сначала она оценивает обнаруженную частицу по размеру. Если размер оказывается подходящим, то затем поэтапно оцениваются её форма и другие признаки. На каждом этапе частица может быть отброшена, если соответствующий признак не подходит. Однако оцениваются признаки не обязательно объективно. Если частица подходит по первому проверенному признаку, то ручейник больше склонен к положительной оценке следующих признаков. Поэтому, чем больше этапов оценки пройдено, тем больше времени ручейник готов тратить на оценку следующих признаков. В результате повышается вероятность того, что частица будет использована для строительства, даже если её некоторые признаки неудовлетворительны. И наоборот, если первый признак оценен не очень высоко, то и следующий признак может быть оценен «скептически». В результате ручейник может отказаться от частицы, даже если она подходит для строительства по большинству признаков.

Поведение ручейников упорядочено: прикрепления частиц и продолжительные ощупывания повторяются сериями, одно за другим, во время остановок. Эти серии сменяются сериями повторяющихся отказов от частиц и кратких ощупываний во время передвижения. Если частицы разного размера распределены по разным участкам, то упорядоченность поведения можно было бы объяснить упорядоченностью среды: остановки происходят в основном на участках с крупными частицами. Однако такая же упорядоченность сохраняется, если в эксперименте частицы разного размера распределены в пространстве случайно. Соответствующая упорядоченность видна и в оценке отдельной частицы.

Приходится сделать вывод, что упорядоченность поведения внутренне присуща ручейникам. Она помогает решать задачу поиска, заставляя ручейников останавливаться на участках с крупными частицами, а также продолжать оценку частицы, если начальные этапы оценки дали положительный результат. Однако эта же упорядоченность мешает личинкам, заставляя их повторять однотипные действия, а также необъективно оценивать строительный материал, «невзирая» на действительность.

2. Как объяснить упорядоченное поведение

Традиционно нервную систему принято рассматривать как «устройство», цель которого — анализ внешних сигналов и преобразование их в адаптивное поведение. С этой точки зрения, внутренние процессы в нервной системе, включая её спонтанную активность, изменения памяти, мотиваций и т.д., выполняют «служебные» функции, имеющие смысл только для достижения указанной цели. Соответственно и цель поведения организма состоит в его адаптации к внешней среде. Однако в современной биологии развиваются и такие теоретические построения, как теория «автопоэза» (autopoiesis [Maturana, 1980; Varela, 1992]) и радикальный конструктивизм [Riegler, 1994; Peschl, Riegler, 1999], из которых вытекают нетрадиционные взгляды на смысл и цели поведения. Обе теории исходят из предположения, что активность нервной системы представляет собой рекурсивный, воспроизводящий сам себя процесс, причем цель этого процесса – именно воспроизведение самого себя, своей пространственно-временной организации. Анализ и преобразование внешних сигналов при этом уходят на второй план. Соответственно активность нервной системы оказывается не отражением внешнего мира, как это принято считать в традиционной психологии, а представляет собой самостоятельный, «самоупорядоченный» процесс.

Поведение организма представляет собой внешнее выражение этого процесса. Другими словами, поведение также не сводится к последовательности адаптивных реакций на внешние сигналы. Оно направлено на сохранение своей организации, даже если это мешает организму адекватно реагировать на изменения среды. Это утверждение может показаться неожиданным, но с ним вполне согласуется упорядоченная организация поведения ручейников. Например, они стремятся повторять прикрепления частиц, даже если новые частицы оказываются неподходящими по размеру.

Несмотря на то, что самоупорядоченное поведение может быть неадаптивным в частностях, все же в целом оно позволяет животному выполнить задачу. Так, ручейники отбирают для строительства в основном самые крупные частицы. Эффективность поведения объясняется тем, что его спонтанная организация – продукт эволюции и может рассматриваться как обобщенная детерминированная модель мира, в котором приходится действовать животному. Важно отметить, что эта модель не формулируется явным образом самим организмом и не «закодирована» где-то в его нервной системе: моделью мира служит организация всего поведения в целом [Peschl, Riegler, 1999].

Как уже сказано выше, внешние сигналы лишь модулируют спонтанное поведение. Они служат триггерами, позволяющими «подстроить» общую модель мира к свойствам конкретной, стохастической и плохо предсказуемой среды. В модели, которой руководствуются ручейники, предполагается, что крупные и мелкие частицы находятся на разных участках дна, однако ручейник заранее не знает расположения этих участков. В соответствии с этой детерминированной моделью, отдельная крупная частица способна изменить поведение, заставляя личинку остановиться на участке, а обнаружение мелких частиц заставляет личинку передвигаться, не обращая внимания на другие частицы.

В соответствии с принципами радикального конструктивизма такая «подстройка» поведения к конкретной среде интерпретируется как генерация гипотез, отличающаяся двумя особенностями. Во-первых, гипотезы основаны не на детальном анализе всей информации, доступной животному, а на отдельных, по существу случайных событиях. Во вторых, животное может долго руководствоваться гипотезой, не проверяя её. Только явное рассогласование внешних сигналов с гипотезой заставляет животное изменить поведение [Riegler, 1994]. Например, отдельная крупная частица заставляет личинок тратить на анализ следующей частицы больше времени, чем нужно. Такое поведение, основанное на случайных, приблизительных гипотезах, препятствует оптимальному отбору частиц, но зато избавляет животное от невыполнимой задачи анализа всей информации, с которой оно сталкивается в ходе поиска.

3. Принципы поискового поведения

На основании сказанного выше можно предположить, как животные решают плохо формализуемые задачи. Прежде всего, они вообще не пытаются формализовать задачу поиска в той или иной конкретной среде. Они не исследуют среду для того, чтобы на основе собранной информации вычислить, например, пороговый размер приемлемых частиц, позволяющий завершить строительство с минимальными затратами времени и энергии. Вместо этого в их поведении можно увидеть другие принципы, которые мы намеренно приводим в полемичной формулировке, чтобы стимулировать их обсуждение:

· Поведение представляет собой спонтанный «самоупорядоченный» процесс, цель которого – воспроизведение самого себя и своей упорядоченности, а не решение каких-либо частных задач адаптации к внешней среде.

• Указанный процесс является обобщенной детерминированной моделью мира, в котором действует организм.
• Обобщенная модель приводится в соответствие с конкретной средой с помощью гипотез, которые основаны на отдельных внешних сигналах и проверяются на соответствие среде также только по отдельным сигналам. Это позволяет обойти проблему обработки всего потока информации из внешней среды.

Чтобы эти принципы стали яснее, мы рассмотрим, как они проявляются у организмов разного уровня организации.

3.1. Самоупорядоченное поведение. К настоящему времени подробно изучена регуляция поведения бактерии Echerichia coli. Воспроизводство отдельных компонентов и целостной структуры бактериальной клетки обеспечивается связанными между собой химическими циклами. Синтез и распад определенного вещества в одном из этих циклов влияет на двигательный аппарат клетки. Бактерия двигается практически по прямой линии и такие пробеги продолжаются тем дольше, чем меньше этого вещества в клетке. Чем больше вещества, тем чаще бактерия прерывает пробеги и вращается на одном месте, что приводит к случайному выбору направления пробегов между вращениями [Muller et al., 2001]. Пример бактерии наглядно показывает, как наблюдаемое поведение оказывается частью самоупорядоченного процесса, который сам по себе не предназначен для адаптивных реакций на внешние сигналы и не нуждается в этих сигналах. Поведение бактерии, сводящееся к чередованию вращений и пробегов, оказывается внешним выражением замкнутого циклического процесса внутри клетки, а не реакцией на какую-либо информацию из внешней среды.

Некоторые другие химические циклы связаны с так называемыми рецепторами на поверхности бактериальной клетки. Рецепторы реагируют на изменения концентрации веществ в среде, сигнализирующих о присутствии пищи. Связи между циклами приводят к тому, что при нарастании концентрации бактерия реже вращается и, соответственно, реже меняет направление пробегов. И наоборот, уменьшение концентрации сопровождается увеличением частоты вращений и смены направления пробегов. В результате бактерии проявляют адаптивное поведение: они двигаются вверх по градиенту привлекающего вещества и находят его источник — пищу [Muller et al., 2001]. Другими словами, спонтанный процесс сохраняет свою общую организацию (чередование вращений и пробегов), а адаптивное поведение можно рассматривать не как набор реакций на сигналы, а как модификацию непрерывно воспроизводящегося процесса, вызванную внешними возмущениями.

3.2. Поведение как модель мира. Золотые рыбки, помещенные в кольцевой коридор, обследуют его отдельные участки, даже если коридор однородный, без каких-либо ориентиров для выделения участков. Обследования разделены пробегами вокруг коридора, так что рыбы могут несколько раз пройти мимо участка, затем обследовать его, затем снова его пропустить и перейти к новому участку и т.д. Это показывает, что чередование обследований и пробегов не зависит от внешних сигналов. Если же на стенках коридора нанесены вертикальные темные полосы [Непомнящих, 2000], то обследования концентрируются вокруг них, что имеет адаптивный смысл: эти полосы имитируют стебли растений, под которыми в природе обычно скапливается корм. Как и у ручейников, естественная среда рыб структурирована, так как пища обычно сосредоточена на отдельных участках. Таким образом, поведение рыб в однородных экспериментальных условиях моделирует их естественную среду. Когда в среде появляются ориентиры, указывающие на возможное присутствие корма, поведение модифицируется, но его общая организация остается прежней.

В выборе направления движения животными также отражена закономерность реального мира: пища и другие объекты не появляются в случайные моменты времени в случайных местах. Поэтому, если на определенном участке искомых объектов нет, то не имеет смысла оставаться на нем или возвращаться на него в ближайшем будущем. В соответствие с этим, передвижение большинства организмов отличается от обыкновенного броуновского блуждания даже в отсутствие внешних ориентирующих сигналов. Отличие состоит в том, что у животных имеет место положительная корреляция между направлениями последовательных перемещений, что и позволяет уменьшить вероятность возвращений.

3.3. Генерация гипотез. Гипотезы касаются не только пространственного расположения разыскиваемых объектов (как у ручейников), но и других признаков этих объектов: цвета, формы и т.п. Так, пчелам и многим другим насекомым свойственно «цветочное постоянство»: когда они начинают утром сбор нектара, то сначала пробуют собирать его на цветках разного цвета, но затем ограничивают свою деятельность такими цветками (например, желтыми), в которых при первом посещении обнаружено некоторое приемлемое количество нектара. Другие цветки (например, синие) либо вообще игнорируются в течение всего дня, либо проверяются лишь изредка. Более того, даже если проверка показывает, что синие цветки содержат больше нектара, чем желтые, пчелы переключаются на них далеко не всегда [Hill et al., 1997]. Если же в дальнейшем содержание нектара в желтых цветках снижается до неприемлемого уровня, то пчелы начинают активно пробовать другие цветки. Детерминированная модель, используемая пчелами, предполагает, что в течение дня цветки каждого вида выделяют или не выделяют нектар одновременно, что в целом соответствует действительности. Поэтому уже после одной или нескольких проб пчелы останавливаются на первой же гипотезе, которая позволяет получить пусть не оптимальный, но удовлетворительный результат. Они не сравнивают все возможные гипотезы, чтобы выбрать наиболее подходящую из них. Напротив, пока результаты поиска остаются приемлемыми, гипотеза проверяется лишь время от времени или вообще не проверяется. Гипотезы, по существу, представляют собой частные модели мира. Отметим, что эти модели не обязательно реалистичны: как показывает пример пчел, в них стохастичность реального мира подменяется детерминированным порядком.

Гипотезы порождаются и в процессе распознавания отдельного объекта. При этом формирование гипотез и действия животного представляют собой единый поэтапный процесс. Например, крабы-отшельники выбирают для поселения пустые раковины моллюсков, определяя наощупь их размер и форму. Обследование начинается с внешней поверхности раковины, а затем обследуется ее внутреннее пространство. Эксперименты, в которых отверстие раковины заливали гипсом, показали, что крабы дольше обследуют отверстие, если раковина относится к предпочитаемому размеру [Jackson, Elwood, 1989; Elwood, Neil, 1992]. Таким образом, крабы формируют гипотезу о качестве раковины на основе неполной информации о ней, полученной на первых этапах обследования. В свою очередь, эта гипотеза основана, очевидно, на модели мира, предполагающей, что между физически разнородными признаками объекта имеется корреляция по их ценности для животного: если один признак хорош, то другие признаки также должны быть хорошими. В результате реакция на объект зависит не только от его объективных свойств, но и от ожиданий животного.

Как порождаются гипотезы? Организация поведения заключается в рекурсивном воспроизведении активности, которая и является моделью мира. Однако конкретная последовательность действий не обязательно воспроизводится в каждом цикле активности. Одни последовательности в очередном цикле могут исчезать, а другие — формироваться заново под действием внутренних и внешних стимулов, которые изменяют вероятность выполнения действий и их последовательностей. Изменение последовательностей действий может рассматриваться как преобразование общей модели мира в частные модели текущего состояния мира. Так как частные модели формируются не на основе какого-либо полного анализа состояния мира, а в результате действия отдельных стимулов, «в расчете» на предполагаемое будущее состояние мира, мы и называем их здесь гипотезами.

Все гипотезы, на которые способен организм, потенциально заключены в динамической системе, порождающей его спонтанную активность. Под действием стимуляции животное постоянно «прощупывает» пространство состояний этой системы, что позволяет ему (в принципе), находить последовательности, представляющие собой решение задачи. Таким образом, гипотезы представляют собой модификацию спонтанной активности, а не готовые программы поведения, где-то хранящиеся и запускаемые ключевыми стимулами.

3.4. Гипотезы и обучение. Известно, что обезьяны, особенно высшие, проявляют разнообразную активность, направленную на манипулирование различными предметами. Эта активность спонтанна, она не связана с решением какой-либо конкретной задачи и воспринимается наблюдателем как игра. В основе манипуляционной активности лежат врожденные двигательные стереотипы, но с возрастом она усложняется в результате обучения [Schiller, 1957]. Несмотря на свой спонтанный, игровой характер, эта активность оказывается основой для эффективного решения нестандартных задач. Например, известны классические эксперименты, в которых шимпанзе решали необычную для них задачу: достать банан, подвешенный высоко под потолком вольеры, на полу которой разбросаны ящики. После некоторого периода «бесцельной» активности – прыжков, перетаскивания ящиков по вольере, — обезьяны сооружают под бананом пирамиду из ящиков, взбираются на неё, подпрыгивают и достают банан. Это поведение одни исследователи расценивали как результат «озарения» и понимания причинно-следственный связей [Кёлер, 1930], другие – как формирование цепочки условных рефлексов [Павлов, 1938]. Однако П. Шиллер [Schiller, 1957] видоизменил методику этих экспериментов, предоставив шимпанзе возможность в течение длительного времени манипулировать ящиками, не предлагая им приманку. Как и в классическом эксперименте, шимпанзе перетаскивали ящики по вольере, ставили их один на другой, забирались наверх, подпрыгивали, снова перетаскивали и т.д. Другими словами, активность, необходимая для решения задачи, формировалась в отсутствие самой задачи, в ходе спонтанной деятельности. Шиллер пришел к выводу, что поведение, приводящее к решению задачи, формируется на основе врожденных стереотипов и приобретенных навыков, а в присутствии приманки эта уже сформировавшаяся активность лишь концентрируется на приманке, что и приводит к решению задачи. В дальнейшем, при повторных решениях задачи, активность подкрепляется получением приманки, и задача решается быстрее.

В данном примере спонтанная активность обезьян приводит к формированию модели мира, включающей присутствие в мире предметов и возможность манипулировать ими. В результате манипуляций формируется определенная последовательность действий, включающая сооружение пирамид и прыжки на их вершине. Однажды сформировавшись, эта последовательность запоминается и становится частью спонтанной активности и частью модели мира. Когда возникает задача достать приманку, эта последовательность воспроизводится как гипотеза, наряду с другими последовательностями, и позволяет решить задачу. Другими словами, гипотезы шимпанзе — это упорядоченные во времени и пространстве последовательности действий, порождаемые в процессе взаимодействия спонтанной активности и внешних стимулов.

Важно отметить, что обучение играет двоякую роль в манипуляционном поведении обезьян. Прежде всего, оно служит для формирования различных последовательностей на основе врожденных стереотипов, в ходе спонтанной активности. Другими словами, обучение служит для формирования общей модели мира, а не только для решения частных задач. Кроме того, оно служит для закрепления тех последовательностей действий, которые приводят к решению частных задач. При решении задачи животное пробует ранее сформированные последовательности в качестве гипотез, а обучение позволяет отбирать подходящую последовательность (Inglis, 2000). Из этого следует, что эффективное обучение решению частных задач происходит на основе формирования гипотез, которые, в свою очередь, основаны на модели среды и, в конечном итоге, на самоупорядоченной спонтанной активности.

Отметим, что изложенные здесь принципы применимы и к повседневному поведению людей, включая как построение гипотез на основе отдельных внешних сигналов [Peschl, Riegler, 1994], так и использование детерминированных, причем не обязательно реалистичных моделей мира [Тернер, Пёппель, 1995]. «Человеческий мозг требует определенности и тем самым «пересиливает» вероятностную природу окружающего мира. …от окружающего мы ждем больше, чем там есть, смысла и больше упорядоченности; а между тем, из таких ожиданий может, как это ни странно, составиться превосходная стратегия выживания» [Тернер, Пёппель, 1995].

4. Насколько адаптивно поисковое поведение животных?

Если цель самоупорядоченного поведения – воспроизведение самого себя, то насколько оно эффективно по сравнению с другими возможными стратегиями поиска? Имеет ли смысл использовать сформулированные выше принципы поискового поведения как основу для создания искусственных поисковых агентов? В качестве примера для обсуждения этих вопросов рассмотрим конкретную задачу, которую способны решить личинки ручейников. Личинок помещали в кольцевой коридор, дно которого было покрыто слоем песка. Кроме того, небольшой участок коридора содержал, кроме песка, предпочитаемые личинками крупные плоские частицы. Напомним, что личинки не пользуются зрением при поиске и отборе частиц и способны обнаружить и определить их размер и форму только наощупь. Как можно решить задачу поиска плоских частиц в этих условиях за разумное время?

Личинка на участке коридора с плоскими частицами
(светлые прямоугольники на фоне песка)

Если бы личинки систематически обследовали коридор и все обнаруженные частицы, то, очевидно, они бы увязли в песке в прямом и переносном смысле слова: на обследование одной песчинки уходит до 1 секунды времени, а песчинок в коридоре – тысячи. Вместо систематического поиска личинки ведут себя так, как уже было описано в Разделе 2. Они останавливаются, когда обнаруживают частицу, более подходящую, чем предыдущие. В данном эксперименте такой частицей оказывается одна из плоских частиц, сконцентрированных на небольшом участке. Прикрепив к домику эту частицу, ручейник остается на месте и ощупывает соседние частицы, что в целом позволяет найти другие плоские частицы, хотя среди них попадается и песок. Если личинке попадаются несколько песчинок подряд, она может покинуть участок. Однако, как уже говорилось в Разделе 2, когда личинка передвигается, редко ощупывает встречающиеся ей частицы и поэтому быстро проходит коридор по окружности и снова попадает на участок с плоскими частицами. Иногда она может «проскочить» и этот участок, но, в целом, ручейники основную часть времени проводят на нем и сооружают домик почти целиком из плоских частиц.

Читатель может попробовать разработать более эффективные алгоритмы поиска для искусственного агента, перед которым стоит аналогичная задача. Сравнение таких алгоритмов с алгоритмами поиска у реальных животных позволит лучше разобраться в принципах адаптивного поведения.

Список литературы: