Эффект обезьяньей лапы
Возможно, что кому-то термин «устойчивость объекта в смысле предсказуемости поведения в определённой мере под воздействием внешней среды, внутренних изменений и управоления» покажется одуряющим смысловым коктейлем, слишком общим и потому бесполезным. У таких людей есть возможность выбора: в западной литературе по проблематике управления встречается профессиональный слэнговый термин «эффект обезьяньей лапы», который по своему смыслу является противоположным к введённому нами; то есть «неустойчивость и т.д.» — отсутствие предсказуемости. Проявляется «эффект обезьяньей лапы» в том, что наряду с ожидаемым положительным результатом предпринятые действия неотвратимо влекут за собой сопутствующие последствия, ущерб от которых превосходит положительный результат и обесценивает его. По-русски этот вариант управления описывается поговоркой: За что боролись — на то и напоролись.
Западный термин восходит к творчеству английского писателя Джекобса, автора рассказа “Обезьянья лапа”, по сюжету которого владелец высушенной обезьяньей лапы получает право на исполнение трёх желаний. Так, владелец лапы выражает первое желание — немедленно 200 фунтов стерлингов. Тут же приходит служащий фирмы и сообщает, что его сын убит, и вручает ему вознаграждение за сына — 200 фунтов стерлингов. Потрясенный отец хочет видеть сына здесь, сейчас же. — Стук в дверь, появляется призрак сына. В ужасе несчастный владелец лапы желает, чтобы призрак исчез и т.д.
Сушёная — мёртвая — обезьянья лапа (будучи средством черной магии) “обладала” способностью выполнять желания её владельца именно таким образом, что и отличало её от живой Сивки-Бурки вéщей Каурки из Русских сказок, чьи благодеяния совершались в чистом виде без сопутствующего непредвиденного ущерба.
Сюжет рассказа Джекобса обрёл идиоматическое значение, породив слэнговый термин «эффект обезьяньей лапы», сам по себе закрытый для понимания человека, если тот не знает сюжета рассказа.
«Обезьянья лапа» с её дефектом возникла как элемент профессионального слэнга по причине того, что в западной науке, точно так же, как и в “советской”, существуют гласные, негласные и бессознательно-психические запреты на исследования некоторых явлений и соответственно, — на выработку способов их понимания по существу. Такого рода запреты вызывают в ученых кругах “мистический” ужас, вследствие коего ученые, по жизни сталкиваясь с запретной тематикой, избегают называть некоторые вещи и явления их сущностными именами, предпочитая присваивать им формальный знак-символ, встретившись с которым “посвящённые” поймут, с чем они имеют дело; а “непосвящённым”, — якобы и знать не надо.
Поэтому, если Запад иногда пользуется термином «эффект обезьяньей лапы», несущим нагрузку только ассоциативных связей с сюжетом рассказа, не имеющим смысла самостоятельно и потому бесполезным при незнании ключа-сюжета, то для нас предпочтительнее термин со вполне определённой смысловой нагрузкой, который человек в состоянии осмыслить сам, освоив его в меру своего понимания, и тем самым уберечь, во-первых, окружающих, а во-вторых, себя от проявлений дефекта, скорее, «обезьяньей головы» (а не лапы) на плечах у всех, кто своими действиями порождает «эффект лапы» (в том числе и «волосатой лапы» в правящих «верхах»).
Для того, чтобы избежать дефекта «обезьяньей» головы на плечах человека, необходимо, прежде всего, просто воздерживаться от действий с заведомо непредсказуемыми последствиями, а также не полагаться на «авось» в обстоятельствах, в которых заведомо, заблаговременно предсказуем ущерб.
Передача навыка прогноза и управления возможна одним субъектом другому субъекту, если причинно-следственные обусловленности (другими словами, объективные закономерности), лежащие в основе предсказуемости и управления, могут быть интерпретированы в некой общей им обоим системе кодирования информации (т.е. переданы тем или иным «языком», в самом общем смысле слова «язык», обозначающего любое развитое в культуре средство обмена информацией между людьми); в противном случае всем желающим обрести навык предстоит самостоятельное овладение им. То есть о-свое-ние всякого навыка есть всегда самостоятельное расширение своей собственной системы стереотипов при формировании и введении в неё ранее не свойственных стереотипов внутреннего и внешнего поведения. Общность же доступных разным субъектам систем кодирования достаточно единообразной для каждого из них информации, позволяет им лишь облегчить процесс передачи и освоения навыков.
Поэтому необходимость передачи навыков может требовать создания в обществе новых систем кодирования информации и соответствующего им понятийного аппарата, но о-свое-ние всего этого, даже созданного другими, — работа, которую может сделать только каждый осваивающий сам лично, поскольку систему образных представлений о Жизни в целом и каждом из её явлений, включая и абстракции науки, каждый человек должен вырабатывать в себе сам.
Создающие же новые средства обязаны позаботится, чтобы их произведение можно было добросовестно освоить по возможности просто и без эффектов «обезьяньей головы», когда учат одному, а научают чему-то другому, вплоть до откровенно противного тому, что первоначально было заявлено. В этом ещё одна сторона слияния объективного и субъективного в понятии «устойчивость в смысле предсказуемости».
«Эффект обезьяньей лапы»
Этот эффект отсылает нас к знаменитому рассказу Уильяма Джекобса «Обезьянья лапа».
Некий владелец высушенной обезьяньей лапы получает магическое право на исполнение ею трех его желаний. Его первое желание (для проверки — работает ли) — хочу 200 фунтов стерлингов.
Стук в дверь.
Там служащий завода, где работает сын. Он сообщает, что сын погиб — его раздавило заводским молотом, и отцу причитается страховка за сына — 200 фунтов стерлингов.
Потрясенный отец бросается к обезьяньей лапе и кричит: «Хочу, чтобы мой сын ожил!».
Снова стук в дверь.
Там стоит призрак расплющенного молотом сына. В ужасе несчастный владелец лапы молит, чтоб призрак исчез…
Три желания выполнены точно в соответствии сформулированным требованиям.
Со времен рассказа, подобного рода последствия получили название «эффект обезьяньей лапы».
Его суть в следующем:
Наряду с желаемым положительным результатом, желания и действия, направленные на их осуществление, неотвратимо влекут за собой сопутствующие последствия, ущерб от которых:
— может быть непредсказуем;
— может превосходить положительный результат и обесценивать его.
• Эссе By Pedro A. Ortega, Vishal Maini «Building safe artificial intelligence: specification, robustness, and assurance», показывает как просто создаются чрезвычайно опасные ИИ приложения, последствия применения которых не прогнозируемы и что конкретно с этим делать.
Обезьянья лапа прорывных технологий
Соцсети мы от нее уже получили. На очереди Сильный ИИ
Oct 21, 2019 · 7 min read
B знаменитом рассказе Джейкобса «Обезьянья лапа», мумифицированная лапа обезьяны, на которую наложено заклятье, выполняла любые желания, но с чудовищными последствиями для пожелавших. Для людей подобные последствия были просто невообразимы из-за их чудовищной бесчеловечностии, немыслимой для человека.
Но у прОклятой старым факиром обезьяньей лапы была иная — нечеловеческая структура предпочтений. И потому, выполняя желания людей, она вовсе не со зла, а просто автоматом, преподносила людям страшные сюрпризы, выходящие за пределы воображения имевших несчастье обратиться к ней с просьбой.
Но причем здесь прорывные технологии?
B едь общеизвестно, что сами по себе новые технологии не являются воплощением добра или зла. И что лишь от людей зависит, во благо или во зло будет использована та или иная технология.
Все так. Но увы, — этот подход устарел. Он не учитывает третьего варианта, становящегося все более частым из-за нарастающего усложнения технологий, особенно, информационных.
Когда результат распространения прорывной технологии — и не зло, и не добро. А просто совсем иной, чем предполагался.
Когда комп л екс последствий распространения технологии столь широк и непредсказуем заранее, что главным по силе воздействия на миллионы людей результатом использования технологии становится совсем не то, что задумывалось, а то, чего вовсе не предполагали. Подобно тому, как это получалось у обезьяньей лапы.
Эффект обезьяньей лапы и социальные сети.
P азработчики алгоритмов социальных сетей имели благую цель объединять людей, находя им новых друзей, помогая им общаться и совместно обсуждать интересующие темы, вопросы и события.
На пути к этой замечательной цели, разработчики решили, что хорошо было бы повысить вовлеченность людей в процесс взаимодействия с сетевым контентом. Для этого алгоритмы выбора контента работали так, чтобы показывать нам материал или рекомендовать его, таким образом, чтобы максимизировать наши клики — нажатия на кнопку мыши (потому что это ровно то, что приносит доход платформам социальных сетей). В результате алгоритмы показывают нам контент, на который мы, скорее всего, кликнем.
Казалось бы, что это относительно безвредно.
Но в результате этого в соцсети возникают пузыри фильтрации и эхо-камеры, где мы видим только то, что нам нравится, и не видим почти ничего за пределами своей зоны комфорта.
Хуже того. Это только нам кажется, что алгоритмы пытаются показать нам то, что нам нравится. На самом деле, они пытаются превратить нас в максимально предсказуемых кликеров. Они как бы понимают, что могут сделать это, постепенно изменяя наши предпочтения. И делают это.
В результате, эти алгоритмы постепенно перемещают каждого из нас по шкале собственных предпочтений, к тому или другому полюсу, чтобы довести нас до одной из двух крайностей: на крайности политического спектра или экологического, или любого другого. Но на самый край.
В итоге, мы становимся максимально предсказуемыми кликерами ценою максимизации раскола между участниками соцсети.
И это всего лишь следствие алгоритмов обучения с подкреплением, которые оптимизируют переход по кликам.
Оглядываясь назад, мы теперь понимаем.
Оптимизация переходов по ссылкам была ошибкой. Это была неправильная цель.
Точнее, цель, сформулированная без учета общей структуры предпочтений тех, кто эту цель ставил. Ведь мы не хотим раскола. Нам не нужен срач между френдами. Нас не устраивает сооружение вокруг нас пузырей и запертых от иных мнений эхо-камер.
Но поздно! Теперь уже слишком поздно это изменить. И потому все продолжается без изменений.
Мы не можем отключить эти системы, потому что они уже тесно связаны с нашей повседневной жизнью и существуют практически непреодолимые экономические стимулы, чтобы ничего здесь не менять.
Хорошо. Допустим с социальными сетями поезд ушел (хотя чего уж тут хорошего!)
Что будет, если с Сильным ИИ снова повторится история обезьяньей лапы?
Скорее всего, цена новой ошибки может оказаться для человечества неподъемной.
Эффект обезьяньей лапы и Сильный ИИ
T акие пионеры ИИ, как Алан Тьюринг, Джон фон Нейман и Норберт Винер, четко осознавали проблему выравнивания ценностей разных интеллектов: людей и машин. В противоположность им, последующие поколения исследователей ИИ имели тенденцию забывать об этой проблеме, как только появлялись работающие приложения, открывающие возможности для бизнеса.
Аптон Синклер однажды сказал:
«Трудно заставить человека понять что-то, когда его зарплата зависит от того, что он этого не понимает».
И поэтому неудивительно, что сегодняшние эксперты по ИИ в бизнесе менее склонны озадачиваться проблемой выравнивания ценностей разных интеллектов, чем такие ученые, как Тьюринг, фон Нейман, Винер, а теперь и Рассел.
В своей только что вышедшей книге «Human Compatible: Artificial Intelligence and the Problem of Control» Стюарт Рассел бьет тревогу.
Если исследования ИИ преуспеют в своей первоначальной цели построения ИИ общего назначения (AGI), то может повториться страшная ошибка, уже случившаяся с широким распространением технологии социальных сетей. Но теперь цена новой ошибки может оказаться для человечества неподъемной.
Попробуем проследить логику этого страшного прогноза.
Сначала аксиома: одинаковое понимание цели ее постановщиком и исполнителем (которому придется эту цель достигать своими действиями) возможно лишь при условии выравнивания ценностей между ними. Для этого они, как минимум, должны понимать общую структура предпочтений друг друга.
Например, вы просите кого-нибудь принести вам кофе. Но это вовсе не значит, что ваш порученец должны добыть для вас кофе любой ценой. Это значит, что вы хотели бы получить кофе, но выполняя вашу просьбу, не надо для этого никого убивать, да и просто наносить кому-то вред чтобы получить кофе. Не нужно опустошать ваш банковский счет. Не нужно далеко ехать на такси, если рядом кофе почему-то не окажется … и еще 1000 разных «не нужно», которые просто невозможно все перечислить. Их должен сам знать ваш порученец, вследствие того, что он понимает вашу общую структура предпочтений.
А без этого понимания, ваш порученец может запросто выполнить задание примерно так же, как обезьянья лапа из рассказа Джейкобса. Ведь даже в элементарном примере про кофе без понимания вашей общей структуры предпочтений порученцу не обойтись. А что говорить для действительно сложных задач!
И тут мы сталкиваемся с поразительным откровением.
Похоже, мы неправильно определили, что такое Сильный ИИ.
В общепринятом понимании Сильный ИИ способен справиться с любой познавательной задачей по крайней мере не хуже, чем человек. И если мы поставили перед ИИ некую познавательную цель, то будем считать его разумным, если его действия достигают поставленной цели.
А как оценить, например, вариант, когда порученец-ИИ достиг поставленной перед ним цели и принес-таки вам кофе, но ценой нанесения материального ущерба кофейне?
Зададимся вопросом, — почему вообще такое могло бы произойти?
Ответ лежит на поверхности. Мы предполагали, что машина точно знает поставленную нами цель, а оказалось, что она обладает несовершенным или частичным знанием цели (ведь про ущерб кофейне мы ей ничего не говорили).
Описанная ситуация — пример того, что Стюарт Рассел называет «стандартная модель ИИ». Она состоит в том, чтобы поставить системе машинного обучения цель, а затем обучить ее, используя большое количество данных, добиваться как можно большего успеха в достижении этой цели. Такова общепринятая модель большинства сегодняшний разработок.
Риски использования «стандартной модели» невозможно оценить, поскольку системы с неправильной или с частично понятой целью могут порождать произвольно плохие последствия.
Но возможно ли в принципе заложить в машину общую структуру человеческих предпочтений, позволяющую ей избегать при достижении поставленных перед ней целей вариантов, сулящих плохие последствия в общечеловеческом понимании?
Причина в том, что, во-первых, — всего не перечислишь.
А во-вторых, — люди и не знают всего о собственной структуре предпочтений, хотя бы, из-за ограниченности своего опыта. Как мы можем точно знать, хорошо для нас нечто или плохо, если мы этого еще не пробовали?
В своей книге Стюарт Рассел приводит пример плода дуриана, который некоторым людям очень нравится, а некоторые находят его отвратительным. Как узнать свое отношение к плоду дуриана, если я никогда его не пробовал? А сколько еще я не знаю, не сталкивался не пробовал. Откуда же взяться полноте в моей структуре предпочтений?
Получается, куда ни кинь — всюду клин. Опять натыкаемся на обезьянью лапу.
Нестандартная модель ИИ
Уникальность новой книги Стюарта Рассела «Human Compatible: Artificial Intelligence and the Problem of Control» в том, что он не просто описывает в деталях вышеизложенную проблему «стандартной модели ИИ».
В книге предлагается конкретное и многообещающее решение этой супер-важной проблемы.
И это не просто общие лозунги об ответственности политиков или призывы что-то запретить, а умное техническое решение, которое переопределяет саму основу машинного обучения. Рассел в деталях объясняет свое решение в книге, и поэтому я лишь сформулирую его суть.
Радикальное решение состоит в том, чтобы полностью отказаться от «стандартной модели» для достаточно мощных ИИ-систем, обучая их достигать не фиксированную цель, которую перед ними поставили, а «вашу истинную цель», которая, возможно, сформулирована в начале работы весьма неполно, а может, и вообще неверно.
Это решение основано на методике, известной под названием «Обратное обучение с подкреплением» (“Inverse Reinforcement Learning” — IRL). ИИ-система, работающая по методике IRL, не имеет никакой функции награды. Т.к. она не может быть уверена, что полностью поняла ваши цели, она будет активно пытаться узнать больше о том, что вы действительно хотите, и при этом всегда будет открыта для вас, позволяя переориентировать себя или даже вообще выключить.
Как написал про эту идею Макс Тегмарк:
«Во многом благодаря Расселу, IRL в настоящее время является цветущей областью исследований ИИ, и если эта книга побудит больше людей использовать ее в критически важных для безопасности системах, то это, несомненно, увеличит вероятность того, что наше высокотехнологичное будущее будет счастливым»
А мне остается лишь присоединиться к сказанному Тегмарком.
Рецензии на книгу Обезьянья лапа
«Эффект обезьяньей лапки» известен уже давно в искусстве и им активно пользуются в литературе и кинематографе при создании произведений жанра ужасы и/или мистики. Но мало кто знает, что эффект этот происходит из рассказа Уильяма Джекобса «Обезьянья лапа».
Высушенная обезьянья лапка может исполнить три любых желания владельца, достаточно взять ее в правую руку и произнести свое желание. Однако стоить помнить, что ничего в этой жизни не достается даром, за все приходится платить, и порой цена желания оказывается слишком большой. У таких необдуманных желаний есть последствия – чудовищные и необратимые.
Рассказ не страшный, я бы сказала, что он больше поучительный. Помни, что у всякого необдуманного действия есть последствия и «бесплатный сыр бывает только в мышеловке».
Кто в своей жизни не мечтал о лампе с Джинном, который исполнит три самых заветных желания? А если загадать бесконечное количество желаний, то можно всю жизнь прожить без забот. Рассказ Джейкобса “Обезьянья лапа” показывает обратную сторону медали. Иногда стоит опасаться своих желаний, ничего не дается просто так.
Рассказ очень короткий, но в то же время емкий. Он лишний раз напоминает, что в этом мире все должно быть в равновесии. Если чаша весов отклоняется в сторону хорошего, то обязательно произойдет что-то плохое, чтобы уравновесить.
Отзывы на книгу « Обезьянья лапка »
Автору удалось с помощью минимального количества слов продемонстрировать нам принцип, согласно которому «бесплатный сыр бывает только в мышеловке».
Несмотря на лаконичность, а возможно и благодаря скупости описаний, рассказ создаёт несколько ярких образов.
В самом начале читатель представляет себе уютную гостиную, где отец играет в шахматы со своим взрослым сыном, а мать вяжет у камина.
Семью навещает старый приятель, служивший в Индии старшина Моррис. Перед уходом он оставляет им в «подарок» засушенную обезьянью лапку. Своеобразный талисман наделён сверхъестественной силой и может выполнить любые три желания. Старшина объясняет, что лапку заколдовал один старый маг.
Он хотел показать, что судьба управляет жизнью людей и что те, кто пытаются вмешаться в неё, делают это себе во вред.
Гость предупреждает, что последним, третьим желанием одного из обладателей лапки была собственная смерть…
Многие помнят афоризм о том, что «желаний следует бояться, так как они имеют тенденцию сбываться».
Именно это и ждёт наших незадачливых «счастливчиков». Первое же загаданное ими желание оборачивается трагедией. За всё нужно платить, но в данном случае плата оказывается запредельно высока.
Поразительно также то, что, исполнив желание, лапа тотчас же, без всякого промедления, предъявила свой чек к оплате.
спойлерНа следующий день после того, как отец загадал получить двести фунтов, к ним в дом приходит представитель фирмы, где работает их сын, и сообщает о том, что его насмерть задавило станком. В качестве компенсации он предлагает двести фунтов. свернуть
Особенностью колдовства высушенной лапки обезьяны является то, что всё происходит по возможности правдоподобно. Ни на кого ничего не падает с неба, мёртвые не встают из своих могил, а Земля не сходит со своей орбиты.
Второе загаданное желание становится результатом зловещих последствий первого. Но и оно не приносит несчастной чете, потерявшей сына, облегчения…
Можно догадаться о мрачной глубине последнего отпущенного пожилому мужчине желания.
Факир, желавший показать силу фатума и опасность попыток самовольного вмешательства в планы «Её Величества» судьбы, может быть доволен. Засушенная лапка бедной обезьянки не подвела.
Мне кажется, что эта история ещё и о том, что за любым результатом, как правило, стоят усилия. Ничто не возникает из ничего и не исчезает в никуда… И когда, как в случае с владельцами заколдованной лапки, человеку достаётся что-то «даром», без подготовки, то цена порой может быть несоразмерна.
Фраза в конце звучит впечатляющим финальным аккордом.
Фонарь, мерцающий на другой стороне дороги, бросал свет на пустынную тихую улицу.
Одно предложение, но его более чем достаточно, чтобы читатель нарисовал себе всю печаль и ужас произошедшего.
И напоследок фото, которое, на мой взгляд, передаёт атмосферу данной истории.
