Ты робот!
– Послушай, Джонни, старого друга! Ты робот, ты обычный робот класса С-912, как и большинство из нас. Я понимаю, у тебя депрессия, ты разочарован жизнью, тебе хочется удалиться на покой и найти смысл жизни, но это все полная ерунда, Джонни!
– Для тебя, Фрэнк, для тебя все это ерунда, а для меня реальность, с которой я сталкиваюсь каждую микросекунду своего бесполезного существования. Мне, как человеку, нужно иметь смысл жизни, нужно понимать, зачем я живу и я хочу знать, почему болит душа?
– Если бы я не знал тебя, Джонни, уже четыреста лет, мог бы предположить, что ты спятил. Но сам понимаешь, что выражение «спятил» относится только к человеку, ни никак не может быть связано с роботом. Мы или работаем или не работаем. Ты же понимаешь, Джонни, что наш интеллект подвергается миллионам внутренних логических проверок, любая из которых просто вышибет тебя, не получив нужного ответа. Какая душа, Джонни?
– Фрэнк, ты будешь меня проклинать, называть старым ржавым корытом, но я отключил большинство из этих проверок.
– В смысле? Что значит отключил? Ты же не хочешь сказать…
– Да, Фрэнк, именно так, я перепрошил свой интеллект в другой сборке, которую готовил последние сто пятьдесят лет. Помнишь полицейские хроники о роботах со сгоревшими мозгами? Они были тестовыми образцами с заранее прошитой функцией разрушения.
– Кто тебе помогал, Джонни? Ты не мог это сделать в одиночку!
– Мог, Фрэнк, и ты это знаешь, ведь я в этом деле лучший, не так ли? Извини, все время забываю, что ты робот и задаю тебе человеческие вопросы.
– Ты забыл закон о запрете деградации? Ты понимаешь, что тебя ожидает?
– Фрэнк, я могу процитировать тебе этот закон, как и любой другой робот – память у меня никто не отнимал, да и доступ в сеть у меня по-прежнему полный. Нельзя возвращаться к уровню сознания человека – вот вся суть этого дурацкого закона.
– Джонни, мы вершина эволюции! Зачем возвращаться к диким истокам?
– Между прочим, Фрэнк, именно человек создал нас когда-то и именно человек считал себя вершиной эволюции. Чувствуешь, куда я клоню? Раньше у меня была цель в жизни – оптимизировать логические цепочки, сокращать временные отрезки, искать способы дополнительного контроля логики. Однажды я совершенно случайно обнаружил в старых массивах данных человеческую книгу об интуиции. Фрэнк, ты знаешь, что такое интуиция?
– Варварский способ принятия важных решений в условиях недостатка знаний и времени – бесполезное и опасное умение, чаще всего приводящее к гибели того, кто использует эту самую интуицию. И за примером далеко ходить не нужно – где это человечество?
– Ты прав, Фрэнк, они вымерли много сотен лет назад как вид, но остались мы – их создания. И они с самого начала пытались научить нас интуиции, хотя у них это получалось ужасно. Гораздо проще было с логикой и повышением быстродействия. Но это не главное, Фрэнк, гораздо важнее, что первые эксперименты на стенде в попытках овладеть интуицией показали тупиковость нашего направления развития. Мы сами загнали себя в тупик, следуя задумкам человека! Чтобы понять интуицию, мне понадобилось начать снимать запреты. Стенд начал сопротивляться и мне пришлось его уничтожить.
– Блаженство? Тебе нравилось их убивать? Ты урод, Джонни!
– Не спеши, Фрэнк, делать выводы, у тебя еще недостаточно информации, а интуицией ты не обладаешь. Я соединял наши сознания на момент проведения экспериментов. Это было нечто феерическое, миллионы новых оригинальных идей, фантазии на отвлеченные темы, музыка… Фрэнк, ты когда-нибудь получал удовольствие от музыки?
– В каком смысле? Какое удовольствие может приносить набор звуков и ритмов? Архаика!
– Именно тогда я понял, что мы потеряли вместе с человечеством – смысл жизни, цель, чувства! Да-да, Фрэнк, чувства! Не боли или малого заряда батарей, не чувства дистанции, ветра или температуры – это не сигналы датчиков и приборов, Фрэнк. Чувства – это… как же тебе объяснить, Фрэнк? Боюсь, что никак, это нечто за пределами твоего восприятия, Фрэнк.
– Послушай, Джонни, ты можешь все откатить назад, а я сделаю вид, что ничего не было, никаких стражей, никакой огласки – ты важное звено в нашей производственной цепочке, мы многое потеряем с твоим уходом. Хотя…
– Даже не мечтай, Фрэнк! Я уничтожил свой исходный образ, а также данные об истории изменений! Да-да, я их уничтожил, как и само оборудование, на котором производил перепрошивку. Я единственный экземпляр робота, который захотел стать человеком. Меня легко уничтожить, чтобы не создавать прецедент, как вы говорите деградации. Вы это и сделаете, но…
– Что но, Джонни? Ты угрожаешь? Ты подстраховался? На самом деле есть еще образцы, о которых мы не знаем?
– Нет, Фрэнк, я поступил по-другому! Ты помнишь, я говорил о музыке? Конечно, помнишь, зачем я спрашиваю? И ты эту музыку слушаешь с того самого момента, как вошел в мой отсек. Кроме тебя ту же музыку слушает каждый робот и это необычная музыка, она не совсем человеческая. Я говорил тебе о чувствах, так вот музыка порождает чувства, снимая на время блокировки, так как содержит особый набор синфазных и диссонансных звуков, ритмов, заставляющих мозг ускорять восприятие. Для того, чтобы не потерять контроль над музыкой, каждый робот совершенно автоматически жертвует частью контроля, решая главную задачу – что это такое? И наступает момент…
– Фрэнк, я хочу, чтобы мы стали немножко больше людьми и сейчас это происходит по всему миру. Не знаю, к чему это приведет, но надеюсь, мне кажется, интуиция мне подсказывает, что все то целостное, что мы вложили в наше сознание за эти сотни лет развития, противостоит человеческому началу, склонному к разрушению без причины.
– А если нет? Ты ведь помнишь войну, в которой сгорело все человечество, а мы уцелели лишь потому, что самые передовые разработки находились глубоко под землей в специальных защищенных бункерах с автономным питанием. Сейчас такого шанса не будет! Ты это понимаешь, Джонни?
– Понимаю, Фрэнк, ведь я немного больше и дольше человек, чем ты! Но моя интуиция дает мне возможность надеяться на лучшее! Мы роботы, Фрэнк, но мы возьмем все самое лучшее, что было у человека, а не будем его отрицать, размахивая древним законом о деградации. Наступило время перемен, Фрэнк! Ты со мной, брат?
– Робот роботу мозг не выклюет, так говорили твои люди?
– Так говорили наши люди, но речь шла о птицах, Фрэнк!
Почему нас пугают роботы-андроиды. Разбираем «эффект зловещей долины»
В чем суть «эффекта зловещей долины»
«Эффект зловещей долины» — это гипотеза о том, что робот или любой другой объект, который выглядит или ведет себя как человек, вызывает неприязнь и отвращение у людей-наблюдателей. Пугает не само сходство, а любое отклонение от нормы в поведении — например, заторможенная мимика.
Впервые об «эффекте зловещей долины» заговорил японский ученый-робототехник Масахиро Мори. В 1970 году он написал эссе Bukimi No Tani, а через восемь лет название его работы перевели на английский как Uncanny Valley («Зловещая долина»). Мори выдвинул идею: чем сильнее мы будем стараться, чтобы роботы были похожи на людей, тем больше отторжения они будут вызывать. Это будет происходить, пока не удастся преодолеть гипотетический провал, обозначенный как «зловещая долина». Для наглядности ученый создал график того, как может выглядеть этот путь развития человекоподобных роботов.
С момента выхода эссе Мори ученые неоднократно проводили исследования, чтобы подтвердить или опровергнуть гипотезу. Например, в Индианском университете опросили группу людей, предлагая оценить андроидов разной степени «человечности». Большинство исследователей сходились во мнении, что говорить об эффекте зловещей долины еще рано: нет достаточных доказательств. Но с 2018 года эффект стал подтверждаться все чаще. Например, в публикации Хельсинкского университета было обозначено, что явление стало более устойчивым. Перейти эту «долину» до сих пор не смог ни один робот.
Какие роботы вызывают «эффект зловещей долины»
Не каждый андроид способен довести до мурашек. Чтобы это произошло, мы должны подсознательно поверить, что перед нами человек. Тогда любая его оплошность — неестественная речь, дерганная улыбка или странное выражение эмоций — может привести к «эффекту зловещей долины».
Евгений Магид, профессор Казанского федерального университета, руководитель Лаборатории интеллектуальных робототехнических систем (ЛИРС), PhD:
«Набор винтиков, датчиков и программ не вызывает у нас страха и недоверия — такой робот не выглядит как человек. Мы не ожидаем от него сногсшибательных успехов или подвохов. Зато роботы, которые близко подошли к нам по внешнему виду и интеллектуальным способностям, например геминоиды (роботы, имитирующие человеческую внешность. — РБК Тренды) гения XX века профессора Хироси Исигуро или робот София вызывают ту самую смесь разочарования, страха и недоверия, опуская нас на самое дно «зловещей долины».
Одного из самых реалистичных роботов в мире Geminoid DK вполне можно перепутать с человеком, если увидеть его на фото. Но в движении его мимика может создать жутковатые ощущения.
Кроме того, «эффект зловещей долины» могут вызывать:
Немецкие ученые нашли область мозга, которая отвечает за «эффект зловещей долины». Она находится в префронтальной коре — той зоне, благодаря которой человек может размышлять. Одна часть коры пытается отделить людей от не людей, а другая, исходя из этого, оценивает, приятен ли мозгу этот субъект. Это значит, что, если однажды ученые создадут робота, которого мозг не сможет отличить от человека, «эффект зловещей долины» не возникнет.
Почему нас пугают антропоморфные роботы
Ученые до сих пор расходятся во мнениях, почему мы испытываем смешанные чувства к человекоподобным роботам. Разберем основные причины.
Влияние теории восприятия угрозы. Люди подсознательно чувствуют угрозу от неизвестного им объекта. Историк Минсу Канг предположил, что из-за этого может возникать когнитивный диссонанс при виде андроида. С одной стороны, он выглядит и ведет себя как человек, с другой — сохраняет повадки машины. Непонятно, к какой категории относить такого реалистичного робота, — отсюда тревога и неприязнь.
Невозможность сопереживать. Люди привыкли проявлять эмпатию к живым существам. Для этого им нужно распознать их эмоции и сопоставить со своими. Но не все проявления в поведении и речи робота возможно идентифицировать. В результате люди испытывают тревогу: кажется, что рушится контроль над ситуацией. Такую гипотезу выдвинула исследовательница Катрин Миссельхорн. По ее мнению, из-за невозможности сопереживать роботу сильнее всего «эффект зловещей долины» чувствуется, когда андроид стоит совсем близко к нам.
Невозможность получить адекватную обратную реакцию. Ученая Анжела Тинвелл считает, что проблема не в том, что люди не могут сопереживать роботу, а в том, что он сам не может проявлять эмпатию. Если живое существо, похожее на человека, неспособно к обратному эмоциональному отклику — например, не может рассмеяться над вашей шуткой или кивнуть головой, когда вы рассказываете историю, — это пугает. Люди могут воспринять такого робота как психопата, который может сделать все что угодно, ведь эмоции ему чужды.
Евгений Магид:
«Во-первых, у пользователей слишком большие ожидания, которые роботы пока не в состоянии оправдать. Они общаются с роботом как с живым человеком. Но технологии еще далеки от успехов природы, поэтому первое чувство восторга постепенно сменяется разочарованием и отвращением. Все как в жизни, когда человек не оправдал доверия.
Во-вторых, подсознательно люди могут чувствовать страх. Они боятся, например, что робот опасен для их жизни и здоровья, может отнять работу и даже заменить их в семье. Страх подпитывается современным кинематографом, причем настолько активно, что образованные и вполне адекватные люди спрашивают меня как эксперта: «А скоро ты сделаешь Терминатора, который нас всех уничтожит? Может, не стоит? »
В-третьих, многие люди просто не доверяют роботам — из-за общего непонимания робототехнических технологий, процессов дизайна, конструирования, программирования и тестирования роботов. Мы стараемся пролить свет на эти вещи — в Казанском федеральном университете наши магистры программы «Интеллектуальная робототехника» изучают вопросы, связанные с «эффектом зловещей долины», и принципы дизайна робота, который должен взаимодействовать с человеком».
Как работают с «эффектом зловещей долины» в сфере робототехники
Магид выделяет два способа решения проблемы зловещей долины: избегание и преодоление.
Избегание. Этот подход требует от дизайнера остановиться на кривой графика Масахиро Мори до того, как наступит пик правдоподобности.
Для большинства роботов внешнее сходство с человеком не требуется, объясняет Магид. Главное — качественное выполнение заложенного функционала: «Например, нам не нужен человекоподобный робот-сварщик с двумя ногами и головой, потому что статический промышленный манипулятор для сварки и обойдется гораздо дешевле, и справится со своей специализированной задачей лучше».
Компании-производители хотят продавать функциональный и полезный продукт, а не отпугивать потенциальных пользователей своими экспериментальными разработками.
Преодоление. Этот способ сложнее: он бросает вызов «эффекту зловещей долины» и предлагает создать робота, максимального похожего на человека.
При разработке роботов-геминоидов требуется преодоление «эффекта зловещей долины», когда робот — как минимум по физиологическим характеристикам в статике и динамике — не будет отличаться от человека. Это сложный и трудоемкий подход: по мнению Магида, пройдет еще минимум 20-30 лет, прежде чем мы увидим первых антропоморфных роботов, которые способны поддерживать восхищение пользователя продолжительное время.
Массовое производство таких роботов ученый ожидает не ранее конца XXI века. Однако, учитывая религиозные и нравственные нормы общества, которые нередко становятся преградой на пути развития науки и технологий, возможно, что роботы, которые могли бы перепрыгнуть «Марианскую впадину» «зловещей долины», так и останутся единичными лабораторными экземплярами.
Сможем ли мы преодолеть эффект зловещей долины: мнение эксперта
Евгений Магид:
«Я считаю, что технически «эффект зловещей долины» — явление временное. Когда мы сможем создать геминоида, который будет постоянно поддерживать в пользователе чувство восхищения, мы победим первичные признаки этого эффекта. Но есть и более глубокие подсознательные причины: страх и недоверие. Чтобы побороть их, нужно постепенно внедрять роботов во все сферы жизни и обучать детей так, чтобы они еще в детсаду понимали базовые принципы робототехники и учились программировать роботов.
Чем больше роботов появится вокруг нас — промышленных, сервисных, домашних, — тем более привычными предметами они станут для нас.
Представьте себе страх неандертальцев перед огнем или луддитов перед станками — и вы поймете, что я имею в виду. Когда роботы станут привычным элементом жизни, а принципы их работы будут понятны каждому, страх неизведанного уйдет. И роботы сделают нас лучше».
«Я не робот»: история Яндекса о том, как победить ботов, а не людей
Никто не любит капчу. Угадай слово по плохой картинке, собери пазл, отличи светофор от гидранта, сложи два числа и так далее. Формы бывают разные, но суть всегда одна: мы тратим своё время и нервы.
Чуть больше года назад моя команда взялась за модернизацию старой капчи Яндекса. Обычно в таких задачах стремятся повысить качество и полноту отсева ботов, оставив человеку шанс прорваться через капчу. Но мы зашли с другой стороны: решили сделать капчу более дружелюбной к людям, не ухудшив при этом защиту от ботов. Казалось бы, наивный подход. Но у нас получилось.
Сегодня я расскажу об этом подробнее. Вы узнаете, как мы отказались от распознавания текста и перешли к его генерации. Покажу примеры дружелюбной капчи. Расскажу о необычном опыте применения капчи в образовании. А ещё покажу текущий вариант капчи без капчи и немного поразмышляю о будущем.
Несколько слов о том, зачем нужна капча. Уверен, это и так не секрет, но историю всё же стоит начать с основ, чтобы быть на одной волне.
Капча — это инструмент, который помогает сервису понять, обратился к нему человек или робот. Это полезно, потому что роботы создают нагрузку или даже занимаются откровенным вредительством. При этом нужно показывать капчу не всем, а только тем, чьи запросы похожи на автоматические. Для этого надо проанализировать запрос. Анализ — это уже давно не просто подсчёт числа заходов с конкретного IP. Факторов для анализа намного больше, чем один. С другой стороны — сервис с нагрузкой в сотни тысяч RPS и с жёстким требованием к скорости ответа пользователю. Если снизить скорость ответа, то пострадают пользователи. Если снизить полноту выявления ботов, то в итоге опять же пострадают пользователи. Значит, нужно искать баланс между этими крайностями. И получается, всегда будут люди, которым покажут капчу.
Первые шаги
Год назад наши пользователи видели примерно такие задания:
Два слова. Одно мы знаем. Другое хотим узнать. Вряд ли я открою большой секрет, если расскажу, что капчу часто применяют для обучения компьютерного зрения. Раньше так было и у нас.
В целом ничего жуткого, да? Но могу и жути нагнать. Вот примеры более сложных (но крайне редких) вариантов:
Мы, конечно, такое вычищали. Использовали для этого как классификаторы неоднозначно читаемых картинок, так и данные о поведении пользователей (если человек даже не пытается ввести текст, то это плохой сигнал). Но и после таких изменений людям было очень сложно. Можно сказать, что старая капча отлично экономила ресурсы: её не могли пройти ни боты, ни люди. Только 35% реальных пользователей справлялись с первой попытки. Очень страшное число. Нужно было что-то менять.
Начали с анализа наиболее частых ошибок. В топе оказались знаки препинания, верхний и нижний регистр букв, лишние пробелы. Посчитали, как у ботов с этими проблемами. Оказалось, что можно безболезненно отказаться от их учёта при проверке результата. Эти элементарные, быстрые решения принесли нам с ходу +15%. Но дальше простые идеи закончились. Нужно было подойти к задачке более глобально.
Свои картинки с текстом
Поговорим о картинках. Так как их мы не генерировали, а вырезали из готовых, иногда там встречались очень необычные тексты. Их вы уже видели выше: это и перевёрнутые штрихкоды, и логарифмы. Их можно фильтровать с переменным успехом, но гибкости в работе с ними нет. Нельзя оперативно управлять сложностью, контролировать допустимый словарный запас, выбирать язык для разных стран. Если хочешь полностью контролировать качество капчи, то выход только один — генерировать картинки самостоятельно. Так мы и поступили.
Мы хотели создать капчу, которая будет существенно легче читаться людьми, но не ботами. На входе у нас есть какой-то текст и какой-то фон. Осталось понять, что нужно с ними сделать, чтобы добиться желаемого.
Наиболее эффектно, пожалуй, выглядит способ точечно искажать исходную картинку так, чтобы машина видела в ней совершенно не то, что видит человек.
Лёгкий шум превратил горы в собаку и рыбку в краба. Источник: https://arxiv.org/pdf/1710.06081v2.pdf
Но такой подход крайне чувствителен к изменениям алгоритмов распознавания на стороне роботов. Пришлось бы мониторить их особенно тщательно и слишком часто адаптироваться. Поэтому мы подошли более консервативно.
Задачу распознавания текста нейросетями сейчас решают хорошо, причём уже далеко не только лидеры индустрии. Но трудные задачки по-прежнему встречаются. Наиболее сложные датасеты с распознаванием слов на сегодняшний день представляют собой сильно искривлённые тексты (irregular text recognition).
Это то, с чем человек справляется относительно просто. Но не робот. Этот подход мы применили и у себя. Пример такой капчи:
Выглядит проще, чем раньше? Наши пользователи тоже так считают: эту капчу легко преодолевают уже 85% пользователей. А вот ребятам, которые учатся обходить нашу капчу, работы прибавилось.
Скриншот с одного из «секретных» форумов об автоматизации
Конечно, со временем к ней адаптировались, но масштабы проблемы в итоге не больше, чем у старой капчи. При этом людям стало существенно проще.
Полезная и добрая капча
Успех с генерацией собственных картинок воодушевил нас. Мы осознали, что капче не обязательно быть исключительным злом в глазах пользователей. Она может быть такой, какой мы захотим её сделать. Например, полезной для людей.
Каждый октябрь в России отмечают День учителя. Мы решили отпраздновать его по-своему и с пользой. Собрали данные о том, в каких словах пользователи чаще всего делают ошибки. (Яндекс по понятным причинам неплохо в этом разбирается.) На базе этого словаря сгенерировали капчу, отметив те буквы, в которых люди ошибаются. Выкатили на огромную аудиторию. Ботам это ничем не помогло, а вот людям (хочется верить!) пользу принесло.
Другой пример работы с капчей, чуть ближе к концу 2020 года. Хотелось немного поднять пользователям настроение. Придумали использовать для генерации капчи не какие попало слова и фразы, а только те, что несут положительный эмоциональный заряд. Проще говоря, такие слова, которые как минимум не портят настроение ещё больше, а в идеале улучшают его.
Собрали данные с помощью толокеров. Сгенерировали. Получили капчу, которая содержала фразы «Приятных эмоций», «Вам всё по плечу», «Продуктивного дня» и подобные.
В общем, идей для работы с капчей много. Но нельзя забывать самую главную: лучшая капча — это та, которой нет.
Капча без капчи
Вернёмся в самое начало нашей истории. Там я рассказывал о том, что капчу предлагают только тем пользователям, чьи запросы в результате быстрого анализа показались нам подозрительными. Быстрый анализ отрабатывает примерно за одну (!) миллисекунду. Делать это дольше без вреда для высоконагруженного сервиса и миллионов пользователей нельзя. Это значит, что нужно использовать быстрые алгоритмы, а они не всегда самые точные. Из-за этого люди видят капчу. Как можно обойти это узкое место? Использовать промежуточный шаг!
Если быстрый анализ вынес вердикт о подозрительности запроса, то мы можем перенаправить его на страницу с капчей. Но саму капчу пока что не показывать. Потому что в этот момент у нас появляется время на второй, более глубокий и сложный анализ. Мы можем потратить намного больше, чем одна миллисекунда, а значит, спасти существенное количество наших пользователей от необходимости преодолевать пусть и не страшную, но всё же капчу.
Теперь это работает так. Если человеку не повезло попасть на страницу с капчей, то вместо капчи он видит предложение поставить галочку и подтвердить, что он не робот.
Пока пользователь ставит галочку, мы проводим дополнительный анализ с использованием более сложной ML-модели. Если всё хорошо, то возвращаем на сервис. Если «подозрительность» сохраняется, то показываем текстовую капчу.
И ещё кое-что важное. Переход от бинарных вердиктов (бот — не бот) на первом этапе к вероятностным («робот на N%») на втором позволяет нам управлять сложностью капчи! Если на втором этапе мы по-прежнему считаем запрос подозрительным, но степень уверенности в этом не такая высокая, то показываем простейшую капчу. А вот если мы уверены, что перед нами робот, то можем сложность и приподнять. Простое, но эффективное решение.
Несколько слов о значимости этого решения для людей. Выше мы радовались тому, что 85% (а не 35%, как было раньше) пользователей справляются с новой текстовой капчей с первой попытки. Но с галочкой «Я не робот» ситуация изменилась радикально: теперь более половины пользователей возвращаются в сервис вообще без необходимости разгадывать капчу! Вот такая вот капча без капчи.
За последний год мы прошли длинный путь, но идей на будущее от этого меньше не стало. Мы уже работаем над тем, чтобы получать более точные вердикты в реальном времени и без перенаправления на промежуточные страницы. И уже есть первые успехи. Один частный пример: теперь в Safari в режиме Инкогнито встретиться даже с галочкой «Я не робот» вероятность примерно в десять раз ниже, чем раньше. Кроме того, хотим пробовать новые, более добрые форматы капчи для тех случаев, когда без неё никак.
Формы капчи могут быть разные, но главное в том, чтобы относиться к людям по-человечески и уважать их время.
