(Неформальная рецензия на книгу Дэвида Минделла «Восстание машин отменяется! Мифы о роботизации», “Альпина нон-фикшн”, 2017)
(User Chmouel on en.wikipedia: file )
Книга Дэвида Минделла «Восстание машин отменяется! Мифы о роботизации» оставила сильное, но двойственное впечатление. Прежде всего стоит посмотреть комментарии, из которых видно, какую гигантскую работу проделал автор, обобщив огромный материал из очень значимых источников. В нескольких словах: роботы под водой, на земле, в воздухе, в космосе и на других планетах: Луна и Марс. В последнем случае, правда, упущение – сейчас роботы долетели до края Солнечной системы, но о них в книге, к сожалению, не упомянуто. Но и то, что упомянуто, позволяет автору сделать общие выводы о перспективах робототехники.
С основным выводом полностью согласен: абсолютная автономность – вредный миф. По крайней мере, на ближайшие десятилетия. На собственном и на чужом опыте автор подробно показывает, что в наши дни наиболее успешными являются системы, где достаточно полно реализуется взаимодействие человека с автоматом, а не отчуждение человека от процесса принятия решений. В правильности этой идеи лично я убедился на своем скромном примере игровых ботов для игры КР2HD: бот для планетарных битв по нашей с соавтором идее должен быть полностью автономным, и сейчас этот проект забуксовал. В новом проекте бота для прохождения битвы у Роджерии, благодаря этой многоходовой битве, можно получить львиную долю очков всей игры, я выбрал полуавтоматический режим: относительно рутинные операции (некоторые не тривиальные, так как приходится использовать распознавание образов) выполняет бот, но при наступлении определенных условий он не пытается «блеснуть интеллектом», а запрашивает вмешательство игрока. Делает он это не часто: сейчас успел написать вышеизложенное на одном компьютере, а бот в то время накручивает мне очки на другом. И так как этот подход оправдал себя, опишу его подробнее в отдельной статье. За раздражающими примерами попыток разных программ «блеснуть интеллектом» далеко ходить не приходится: в старом Microsoft Word 2000 при установках по умолчанию затруднительно набирать фразу «Цикл со счетчиком i …» — Ворд тут же заменяет «i» на «I».
Возвращаюсь к книге. Согласившись с основным утверждением про перспективность не автономности, должен отметить, что читать было не просто из-за авторских повторов, текст явно и сильно избыточен, но тем не менее прочел каждое слово. В самом конце автор, критикуя «гугломобили» (автомобили Google без шофера), еще раз в явном виде перечислил три мифа роботизации:
Прочитав в книге массу историй, в частности, о том, что при всех посадках на Луну, начиная с Нила Армстронга, – все астронавты выключали автоматическую посадку и садились вручную, пользуясь при этом информацией бортового компьютера, аналогично было при посадке Шатлов на Землю, я согласен с автором. Однако чуть ниже автор рассказывает о новом проекте, в котором он участвует. Это проект ALIAS – система автоматического управления самолетом. Все выглядит хорошо, но поставлена амбициозная задача: минимумом усилий оснастить ею любой самолет так, чтобы не сертифицировать снова воздушное судно полностью, не вмешиваться в его конструкцию. В частности, использовать компьютерное зрение, чтобы считывать информацию с дисплеев, установленных в кабине самолета. Прочитав это, схватился за голову – перестал что-либо понимать и могу только догадываться. Может, мне показалось, но автор хочет разместить в кресле второго пилота web-камеру, направленную на дисплей и распознавать информацию с этого дисплея! Это же дико усложнит систему и сильно понизит надежность. Разве не проще подсоединиться к бортовому компьютеру с помощью USB-кабеля и качать цифровой поток напрямую без всякого распознавания? Возможно, что любое подсоединение, даже только на чтение, требует сертификации, но идти на распознавание, чтобы только избежать сертификации — это абсурд. Так же как в этом плане абсурдны мои боты с распознаванием – если бы у игры был COM-интерфейс, все задачи моих ботов решались бы тривиально.
Интересно, что во всей книге автор нечасто произносит «ИИ», при этом заявляя, что не будет обсуждать вопрос «может ли машина мыслить». Возможно, вопреки общему мнению, автор не считает задачи распознавания образов задачами ИИ? Дело не в названии, а в том, что это принципиально иные задачи. Упрощенно говоря, в исправной вычислительной среде дважды два всегда будет четыре, но та же среда не всегда правильно распознает цифру «2» с бумаги или с монитора. Пока человек распознает образы гораздо лучше компьютера, но и он ошибается. Так, не все и не всегда сразу могут понять каждое слово, что поет какой-нибудь вокально-инструментальный ансамбль на казалось бы знакомом языке. И в зрительной области у человека бывают иллюзии и миражи:
Другой широко известный пример затруднительного распознавания — это капчи, на которые натыкаешься в Интернете на каждом шагу. Бывают такие каракули, что приходится несколько раз нажать на кнопку смены капчи, прежде чем удается «доказать, чтоне верблюд не робот». Может, когда-нибудь машина сможет распознавать всевозможные аудио и видео образы лучше человека, однако пока не доказано, что подобные задачи всегда имеют решение. И пока современная практика свидетельствует, что в целом распознавать удается, однако гарантированно избежать ошибок не получается.
Так получилось, что до прочтения книги Минделла мне захотелось перечитать «Навигатора Пиркса» Станислава Лема. Можно сказать, что это хроника катастроф, к которым герой имел какое-то отношение на протяжении своей карьеры, и почти в каждой из этих катастроф участвует ИИ. В результате возникают похожие вопросы, что и в книге Минделла. Можно только поражаться, что Лем угадал проблемы, которые будут актуальны при современном развитии роботизации. К сожалению, Минделл не упоминает Лема, а могли бы быть интересные параллели. Если относится к выдуманным Лемом ситуациям как к моделям, то многие из них подтверждают утверждения Минделла.
Конечно же, Лем предвидел не всё. Так, он не предвидел взлома, не предвидел вирусов и «троянских коней» (хотя и моделирует случаи неадекватного проведения роботов, но не в результате предумышленного взлома ОС). Однако странно, что в наше время постоянных катастроф, связанных со взломами, о них ничего не говорит Минделл. На мой взгляд, в этом плане он чем-то напоминает Азимова, у которого три закона робототехники обеспечивают гармоничное сосуществование людей и машин. При этом не автономность, то есть подконтрольность оператору-человеку, может не спасти — Минделл неоднократно отмечает, что грань между автономными и неавтономными устройствами постепенно стирается и одно и тоже устройство может работать как в автономном, так и в не автономном режиме, подобно бортовому компьютеру упомянутого выше спускаемого на Луну отсека «Аполлон». При этом выглядит очевидным, что робот, в которого внедрен «троян», превратится в шпиона, а робот, зараженный вирусом, может совершать крайне неадекватные и опасные действия. Почему в книге об этом не сказано? Может потому, что такая слишком реальная угроза опровергает слишком оптимистичный заголовок книги про отмену восстания машин?
(User Chmouel on en.wikipedia: file )
Книга Дэвида Минделла «Восстание машин отменяется! Мифы о роботизации» оставила сильное, но двойственное впечатление. Прежде всего стоит посмотреть комментарии, из которых видно, какую гигантскую работу проделал автор, обобщив огромный материал из очень значимых источников. В нескольких словах: роботы под водой, на земле, в воздухе, в космосе и на других планетах: Луна и Марс. В последнем случае, правда, упущение – сейчас роботы долетели до края Солнечной системы, но о них в книге, к сожалению, не упомянуто. Но и то, что упомянуто, позволяет автору сделать общие выводы о перспективах робототехники.
С основным выводом полностью согласен: абсолютная автономность – вредный миф. По крайней мере, на ближайшие десятилетия. На собственном и на чужом опыте автор подробно показывает, что в наши дни наиболее успешными являются системы, где достаточно полно реализуется взаимодействие человека с автоматом, а не отчуждение человека от процесса принятия решений. В правильности этой идеи лично я убедился на своем скромном примере игровых ботов для игры КР2HD: бот для планетарных битв по нашей с соавтором идее должен быть полностью автономным, и сейчас этот проект забуксовал. В новом проекте бота для прохождения битвы у Роджерии, благодаря этой многоходовой битве, можно получить львиную долю очков всей игры, я выбрал полуавтоматический режим: относительно рутинные операции (некоторые не тривиальные, так как приходится использовать распознавание образов) выполняет бот, но при наступлении определенных условий он не пытается «блеснуть интеллектом», а запрашивает вмешательство игрока. Делает он это не часто: сейчас успел написать вышеизложенное на одном компьютере, а бот в то время накручивает мне очки на другом. И так как этот подход оправдал себя, опишу его подробнее в отдельной статье. За раздражающими примерами попыток разных программ «блеснуть интеллектом» далеко ходить не приходится: в старом Microsoft Word 2000 при установках по умолчанию затруднительно набирать фразу «Цикл со счетчиком i …» — Ворд тут же заменяет «i» на «I».
Возвращаюсь к книге. Согласившись с основным утверждением про перспективность не автономности, должен отметить, что читать было не просто из-за авторских повторов, текст явно и сильно избыточен, но тем не менее прочел каждое слово. В самом конце автор, критикуя «гугломобили» (автомобили Google без шофера), еще раз в явном виде перечислил три мифа роботизации:
Как это ни забавно, именно такая высокотехнологичная компания, как Google, в своей риторике шагает назад в XX век, архаически выставляя водителя пассивным наблюдателем. Их «новый» подход становится жертвой всех трех порожденных XX веком мифов о роботах и автоматизации: 1) автомобильная техника должна логически развиваться до полной, утопической автономности (миф о линейном прогрессе); 2) автономные системы управления освободят водителя от обязанности водить (миф замещения); 3) автономные машины могут действовать полностью самостоятельно (миф о полной автономности).
Прочитав в книге массу историй, в частности, о том, что при всех посадках на Луну, начиная с Нила Армстронга, – все астронавты выключали автоматическую посадку и садились вручную, пользуясь при этом информацией бортового компьютера, аналогично было при посадке Шатлов на Землю, я согласен с автором. Однако чуть ниже автор рассказывает о новом проекте, в котором он участвует. Это проект ALIAS – система автоматического управления самолетом. Все выглядит хорошо, но поставлена амбициозная задача: минимумом усилий оснастить ею любой самолет так, чтобы не сертифицировать снова воздушное судно полностью, не вмешиваться в его конструкцию. В частности, использовать компьютерное зрение, чтобы считывать информацию с дисплеев, установленных в кабине самолета. Прочитав это, схватился за голову – перестал что-либо понимать и могу только догадываться. Может, мне показалось, но автор хочет разместить в кресле второго пилота web-камеру, направленную на дисплей и распознавать информацию с этого дисплея! Это же дико усложнит систему и сильно понизит надежность. Разве не проще подсоединиться к бортовому компьютеру с помощью USB-кабеля и качать цифровой поток напрямую без всякого распознавания? Возможно, что любое подсоединение, даже только на чтение, требует сертификации, но идти на распознавание, чтобы только избежать сертификации — это абсурд. Так же как в этом плане абсурдны мои боты с распознаванием – если бы у игры был COM-интерфейс, все задачи моих ботов решались бы тривиально.
Интересно, что во всей книге автор нечасто произносит «ИИ», при этом заявляя, что не будет обсуждать вопрос «может ли машина мыслить». Возможно, вопреки общему мнению, автор не считает задачи распознавания образов задачами ИИ? Дело не в названии, а в том, что это принципиально иные задачи. Упрощенно говоря, в исправной вычислительной среде дважды два всегда будет четыре, но та же среда не всегда правильно распознает цифру «2» с бумаги или с монитора. Пока человек распознает образы гораздо лучше компьютера, но и он ошибается. Так, не все и не всегда сразу могут понять каждое слово, что поет какой-нибудь вокально-инструментальный ансамбль на казалось бы знакомом языке. И в зрительной области у человека бывают иллюзии и миражи:
– У меня вчера была галлюцинация: я так перепугалась, что плохо спала всю ночь, – сказала мне больная. – Вхожу вечером в комнату и вижу: в лучах луны стоит какой-то человек. Я удивилась – кто бы это был? Подхожу ближе, а это мой халатик висит на стене, а вверху шляпа. Вот тогда я перепугалась еще больше: раз у меня галлюцинация, значит, я тяжело больна.
А пугаться-то было нечего. Это была не галлюцинация, а иллюзия, то есть неправильное, искаженное отражение реального предмета. Халат и шляпа показались человеком.
(Константин Платонов, Занимательная психология, «РИМИС», 2011.)
Другой широко известный пример затруднительного распознавания — это капчи, на которые натыкаешься в Интернете на каждом шагу. Бывают такие каракули, что приходится несколько раз нажать на кнопку смены капчи, прежде чем удается «доказать, что
Так получилось, что до прочтения книги Минделла мне захотелось перечитать «Навигатора Пиркса» Станислава Лема. Можно сказать, что это хроника катастроф, к которым герой имел какое-то отношение на протяжении своей карьеры, и почти в каждой из этих катастроф участвует ИИ. В результате возникают похожие вопросы, что и в книге Минделла. Можно только поражаться, что Лем угадал проблемы, которые будут актуальны при современном развитии роботизации. К сожалению, Минделл не упоминает Лема, а могли бы быть интересные параллели. Если относится к выдуманным Лемом ситуациям как к моделям, то многие из них подтверждают утверждения Минделла.
Конечно же, Лем предвидел не всё. Так, он не предвидел взлома, не предвидел вирусов и «троянских коней» (хотя и моделирует случаи неадекватного проведения роботов, но не в результате предумышленного взлома ОС). Однако странно, что в наше время постоянных катастроф, связанных со взломами, о них ничего не говорит Минделл. На мой взгляд, в этом плане он чем-то напоминает Азимова, у которого три закона робототехники обеспечивают гармоничное сосуществование людей и машин. При этом не автономность, то есть подконтрольность оператору-человеку, может не спасти — Минделл неоднократно отмечает, что грань между автономными и неавтономными устройствами постепенно стирается и одно и тоже устройство может работать как в автономном, так и в не автономном режиме, подобно бортовому компьютеру упомянутого выше спускаемого на Луну отсека «Аполлон». При этом выглядит очевидным, что робот, в которого внедрен «троян», превратится в шпиона, а робот, зараженный вирусом, может совершать крайне неадекватные и опасные действия. Почему в книге об этом не сказано? Может потому, что такая слишком реальная угроза опровергает слишком оптимистичный заголовок книги про отмену восстания машин?
