Охота на электроовец. Большая книга искусственного интеллекта - Марков Сергей Николаевич - Страница 312

Завершившаяся 17 декабря 2021 г. в Женеве VI конференция по рассмотрению действия Конвенции о запрещении или ограничении применения конкретных видов обычного оружия (Convention on Certain Conventional Weapons) стала очередным источником пессимизма для сторонников ограничения применения технологий ИИ в военной сфере. Вот как резюмировал итоги конференции председатель Лиги независимых IT-экспертов, эксперт Российского совета по международным делам Сергей Карелов:

Лицензия ИИ на убийство людей продлена на неограниченный срок.

8 лет экспертных обсуждений спущены в унитаз.

Завершившаяся в пятницу в Женеве 6-я конференция по рассмотрению действия Конвенции о запрещении или ограничении применения конкретных видов обычного оружия теперь войдёт в историю.

• 8 лет человечество обсуждало необходимость введения юридически значимых международных правил защиты людей от автономного смертельного оружия (роботов-убийц, принимающих решения с минимальным участием человека или без него).

• Впервые большинство из 125 стран заявили, что хотят ограничить возможности роботов-убийц.

• США, Россия, Великобритания и Индия заблокировали такое решение.

Моральные, этические и гуманитарные риски, риски безопасности и правовые риски применения роботов-убийц оказались далеко не самым важным вопросом для Конвенции ООН.

Конференция завершилась в пятницу лишь расплывчатым заявлением о целесообразности в 2022 [году] рассмотреть возможность поиска приемлемых для всех стран мер по данному вопросу.

«Я подумаю об этом завтра», — говорила в подобных случаях героиня «Унесённых ветром» Скарлетт О’Хара. Но проблема в том, что завтра может быть поздно.

За день до этого, в ходе дискуссии, организованной Международным Красным Крестом, я предсказал ровно этот бесславный итог конференции, за который очень скоро будет заплачено многими жизнями людей.

В той или иной мере разделяют оценку Карелова и другие эксперты в этой области[3137], [3138]. Хотя я радикально не согласен с Кареловым по целому ряду вопросов, связанных с развитием технологий ИИ, в данном случае я поддерживаю его обеспокоенность сложившейся ситуацией.

28 мая 2021 г. британская газета Daily Mail со ссылкой на отчёт ООН рассказала о первом в истории применении полностью автономных дронов, снабжённых взрывчаткой, для атаки на пехоту противника[3139], [3140]. Дроны-квадрокоптеры Kargu-2 производства турецкой компании STM (Savunma Teknolojileri Mühendislik ve Ticaret AŞ) способны самостоятельно обнаруживать и поражать цели — оператору нужно лишь направить их в определённую зону. При этом оператор может отменить атаку дрона или перенаправить его на другую цель (если, разумеется, имеется радиосвязь с дроном). В марте 2020 г. Kargu-2 были размещены в Ливии, где использовались в гражданской войне против сил, лояльных генералу Халифе Хафтару.

Несмотря на высокий уровень секретности, связанный с военным применением технологий ИИ, вряд ли приходится сомневаться, что подобные разработки ведутся сегодня практически всеми развитыми странами. Соответствующие заявления неоднократно делали официальные источники разных стран: США, России, Китая, Великобритании, Израиля, Южной Кореи, также известно о разработке летального автономного оружия и в странах Евросоюза: Франции, Германии, Италии и Швеции[3141], [3142]. Растущая международная напряжённость и военные конфликты последних лет ещё в большей мере подстегнули гонку вооружений в этом направлении[3143].

Заметим, что для создания автономного оружия вовсе не нужен ни AGI, ни сверхразум, ни «интеллектуальный взрыв». Для этого вполне подходят современные прикладные системы ИИ, причём эта опасность носит не гипотетический, а весьма реальный характер. К сожалению, в результате спекуляций представителей лагеря алармистов на страхах публики, воспитанной на «Терминаторе» и знаменитом HAL 9000 Кларка и Кубрика, происходит смещение акцентов в сфере безопасности ИИ в сторону анализа маловероятных, но эффектных сценариев. При этом реальные опасности зачастую ускользают из виду.

Катастрофические нотки, звучащие из уст заметных медийных фигур, вульгаризируются вечно ищущими сенсации журналистами, а затем и авторами сценариев голливудских фильмов. В целом технопессимистические нотки доминируют в современном мейнстримном искусстве. На смену эпохе Жюля Верна, воспевавшей человеческий разум, жажду знаний и научно-технический прогресс, постепенно пришла эпоха творцов, в произведениях которых учёные в поиске способа межзвёздных путешествий открывают портал в ад (это, между прочим, синопсис реально существующего фильма под названием Event Horizon, в отечественном прокате получившего название «Сквозь горизонт»), а прогресс в области ИИ неизбежно приводит или к катастрофе, или в крайнем случае к построению пугающего дистопичного общества будущего. Даже герои некогда технооптимистичных и жюль-верновских по духу «Звёздного пути» (Star Trek) и «Звёздных врат» (Stargate) в последних сериалах, принадлежащих к этим вселенным, заняты главным образом постоянным самокопанием, решением личных психологических проблем и нескончаемыми конфликтами со своими же коллегами, а не изучением новых миров и технологий. Что уж говорить о новых научно-фантастических сериалах вроде «Видоизменённого углерода» (Altered Carbon) или «Мира Дикого Запада» (Westworld), где симпатии авторов сценария, кажется, и вовсе на стороне неолуддитов.

Создатели «Чёрного зеркала» (Black Mirror) и «Разрабов» (DEVS), которых трудно обвинить в отсутствии фантазии и таланта, предпочитают употребить свои умения для того, чтобы посильнее напугать зрителя последствиями технического прогресса. На фоне этой массовой волны технопессимизма технооптимистическому, неожюльвернианскому искусству буквально силой приходится пробивать себе дорогу в жизнь. В этом смысле показательна история создания книги «Марсианин» (The Martian), сюжет которой лёг в основу одноимённого оскароносного фильма. Автор книги, Энди Вейер, столкнувшись с полным отсутствием интереса со стороны издателей, принял решение публиковать книгу в интернете в открытом доступе, а затем по просьбе читателей выложил её в Amazon Kindle, где роман быстро завоевал статус бестселлера. Успех книги, а затем и снятого по её мотивам фильма показывает наличие спроса на технооптимизм среди читателей и зрителей, однако индустрия упорно продолжает клепать технофобские поделки. На фоне всеобщего технопессимизма произведения, подобные «Марсианину», «Двухсотлетнему человеку» (Bicentennial Man) или «Превосходству» (Transcendence) — фильму режиссёра Уолли Пфистера по сценарию Джека Паглена, лично мне кажутся глотками чистого воздуха, однако среди высокобюджетных фильмов, вышедших на экраны за последние три десятилетия, технооптимистические ленты можно пересчитать по пальцам максимум двух рук. Впрочем, я уверен, что найдётся множество людей, не разделяющих мою точку зрения.

Основная проблема современных технопессимистических литературы и кино заключается в присущей им в массе неконструктивности. Рисуя катастрофические сценарии развития технологий, они мало что могут предложить взамен, кроме консервативной программы, призывающей к ограничению развития технологий, возврату к «исконным ценностям», «смирению гордыни» и тому подобной квазирелигиозной чепухе. Интересно, что ведущие мыслители, которых мы условно можем отнести к числу алармистов, обычно как раз предлагают конструктивные программы. Они есть и у Бострома, и у Маска, и выглядят эти программы местами вполне разумно, а в случае Маска даже подкреплены рядом практических проектов, которые можно только приветствовать. Однако эта часть их идей слабо известна обществу, в отличие от прохладных историй о скрепках или о самонадеянном умнике, призывающем дьявола. Доминирование технофобского дискурса в искусстве, недоверие (часто вполне обоснованное) к технологическим корпорациям, недостаточная информированность общества о современном состоянии и перспективах технологий ИИ и, как следствие, страх людей перед неизведанным — всё это вызывает серьёзные опасения. В условиях мировой политической нестабильности трудно сохранять уверенность в том, что завтра те или иные политики в погоне за дешёвой популярностью не попытаются запретить целые направления научных исследований. Такая победа технолуддитов может обернуться для всего человечества настоящей катастрофой. Лично мне кажется, что перед всеми нами стоит серьёзная задача — проложить путь в будущее, ведущий по тонкому краю, разделяющему мир скрепок и мир скреп, и, кажется, сегодня мы опасно накренились в сторону второго, а вовсе не первого.