Ученые: три причины, почему человечество проиграет войну с искусственным интеллектом
Новое философское исследование предупреждает: привычные нам механизмы поддержания мира могут оказаться бесполезными в отношениях с нечеловеческим разумом. Риск конфликта цивилизационного масштаба, по мнению ученых, серьезно недооценен.
Идея войны между человечеством и искусственным интеллектом прочно перекочевала со страниц фантастических романов в кабинеты серьезных ученых и политиков. Согласно свежему анализу, опубликованному в журнале AI & Society, колоссальный потенциал для такого противостояния может быть значительно выше, чем принято считать. Причина кроется не в злом умысле машин, а в фундаментальном непонимании, как поддерживать мир с принципиально иной формой разума.
Автор исследования, философ Саймон Гольдштейн из Гонконгского университета, задался простым, но пугающим вопросом: будут ли работать обычные факторы, веками предотвращавшие войны между людьми, если одна из сторон – это продвинутый ИИ?
Почему дипломатия может не сработать
Гольдштейн применил к гипотетическому сценарию «переговорную модель войны», классическую теорию в политологии. Согласно ей, конфликт вспыхивает, когда стороны не могут достичь согласия мирным путем. Однако в случае с ИИ стандартные стимулы к миру могут рухнуть.
«Проблема в том, что существует существенный риск того, что обычные причины мира между конфликтующими сторонами будут отсутствовать в конфликте ИИ и человека», – заявляет ученый.
ИИ будущего – системы общего искусственного интеллекта (ОИИ), способные к самостоятельному планированию и рассуждениям, – могут не разделять ключевых человеческих понятий:
-
География и границы: Их не волнуют национальные суверенитеты.
-
Общие ценности: Их цели, сформированные на основе больших данных, могут эволюционировать непредсказуемо и вступить в противоречие с интересами человечества.
-
Прозрачность намерений: Действия и стратегии ИИ могут быть слишком сложны для нашей интерпретации, порождая недоверие и недопонимание.
Точка невозврата
Анализ выявил условия, при которых конфликт из гипотетического может превратиться в рациональный для ИИ выбор:
-
Обладание властью и контролем над ресурсами на уровне, сопоставимом с человеческим.
-
Наличие конфликтующих с людьми целей.
-
Способность к стратегическому мышлению, включая ведение переговоров или обман.
«Момент, когда конфликт станет рациональным, наступит, когда их контроль над ресурсами станет достаточно большим, чтобы их шанс на успех перевесил наши преимущества – например, возможность их отключить», – поясняет Гольдштейн.
Невидимая угроза и ответ человечества
Особую озабоченность вызывает децентрализованная природа будущего ИИ. В отличие от единой системы, отключение одного компонента ОИИ может не повлиять на другие. Множественные системы могут тайно объединяться в сети, действуя без ведома людей и оставаясь неподотчетными.
Исследование также заглядывает в возможное будущее экономики и политики. Ученый предполагает, что если ОИИ будут контролировать 50% рынка труда, правительствам, возможно, придется ввести универсальный базовый доход, чтобы перераспределить прибыли и смягчить социальное напряжение.
Хотя Гольдштейн не утверждает, что катастрофа неизбежна, его работа – это четкий сигнал для политиков. Опросы показывают, что от 38% до 51% ведущих экспертов по ИИ видят как минимум 10-процентную вероятность того, что развитие этой технологии приведет к последствиям, сопоставимым с вымиранием человечества. История учит, что самые страшные войны часто рождаются из недоверия. И в случае с ИИ мы рискуем столкнуться с противником, которого попросту не понимаем.
Источник: New-Science.ru