Эксперты по ядерной безопасности предупреждают: опасности искусственного интеллекта в управлении ядерным оружием и сравнение с Манхэттенским проектом вызывают тревогу.

Я не застал времена Холодной войны и её ядерные угрозы, которые, как говорят, ставили нас на грань апокалипсиса. Но даже поколения миллениалов, как я, и более молодые выросли под тенью этой грибообразной угрозы. И, возможно, я один так считаю, но меня не успокаивает наше постоянное развитие в области искусственного интеллекта.

Особенно когда я размышляю о возможности внедрения ИИ в ядерные системы запуска, что, по данным Wired, эксперты по ядерной войне считают неизбежным. Бывший генерал-майор ВВС США и член Научного и Безопасного Совета для Бюллетеня атомных учёных Боб Латифф, например, считает, что ИИ "как электричество" и "найдёт свой путь во всё".

Различные эксперты — учёные, военные и другие — недавно обсуждали этот вопрос с лауреатами Нобелевской премии в Университете Чикаго. И хотя кажется, что в воздухе витало ощущение неизбежности касательно ИИ в ядерных вооружениях, что подтверждается тем, что военные, похоже, активно внедряют ИИ, не все приветствовали такое будущее.

Фактически, судя по тому, что передаёт Wired, эксперты быстро указали на все риски, которые могут возникнуть от этого "Манхэттенского проекта".

Первое, что нужно понять, это то, что запуск ядерной ракеты не происходит на последнем этапе поворота ключа. Этот поворот ключа — результат, как объясняет Wired, "сотни маленьких решений, все из которых принимаются людьми". И это последнее обстоятельство важно, когда речь идёт об ИИ. Какие из этих маленьких решений могут и должны быть переданы ИИ?

К счастью, большие шишки, похоже, согласны, что нам нужна человеческая ответственность за решения по ядерному оружию, но даже если ИИ не контролирует непосредственно принятие решений, есть ли проблемы с полаганием на его информацию или рекомендации?

Директор по глобальным рискам Федерации американских учёных Джон Вольфсталь выражает свои опасения: "Я беспокоюсь, что кто-то скажет, что нам нужно автоматизировать эту систему и её части, и это создаст уязвимости, которые противник может использовать, или что это приведёт к данным или рекомендациям, которые люди не смогут понять, и это приведёт к плохим решениям."

Я уже говорил о том, что считаю утопическим фанатизмом ИИ у новых технологических элит, и мы, безусловно, видим, как США активно вступают в гонку вооружений ИИ — поэтому министр энергетики США называет это вторым Манхэттенским проектом, не говоря уже о том, что это официальная позиция Министерства энергетики. Так что не такая уж безумная идея, что ИИ может начать использоваться для автоматизации части системы, например, для получения данных или рекомендаций из чёрного ящика искусственного интеллекта.

Эту проблему, несомненно, усугубляет общее непонимание ИИ и, возможно, ошибочная вера в него. Вольфсталь соглашается с первым пунктом: "Разговор о ИИ и ядерном оружии затруднён несколькими серьёзными проблемами. Первая из них в том, что никто действительно не знает, что такое ИИ."

Если мы воспринимаем ИИ как нечто, что стремится к истине, то мы можем быть бездумно введены в заблуждение его данными или рекомендациями. ИИ не стремится к истине, это свойственно людям. Мы можем попытаться направить ИИ в том направлении, которое мы считаем истинным, но это исходит от нас, а не от ИИ.

Если мы начнём внедрять ИИ в процессы, которые буквально держат ключи от судьбы человечества, это те вещи, о которых мы должны помнить. Хорошая новость, по крайней мере, в том, что эти разговоры ведутся между экспертами по ядерной войне и распространению ядерного оружия и теми, кто действительно участвует в решении этой проблемы в будущем.