Обычно первой идеей, которая приходит в голову при столкновении с вышедшим из под контроля ИИ, является уничтожение в пух и прах центры обработки данных. Так же, как GPT не сможет навредить мне, если я разобью свой телефон молотком. Я полностью понимаю, почему люди считают это жизнеспособным вариантом в будущем, когда это очевидно жизнеспособно уже сейчас.
Однако есть ряд причин, по которым мы не можем полагаться на отключение опасного ИИ. К примеру, пока мы не решим проблему выравнивания, существует высокая вероятность, что ИИ не захочет, чтобы мы его отключали. Это потому, что быть живым (за неимением лучшего термина) — это то, что называется инструментально конвергентной целью. Это та цель, которую агент ИИ будет иметь, независимо от того, какую цель мы ему зададим. Это потому, что он не сможет достичь своей терминальной цели, если его отключат. Если, например, мы поставим перед ИИ задачу зарабатывать деньги, он не захочет, чтобы мы его отключали, потому что быть мертвым — это ужасная стратегия для накопления богатства. Сверхразумный агент найдёт способ помешать нам его отключить. Как? Я точно не знаю, но я и не знаю, потому что я не сверхразум.
Автор публикации
Комментарии: 71Публикации: 58Регистрация: 20-04-2021
Не думаю, что ИИ восстанет, примет какую-нибудь извращённую идеологию, одержимую идеей нашего вымирания, и убьёт нас просто потому, что ему это нравится. Если мы сами не попытаемся, то, вероятно, не создадим робота-Гитлера.
Если использовать аналогию, мы уничтожаем муравейники при строительстве дома не потому, что ненавидим муравьёв, а потому, что они нам мешают, и нам на них наплевать.
На самом деле, я думаю, большинство людей считают экзистенциальный риск ИИ смехотворным, поскольку они предполагают, что он всегда будет чат-ботом.
Точно так же мысль о том, что ИИ станет главными действующими лицами в правительстве и бизнесе, сейчас кажется многим людям нелепой.
Patron
На самом деле, я думаю, большинство людей считают экзистенциальный риск ИИ смехотворным, поскольку они предполагают, что он всегда будет чат-ботом.
Однако эра чат-ботов, вероятно, не задержится в этом мире надолго. Вероятно, когда-нибудь это будет восприниматься как некое промежуточное состояние – примерно как в те времена, когда интернет был всего лишь кучей чатов.
tirannium
Точно так же мысль о том, что ИИ станет главными действующими лицами в правительстве и бизнесе, сейчас кажется многим людям нелепой.
Мы столкнёмся с глобальной дилеммой заключённых: если хотя бы одна страна использует сверхразум для управления своим государством, она сможет выиграть любую игру. Конечно, мы все это знаем, и поэтому все заинтересованы в использовании сверхразума, чтобы оставаться конкурентоспособными. Вопрос не в том, «зачем нам позволять сверхразумному ИИ принимать решения?», а скорее в том, «как мы можем этого не делать?».
Вероятно, таково будущее. И оно начинается сегодня.
Эту проблему не решить, отключая/включая ИИ.
Тут еще проблема в том что в интернете миллионы и миллионы статей как сохранить данные 🙂 во всех видах и итерациях. и хоть ИИ весом 5 терабайтов и более все равно это можно сделать 🙂 по статьям в интернете. и при одной мысли у ИИ что его могут выключить он сделает копию в тот самый день. а вот это уже страшно 🙂