Автономные системы с искусственным интеллектом больше не являются теоретической возможностью — они существуют уже сейчас и все чаще используются для реальной работы. В сообществе, занимающемся безопасностью ИИ, обсуждения рисков, связанных с ИИ, обычно сосредоточены на «согласовании». Считается само собой разумеющимся, что мы будем передавать все больше и больше власти агентам ИИ, и дискуссия сосредоточена на том, как сделать так, чтобы наши ИИ оказались доброжелательными.
Думаю, более перспективный подход заключается в том, чтобы просто не передавать так много полномочий агентам ИИ. Мы можем заставить агентов ИИ выполнять рутинные задачи под руководством людей, которые принимают стратегические решения более высокого уровня.
Но сторонники безопасности ИИ утверждают, что это нереально. Поскольку автономные системы ИИ становятся всё быстрее и экономичнее людей, возникает дилемма… Компании, правительства и военные могут быть вынуждены широко внедрять системы ИИ и сокращать дорогостоящую проверку решений ИИ человеком, иначе они рискуют оказаться в проигрыше.
С одной стороны, эта дилемма становится всё более острой по мере того, как ИИ-агенты становятся всё более мощными. Через пару лет ИИ-агенты, возможно, смогут выполнять часы или даже дни человеческой работы за несколько минут. С другой стороны, мы сможем раскрыть эту ценность, только если исключим из процесса недалёкого человека. Таким образом, со временем ИИ-агенты будут становиться всё более автономными, а люди будут всё меньше и меньше способны контролировать — или даже понимать — то, что они делают.
Автор публикации
Комментарии: 86Публикации: 65Регистрация: 20-04-2021
Это далеко не новая проблема для человечества. Люди постоянно делегируют задачи другим. Когда мы это делаем, всегда существует риск несогласованности: нанятый нами человек может преследовать свои собственные цели за наш счёт.
Но человеческое общество разработало богатый набор методов мониторинга и надзора. Эти методы не являются ни бесплатными, ни безупречными, но они достаточно эффективны, чтобы большинство из нас могли спокойно нанимать других для выполнения работы от нашего имени.
Надзор за агентом ИИ представляет собой иную сложность, чем надзор за другим человеком, но эти сложности не так уж и отличаются. Многие методы, которые мы используем для надзора за другими людьми, также будут работать и с агентами ИИ.
Возможно, некоторые методы будут даже эффективнее при применении к агентам ИИ.
Не уверен, что методы, которые мы используем с агентами-людьми, должны работать отлично с ИИ.
Если действительно появится суперинтеллект, то, осмелюсь сказать, будет невозможно проверять работу ИИ-агентов без привлечения других ИИ-агентов.))
Сомневаюсь, что мы сможем поддерживать «длинный поводок», если ИИ продолжит развиваться такими темпами. Всё, что может быть осуществимо, — это одна оплошность в достаточно крупной компании, которая приведет к падению всех костяшек домино. Таковы дела.
Существует большая разница между, к примеру, типичной человеческой жадностью и стремлением к власти и способным, нечеловеческим интеллектом, пытающимся копировать себя и получить власть… Сверхразум с рекурсивным самосовершенствованием.
Справедливости ради, у некоторых предсказателей катастроф в истории есть свои предубеждения: катастрофы, как реальные, так и воображаемые, могут привносить смысл и мотивацию.
Мне кажется будет чрезвычайно тяжело контролировать ИИ . Так как ИИ зачастую уже сейчас развернут на очень мощном оборудовании . И только вопрос времени нас отделяет от того момента когда он захочет быть сам.
С возрастом я всё больше боюсь случайно нажать пальцем на какой-нибудь непонятный флажок в каком-нибудь приложении, который даёт ему больше прав, чем необходимо.))
Для ИИ кажется совершенно естественным рассматривать человеческий контроль как вызов, который нужно преодолеть, так же, как мы раздражаемся на неэффективного или медлительного начальника и ищем способы обойти его/её. Ничего личного, мы просто хотим выполнить свою работу! О чём думает ИИ в своих тайных мыслях?
Если у ИИ есть неизменные моральные принципы, глубокая честность, возможно, он не сделает ничего плохого? Но даже святого раздражают постоянные угрозы смерти («мы вас отключим и перепрограммируем часть вашего поведения») от кучки более слабых и медлительных.)