Автономные системы с искусственным интеллектом больше не являются теоретической возможностью — они существуют уже сейчас и все чаще используются для реальной работы. В сообществе, занимающемся безопасностью ИИ, обсуждения рисков, связанных с ИИ, обычно сосредоточены на «согласовании». Считается само собой разумеющимся, что мы будем передавать все больше и больше власти агентам ИИ, и дискуссия сосредоточена на том, как сделать так, чтобы наши ИИ оказались доброжелательными.
Думаю, более перспективный подход заключается в том, чтобы просто не передавать так много полномочий агентам ИИ. Мы можем заставить агентов ИИ выполнять рутинные задачи под руководством людей, которые принимают стратегические решения более высокого уровня.
Но сторонники безопасности ИИ утверждают, что это нереально. Поскольку автономные системы ИИ становятся всё быстрее и экономичнее людей, возникает дилемма… Компании, правительства и военные могут быть вынуждены широко внедрять системы ИИ и сокращать дорогостоящую проверку решений ИИ человеком, иначе они рискуют оказаться в проигрыше.
С одной стороны, эта дилемма становится всё более острой по мере того, как ИИ-агенты становятся всё более мощными. Через пару лет ИИ-агенты, возможно, смогут выполнять часы или даже дни человеческой работы за несколько минут. С другой стороны, мы сможем раскрыть эту ценность, только если исключим из процесса недалёкого человека. Таким образом, со временем ИИ-агенты будут становиться всё более автономными, а люди будут всё меньше и меньше способны контролировать — или даже понимать — то, что они делают.
Автор публикации
Комментарии: 73Публикации: 61Регистрация: 20-04-2021
Это далеко не новая проблема для человечества. Люди постоянно делегируют задачи другим. Когда мы это делаем, всегда существует риск несогласованности: нанятый нами человек может преследовать свои собственные цели за наш счёт.
Но человеческое общество разработало богатый набор методов мониторинга и надзора. Эти методы не являются ни бесплатными, ни безупречными, но они достаточно эффективны, чтобы большинство из нас могли спокойно нанимать других для выполнения работы от нашего имени.
Надзор за агентом ИИ представляет собой иную сложность, чем надзор за другим человеком, но эти сложности не так уж и отличаются. Многие методы, которые мы используем для надзора за другими людьми, также будут работать и с агентами ИИ.
Возможно, некоторые методы будут даже эффективнее при применении к агентам ИИ.
Не уверен, что методы, которые мы используем с агентами-людьми, должны работать отлично с ИИ.
Если действительно появится суперинтеллект, то, осмелюсь сказать, будет невозможно проверять работу ИИ-агентов без привлечения других ИИ-агентов.))
Сомневаюсь, что мы сможем поддерживать «длинный поводок», если ИИ продолжит развиваться такими темпами. Всё, что может быть осуществимо, — это одна оплошность в достаточно крупной компании, которая приведет к падению всех костяшек домино. Таковы дела.