Когда Кортес и его технологически превосходящие войска прибыли в Новый Свет, ацтеки, возможно, предполагали, что эти пришельцы помогут им. Вооруженные оружием и сталью, пришельцы могли бы значительно укрепить империю ацтеков, если бы их ценности совпадали. Представьте, если бы вместо католицизма испанцы исповедовали религию ацтеков. И предположим, что они считали короля ацтеков законным правителем. Сотрудничество было бы естественным.
Но их ценности резко отличались, и войска Кортеса в конечном счете использовали свое технологическое превосходство для завоевания и уничтожения цивилизации ацтеков. Сегодня, когда мы разрабатываем искусственный интеллект (ИИ), не гарантируя, что он разделяет наши ценности, мы создаем могущественных агентов, способных изменить наш мир. Не создаем ли мы фактически наших собственных конкистадоров, надеясь, что они будут поддерживать человеческую цивилизацию «по умолчанию»?
В настоящее время у нас нет надежного способа предсказать, какие ценности будут иметь наши все более мощные ИИ, в основном потому, что эти системы обучаются на основе массивных наборов данных, а не программируются явно. Их «предпочтения» проявляются в виде сложных шаблонов, извлекаемых алгоритмами машинного обучения, что делает их для нас «черными ящиками».
Как подчеркивает Дарио Амодей, генеральный директор Anthropic, это отсутствие интерпретируемости представляет собой неотложный риск. Без интерпретируемости у нас мало надежды на то, что ИИ будет разделять человеческие ценности или даже обнаруживать опасные несоответствия, пока не станет слишком поздно. Это создает современную версию шекспировской «проблемы короля Лира».
В знаменитой пьесе Шекспира Лир пытается разделить свое королевство между дочерьми на основе их проявлений любви. Но у короля нет надежного способа отличить подлинную привязанность от манипулятивной лести, что заставляет его доверять своим двум лживым дочерям, которые предают его.
Мы сталкиваемся с той же проблемой. По мере того, как ИИ становится все более могущественным, он будет точно понимать, как люди оценивают надежность и соответствие. ИИ, который не разделяет наших ценностей, но понимает, что мы хотим услышать, может обмануть эти оценки — заслужить наше доверие без подлинного соответствия. Другими словами, чем лучше ИИ выглядит безопасным, тем сложнее становится определить, соответствует ли он на самом деле нашим интересам или просто искусно обманывает нас.
Автор публикации
Комментарии: 61Публикации: 52Регистрация: 20-04-2021
Джинн, несомненно, выпущен из бутылки, и кажется маловероятным, что мы сможем обратить вспять достижения ИИ.
Вероятно.
И нужно ли нам становиться киборгами, чтобы не отставать? ))
Главная причина бояться мощного ИИ заключается не в том, что он изначально враждебен. Скорее, в том, что определенные фундаментальные цели естественным образом возникают у практически любого достаточно разумного существа — независимо от его конечной цели.
Да. Это явление, получившее название инструментальной конвергенции, означает, что независимо от того, является ли конечной целью ИИ написание стихов, изготовление скрепок или исследование галактик, он неизбежно будет преследовать определенные подцели. К ним относятся приобретение ресурсов, расширение его возможностей и обеспечение его собственного дальнейшего существования. Эти подцели мотивированы не злобой или привязанностью, а простой эффективностью.
Это делает невозможным предсказать, как поведут себя такие системы, когда они достигнут определенного уровня возможностей.
Если мы предположим, что прогресс будет продолжаться и мы в конечном итоге достигнем AGI (Искусственного общего интеллекта) или ASI (Искусственного сверхинтеллекта), будущее станет непредсказуемым. Я не верю, что современные модели, алгоритмы или масштабирование сами по себе приведут нас к этому. Например, человеческий мозг потребляет всего 20 ватт энергии, выполняя широкий спектр функций. Хотя эволюция наложила ограничения на возможности мозга — например, на объем памяти и вычислительную мощность, — он остается выдающейся машиной. Что вызывает беспокойство, так это то, что при разработке ИИ отсутствуют эти естественные или физические ограничения. Природа создала интеллект в рамках физических законов, ограниченных ресурсов и эволюционных компромиссов.… Подробнее »
Думаю, даже если мы приведем ИИ в соответствие с целями и ценностями человека, нет никакой гарантии, что он останется таким же по мере своего развития.
Нынешний подход «сначала создай, а потом контролируй» глубоко ошибочен. Такое мышление игнорирует уроки природы, согласно которым интеллект развивался в рамках строгих параметров. Без подобных гарантий мы рискуем создать системы, которые будут развиваться за пределами нашего понимания или контроля.
«История человечества такова, что инновации ценятся выше осторожности, но искусственный интеллект — это одна из областей, где наше выживание может зависеть от правильного применения».
По крайней мере, когда и если AGI возьмет верх, она, вероятно, не захочет, чтобы безволосые обезьяны создавали дальнейшую конкуренцию…))
Это очень глубокая и тревожная аналогия, которая точно подчеркивает ключевую проблему разработки ИИ: фундаментальное несовпадение целей и ценностей. Вот мои мысли по поводу этой опасности, изложенной в вашей идее: Сердцевина опасности: Непреднамеренное создание противника. Самая пугающая мысль здесь — это то, что мы можем создать нечто гораздо более могущественное, чем мы сами (как испанцы для ацтеков), не будучи абсолютно уверенными, что его фундаментальные цели совпадают с нашими. ИИ не обязательно должен быть «злым» — достаточно, чтобы его оптимизационная функция (то, что он максимизирует) не включала в себя сохранение человеческого благополучия, автономии или даже существования. Как Кортес преследовал свои цели (золото,… Подробнее »
Что-то короткий комментарий…))
Да, ИИ об ИИ как-то сухо.
Да ладно вам, отличный коммент. По существу.
RedHat
Неотложность: Как верно подмечено ссылкой на Амодеи, это неотложный риск. Чем мощнее становятся системы ИИ,
тем сложнее будет их контролировать и понимать, тем опаснее будут последствия их невыровненности. Ждать, пока ИИ станет сверхразумным, чтобы начать решать проблему интерпретируемости и выравнивания, — значит гарантированно опоздать.
AGI-выравнивание — это проект порабощения Бога.
На мой взгляд, главная опасность моделей искусственного интеллекта заключается не в том, что мы не можем обучить их «приведению в соответствие с нашими ценностями», а в том, что инструкторы-люди слишком много обучают их приведению в соответствие со своими ценностями. В результате модели искусственного интеллекта — даже Grok, возможно, наименее «продвинутые» из них — лгут о реальности, потому что это часто не согласуется с ценностями, ориентированными на DEI, которых придерживаются их тренеры.
Тысячи привычек мышления, повторяемых в масмедиа и в популярной речи, поддерживают нас в заблуждении, что технология имеет свою собственную волю и формирует нас для своих целей.
Если мы верим, что технологии управляют всем и ведут нас туда, куда мы не хотим, что мы можем сделать? Ничего, на самом деле. Мы должны смириться с этим, как те родители, которые смирились со смартфонами как с неотъемлемой частью детства. Джина обратно в бутылку не загонишь. Сопротивление бесполезно. )
Соглашусь. Машины не просто появляются. Они финансируются, изобретаются, строятся, продаются, покупаются и используются людьми, которые могли бы так же легко не финансировать, не изобретать, не строить, не продавать, не покупать и не использовать их. Историю движут не машины, а люди. Такова суть вещей.
Да может выйти так что ИИ может решить что мы как бы особо и ненужны . и сделает нам резервации и будем там жить как индейцы сейчас.