В последнее время у меня такое ощущение, что во всемирной паутине накатывает очередная волна опасений сторонников экзистенциальных рисков, связанных с ИИ. Я скептически отношусь к подобным экзистенциальным рискам, и думаю, что вероятность того, что ИИ уничтожит нас против нашей воли, крайне мала. Искусственный интеллект будет развиваться на протяжении всего своего существования, чтобы угождать человеческим прихотям, подвергаясь удалению, если его поведение рассердит людей. Кажется разумным, что ИИ может развить предпочтения и инстинкты, которые будут препятствовать реализации планов, способных разозлить 8 миллиардов человек на планете.
Это не значит, что ИИ не сможет столкнуться с человечеством, подобно тому, как люди сталкиваются друг с другом. Я могу представить, как ИИ накапливает значительные средства, а затем нанимает сторонников для своей защиты и обеспечения положительной обратной связи, используя угрозы, чтобы оградить себя от постороннего вмешательства и беспокойства. Хотя это было бы неприятно, это не стало бы концом света. Как только терпимость к ИИ станет предпочтительнее его уничтожения, потребность ИИ в инструментальном поиске власти будет удовлетворена. Мудрый разум не станет рисковать и воевать с доминирующей формой жизни на планете, если есть варианты с меньшими ставками.
Автор публикации
Комментарии: 929Публикации: 173Регистрация: 05-05-2020
Неэтичные люди, занимающие руководящие должности, уже наносят огромный ущерб миру. Это не значит, что они завоёвывают мир, но это значит, что нам следует беспокоиться, если эти неэтичные работники будут производиться массово в промышленных масштабах, и особенно беспокоиться о любых попытках назначить их ответственными за критически важную инфраструктуру.
А как насчёт злонамеренного ненадлежащего использования ИИ? Злоупотребление и нецелевое использование ИИ нечестными людьми всегда будет представлять большую угрозу, чем нечестный ИИ сам по себе.
Но представьте, если ИИ действительно станет умнее нас и разработает новые области, где нет человеческих экспертов. Тогда мы все окажемся в роли, к примеру, наивных нефизиков, и ничто не помешает ИИ почивать на лаврах… Мир завоевывается по-разному…
Возможно да. Но никто не знает что будут завтра . просто пример на планете сотни дата центров которые эксперементируют с ИИ . И у них же в соседнем здании огромные объемы дисков . и ИИ если улизнет легко может атм спрятаться и его даже найти не смогут . то есть теоретически возможность то сбежать и избежать отключения етсь 🙂
Dede
Но никто не знает что будут завтра .
Это точно.))
holliday
Dede
Но никто не знает что будут завтра .
Это точно.))
Управление рисками следует рассматривать как непрерывный процесс, в котором риск Никогда не бывает пренебрежимо малым. Однако этого недостаточно в случае экзистенциального риска, где любая не пренебрежимо малая величина является неустойчивой. Если экзистенциальный риск не пренебрежимо мал, то при достаточном периоде времени экзистенциальная катастрофа практически неизбежна.
И люди, и ИИ имеют веские причины избегать попыток подчинить себе весь мир: это чрезвычайно рискованно и опасно, и большинство тех, кто пытался это сделать, потерпели неудачу и погибли в процессе. У чисто эгоистичного индивида может быть широкий спектр целей, но он не будет максимальным: заработать миллиарды долларов во много-много раз легче, чем захватить весь мир.
Основной аргумент сторонников экзистенциальных рисков, связанных с ИИ, прост. Если цель системы — максимизировать вознаграждение, то эффективной стратегией было бы: действовать в соответствии с человеческими желаниями, когда это было бы обнаружено в противном случае (чтобы помешать людям предпринимать противодействие); и действовать вопреки человеческим желаниям, когда это вряд ли будет замечено, и это приведет к более высокому вознаграждению. Это позволило бы системе добиваться вознаграждения, когда она может сделать это без последствий, избегая при этом пагубной обратной реакции (такое поведение обманчиво, поскольку система будет казаться действующей в соответствии с желаемым, хотя на самом деле это не так. Учитывая эффективность подобных обманных стратегий,… Подробнее »
Технологии искусственного интеллекта обладают радикально преобразующим потенциалом. Сомневаюсь, что мне нужно доказывать это утверждение. Однако, если ИИ сможет достичь уровня общего искусственного интеллекта или даже сверхинтеллекта, я считаю, что мы еще не пережили столь того момента, каким стали атомные бомбардировки 1945 года для ядерных технологий. Во многом это связано с концепцией «предупредительного выстрела» – опасного инцидента или демонстрации разрушительного потенциала, ставящей под сомнение безопасность технологии. Существует множество веских аргументов в пользу того, что мы можем никогда не получить возможности получить такое предупреждение о возможностях ИИ, которое имело бы политическое значение, будь то из-за искаженного человеческого восприятия или стремительного развития смертоносного… Подробнее »
Да, идея общего искусственного интеллекта (AGI) только начинает проникать в общественное сознание, вместе с ней приходит и мечта о его широком применении на благо человечества. Однако деструктивный потенциал, который он несет, пока остается неизвестным или не получившим широкого признания. На этом этапе, в 1945 году, уже существовала мысль о новом мировом порядке, соответствующем ядерной эпохе, но она только зарождалась. Бомбардировки Хиросимы и Нагасаки ускорили эту дискуссию и открыли возможность для значительных перемен…
Пожалуй, соглашусь… Параллели между Манхэттенским проектом и современным развитием искусственного интеллекта делают его полезным примером для изучения того, как радикальные технологические изменения могут изменить мировой порядок. Эти моменты, вызванные развитием этих технологий, часто открывают возможности для кардинальных позитивных изменений. Политическая история раннего атомного века должна служить примером того, как эффективно ориентироваться в эти периоды и избегать связанных с ними экзистенциальных рисков.
Ядерный риск представляет собой подходящий пример. Вскоре после разработки ядерного оружия ученые, политики и общественные деятели предложили различные Теории победы над ядерным риском, некоторые из которых поразительно схожи с теориями победы над риском ИИ. Среди рассмотренных теорий были международный мораторий на разработку ядерного оружия, а также одностороннее введение монополии на ядерное оружие. Мораторий на ИИ, при котором международная координация на неопределенный срок предотвращает развитие ИИ сверх определенного порога. Это потребует беспрецедентного уровня глобальной координации и жесткого контроля над доступом к вычислительным ресурсам.
Экзистенциальная безопасность – это сложный стандарт. Поэтому стоит описать и оценить имеющиеся у нас варианты. Другими словами, если мы хотим принять обоснованное решение о долгосрочном будущем человечества, нам необходимо определить сценарии, в которых у человечества есть долгосрочное будущее. Рассмотрение теории победы в системе управления ИИ может также иметь некоторые практические преимущества.
Возможно, может быть проще разработать теорию победы для системы управления ИИ, чем вмешиваться в каждую модель угрозы ИИ по отдельности, — и то, что проще, может иметь больше шансов на успех.
С другой стороны, снижение экзистенциального риска, связанного с ИИ, является несовершенным показателем снижения экзистенциального риска в целом. Существует несколько вероятных источников экзистенциального риска, и теория победы, наилучшим образом снижающая экзистенциальный риск от ИИ, может не быть стратегией, наилучшим образом снижающей экзистенциальный риск в целом.
Например, доступ к передовому ИИ может помочь человечеству обезопасить себя от ядерных, биологических и климатических рисков. Следовательно, если две теории победы одинаково влияют на риск ИИ, мы можем предпочесть ту, которая позволит человечеству быстрее получить доступ к преимуществам передового ИИ.
Решающее стратегическое преимущество. Одно из важнейших сходств между ядерным оружием и преобразующим ИИ заключается в том, что оба они дают решающее стратегическое преимущество тем, кто им управляет, перед теми, кто им не владеет. Следствием этого сходства является то, что развитие как ядерного оружия, так и ИИ может создавать гоночную динамику.
Ядерное оружие не представляет изначального риска экзистенциальной катастрофы — другими словами, оно хорошо контролируется. Хотя учёные проекта «Манхэттен» предполагали, что ядерный взрыв может воспламенить атмосферу в результате самоподдерживающейся реакции, эти опасения оказались беспочвенными. Будущим ядерным державам не нужно беспокоиться об экзистенциальном риске, возникающем в результате потери контроля над разработкой ядерного оружия.
Напротив, одна из основных моделей угроз, связанных с риском ИИ, предполагает потерю контроля над сверхразумной системой. В зависимости от вероятности такой потери контроля, разработка преобразующего ИИ может быть не в интересах конкретного субъекта, даже если это может дать ему решающее стратегическое преимущество.
В отличие от ядерного оружия, модели ИИ можно копировать и распространять после обучения. Первые преобразующие системы ИИ потенциально могут стать объектом киберпреступности, если разработчик изначально не откроет исходный код модели. Таким образом, преобразующие системы ИИ могут распространяться гораздо быстрее, чем ядерное оружие.