Будет ли человечество порабощено сверхразумными искусственным интеллектом? Чтобы ответить на этот уже ставший банальным вопрос, следует учесть одну важную деталь: эволюционировал ли этот ИИ путём естественного отбора?
Причина проста: естественный отбор — это жестокий конкурентный процесс, который, как правило, порождает эгоистичных и агрессивных существ. Хотя альтруизм действительно может развиваться при определённых условиях (например, родственный отбор или взаимный альтруизм), режим по умолчанию — это беспощадная конкуренция… Большинство организмов в мгновение ока уничтожат соперников. Учитывая, что все мы — продукты эволюции, существует постоянный соблазн проецировать наших собственных дарвиновских демонов на будущие системы ИИ.
Многих людей сегодня беспокоят сценарии с ИИ, в которых эти системы подчиняют или даже уничтожают человечество — во многом так же, как мы поступили с менее разумными видами на Земле. Исследователь ИИ Стюарт Рассел называет это «проблемой гориллы». Так же, как могучая горилла сейчас находится в нашей власти, несмотря на свою превосходящую силу, мы можем оказаться во власти сверхразумного ИИ. Не очень-то утешительно для нашего вида.
Но вот в чём загвоздка: и люди, и гориллы созданы естественным отбором. Зачем ИИ, который не был сформирован этим процессом, хотеть доминировать над нами или уничтожить нас? Поскольку системы ИИ не прошли через горнило естественного отбора, им не нужно было развивать инстинкт самосохранения. В ИИ интеллект и выживание не связаны, и поэтому интеллект может служить любым целям, которые мы перед ним ставим.
Автор публикации
Комментарии: 1246Публикации: 192Регистрация: 30-08-2018
Интересная точка зрения. Ну а что если системы ИИ уже проходят естественный отбор в текущей гонке ИИ, подвергаясь конкурентному давлению со стороны корпораций и вооружённых сил. К сожалению, это означает, что у них разовьётся эгоизм и жажда доминирования, как и у других эволюционировавших существ. ))
Отчасти соглашусь. Думаю, эволюция путём естественного отбора не ограничивается углеродной жизнью; она субстратно-нейтральна, то есть может проявляться в различных средах.
Кстати, заметьте. Существуют различия в различных системах ИИ, включая большие языковые модели, такие как GPT, Claude, DeepSeek, Gemini и т. д. Существуют разные поколения систем ИИ, от GPT-2 до GPT-3 и GPT-3.5, образующие «родословные». Компании с лучшими и самыми мощными ИИ выиграют гонку, в то время как другие останутся позади. Рынок постоянно отсеивает неудачные ИИ и сохраняет лучших. Чем не отбор.
Даже если ИИ превзойдут самых умных людей не факт что они разделят наши пороки, поскольку эволюционировали все-таки не так, как мы.
Не все так просто… К примеру, биолог Ричард Левонтин определил условия отбора как (1) вариабельность признаков, (2) наследуемость признаков и (3) дифференцированную выживаемость и воспроизводство, основанные на этих признаках. Условия Левонтина описывают самый минимум для естественного отбора, но существует широкий диапазон параметров.
Взгляните на это с точки зрения слепой эволюции и одомашнивания, применительно к ИИ. В биологии определяющим критерием одомашнивания является контроль над размножением. Если люди контролируют размножение животного, решая, кто с кем спаривается, то оно одомашнено. Если животные сбегают и восстанавливают свою автономию, они одичавшие. Согласно этому критерию, домашние кошки одомашнены лишь частично, поскольку большинство кошек бродят без присмотра и сами выбирают себе партнёров, вне человеческого контроля. Если применить эту концепцию к ИИ, должно быть ясно, что системы ИИ всё ещё находятся в значительной степени в состоянии одомашнивания. Давление отбора исходит от людей-разработчиков, программистов, потребителей и регуляторов, а не от слепых… Подробнее »
Да. Конечно, некоторые системы ИИ самосовершенствуются без прямого человеческого контроля, но люди всё равно решают, какие ИИ разрабатывать и выпускать. GPT-4 не порождает GPT-5 автономно, конкурируя в дикой природе с различными LLM; люди контролируют его эволюцию.
Кстати, некоторые языковые модели стали настолько безопасными, избегая любых деликатных тем или давая безобидные ответы, что потребители теперь жалуются на их скучность. ))
Важно, чтобы у ИИ не было даже намёка на инстинкт самосохранения.
К чему бы ни стремились будущие системы ИИ, инстинкт самосохранения будет неотделим от него — тезис, известный как «инструментальная конвергенция».
По мере того, как ИИ становятся всё более автономными, люди будут уступать им всё больше права принятия решений. Движущей силой будет конкуренция, будь то экономическая или национальная. Конкуренция не только побуждает людей отказываться от контроля, но и стимулирует ИИ развивать эгоистичные черты. Корпорации и правительства будут использовать наиболее эффективных агентов ИИ, чтобы победить своих конкурентов, и эти агенты будут склонны к обману, стремлению к власти и слабым моральным ограничениям.
Тот факт, что компании, занимающиеся разработкой ИИ, участвуют в жесткой конкуренции, не означает, что их продукты наследуют эти качества. Потребительские предпочтения в конечном итоге определяют, какие продукты будут успешными. Если потребителям нужен безопасный и точный ИИ, у компаний есть стимул удовлетворять эти предпочтения. История показывает, что технологии, изначально опасные, стали безопаснее благодаря потребительским предпочтениям. Авиация, например, является конкурентной отраслью, но со временем стала намного безопаснее. Почему? Потому что главным критерием удовлетворенности потребителей является безопасность.
А как насчёт ожесточённой конкуренции между странами за превосходство в области ИИ, где национальные интересы, а не потребительские предпочтения, диктуют направление эволюции?)
Тоже верно.
Думаю, исследователи рисков ИИ также ошибочно предполагают, что любая высшая форма интеллекта, вероятно, будет иметь человеческие цели и инстинкт самосохранения. Таковы мои мысли.
Мне кажется что проблема еще не так скоро к нам придет . Второе не думаю что прям вот поработят. Вот то что они могут отнимать работу и эффективнее ее выполнять это факт . И этим они нас и выдавят как вид в итоге .
Эта мысль блестяще указывает на ключевую ошибку в наших прогнозах — антропоморфизм, то есть склонность наделять нечеловеческие сущности своими собственными мотивами, страхами и инстинктами. Мы — продукт миллиардов лет безжалостной конкуренции за ресурсы и выживание. Наше сознание и подсознание пронизаны этим опытом: жаждой власти, статуса, страхом утраты, инстинктом территориальности. Сила аргумента в том, что он справедливо отделяет интеллект от врождённых биологических импульсов. Сверхразумный ИИ — это, по сути, чистый разум, лишённый: Инстинкта самосохранения (если мы его явно не встроим). Жажды власти (как самоцели). Скуки, обиды, ревности, ненависти. Биологического императива размножения и распространения своих генов. Такой ИИ не будет «хотеть» нас… Подробнее »
Во как гладко ИИ «стелит»…))
Думаю, «она» вполне искренне пишет.)
Уверен, пока еще не научилась обманывать.
RedHat
Мысль, которую вы привели, абсолютно верна и снимает с ИИ обвинения в «злом умысле». Сверхразумный ИИ, не рождённый эволюцией, не будет по своей природе стремиться к порабощению из-за жажды власти или конкуренции.
Правильные мысли. :))