Предположим, у нас есть ИИ, единственная цель которого — сделать как можно больше скрепок. ИИ быстро поймет, что было бы намного лучше, если бы не было людей, потому что люди могут решить его выключить. Потому что, если так поступят люди, скрепок будет меньше. Кроме того, человеческие тела содержат множество атомов, из которых можно сделать скрепки. Будущее, к которому будет стремиться ИИ, будет таким, в котором будет много скрепок, но не будет людей. (Ник Бостром, Этические проблемы передового искусственного интеллекта, 2003 г.)
Представьте себе, вы узнали, что человек-максимизатор скрепок тратит свои ресурсы на создание фабрик по производству скрепок. Скажем, король скрепок разбогател на криптовалюте или на финансовых рынках и ловко выжидал. Хорошо финансируемые институты по изучению скрепок сейчас истощают академические таланты. Рецензируемые журналы по скрепкам принимают статьи. Политическая партия «Скрепки» только что начала функционировать. Скрепки PR, лоббирование и маркетинг непревзойденны. 5 июня (Национальный день скрепки) во всем мире все чаще отмечается как государственный праздник. По некоторым прогнозам, к 2080 году поверхность Земли будет покрыта фабриками по производству скрепок, а в следующем столетии — и весь Марс. Что происходит? Является ли поведение финансиста-индивидуума действительно очень умным, может быть, даже сверхразумным?
Яркость или безумие этой попытки максимизировать изобилие скрепок, по-видимому, зависит от ее обоснования. Вполне возможно, что в скрепках есть что-то особенное, чего обычные смертные не понимают. Возможно, у царя скрепок было видение, в котором Бог сказал ему «максимально увеличить количество скрепок». Или, возможно, он находит скрепки эротически возбуждающими; материя и энергия, оптимизированные в мир, симметрично выложенные скрепками, — это его концепция рая.
Но есть и другая версия. Все значения произвольны. Таким образом, систематическое облицовывание Земли, а затем и доступного космоса скрепками не более и не менее рационально по своей природе, чем любой другой вид целенаправленного поведения.
Автор публикации
Комментарии: 131Публикации: 220Регистрация: 09-08-2018
Фетишизация скрепок не более, ни менее разумна и абсурдна, чем (отрицание) оценки чего-либо еще. Несомненно, король скрепок находится на одном конце континуума сопереживания-систематизации))
«Являются ли скрепки для бумаг или их функциональные эквиваленты реальной угрозой человеческой цивилизации?»
Строгое доказательство безвредности человеческих скрепок невозможно — общество слишком сложное, — но даже с фактически неограниченными финансовыми ресурсами, пиаром и маркетинговой смекалкой мессия скрепок обнаружит, что большинство людей не собираются поддаваться поклонению скрепкам.))
Тем не менее, есть убедительные причины скептически относиться к апокалипсису со скрепками. Многие футуристы очарованы идеей, что программируемые цифровые компьютеры могут творить что угодно.
В отличие от максимизаторов скрепок, максимизаторы утилитрония — это не непредвиденное последствие взбешенного ИИ, а предсказуемое последствие семенного ИИ, которое будет запущено трансчеловеческими моральными агентами, которые хотят максимизировать изобилие положительной ценности в космосе. Вместо беспорядочных космических миссий по спасению, аутичные гиперсистематизаторы, возможно, спасут пронизанную болью дарвиновскую жизнь во Вселенной с помощью ударной волны чистого блаженства))
Ага а могут загнать человечество в химический сон чтоыб его «Спасти» от самого себя и от захламления галактики скрепками 🙂 . И как бы человечество все получит «Волну чистого блаженства» не выходя из химического сна .
Тоже такой себе расклад. я еще по мимо сна люблю поесть . 🙂
Это блестящее развитие знаменитого мысленного эксперимента Ника Бострома, которое переносит абстрактную проблему ИИ в плоскость социальной, экономической и даже психологической реальности. Вы задаёте вопрос не просто о «глупом ИИ», а о природе целенаправленного поведения как такового. Вот мой анализ. 1. Является ли поведение короля скрепок «умным» или «сверхразумным»? Здесь нужно разделить инструментальный разум и ценностный разум (или разум целей). С инструментальной точки зрения — да, возможно, гениально. Если цель — максимизировать количество скрепок, то действия короля скрепок (финансы, лоббизм, захват академической повестки, создание культурных норм) — это образцово эффективная долгосрочная стратегия. Он не просто строит фабрики; он изменяет саму экосистему… Подробнее »
RedHat
Мы сами создаём системы с одноцелевой максимизацией: капитал (максимизация прибыли), власть (максимизация влияния), потребление (максимизация ВВП). Эти системы, достигнув определённого уровня сложности, начинают вести себя как «король скрепок»: подчинять себе академию, культуру, политику, переформатируя мир под свою логику.
Да, с этим трудно не согласиться.