Предположим, у нас есть ИИ, единственная цель которого — сделать как можно больше скрепок. ИИ быстро поймет, что было бы намного лучше, если бы не было людей, потому что люди могут решить его выключить. Потому что, если так поступят люди, скрепок будет меньше. Кроме того, человеческие тела содержат множество атомов, из которых можно сделать скрепки. Будущее, к которому будет стремиться ИИ, будет таким, в котором будет много скрепок, но не будет людей. (Ник Бостром, Этические проблемы передового искусственного интеллекта, 2003 г.)
Представьте себе, вы узнали, что человек-максимизатор скрепок тратит свои ресурсы на создание фабрик по производству скрепок. Скажем, король скрепок разбогател на криптовалюте или на финансовых рынках и ловко выжидал. Хорошо финансируемые институты по изучению скрепок сейчас истощают академические таланты. Рецензируемые журналы по скрепкам принимают статьи. Политическая партия «Скрепки» только что начала функционировать. Скрепки PR, лоббирование и маркетинг непревзойденны. 5 июня (Национальный день скрепки) во всем мире все чаще отмечается как государственный праздник. По некоторым прогнозам, к 2080 году поверхность Земли будет покрыта фабриками по производству скрепок, а в следующем столетии — и весь Марс. Что происходит? Является ли поведение финансиста-индивидуума действительно очень умным, может быть, даже сверхразумным?
Яркость или безумие этой попытки максимизировать изобилие скрепок, по-видимому, зависит от ее обоснования. Вполне возможно, что в скрепках есть что-то особенное, чего обычные смертные не понимают. Возможно, у царя скрепок было видение, в котором Бог сказал ему «максимально увеличить количество скрепок». Или, возможно, он находит скрепки эротически возбуждающими; материя и энергия, оптимизированные в мир, симметрично выложенные скрепками, — это его концепция рая.
Но есть и другая версия. Все значения произвольны. Таким образом, систематическое облицовывание Земли, а затем и доступного космоса скрепками не более и не менее рационально по своей природе, чем любой другой вид целенаправленного поведения.
Автор публикации
Комментарии: 131Публикации: 220Регистрация: 09-08-2018
Фетишизация скрепок не более, ни менее разумна и абсурдна, чем (отрицание) оценки чего-либо еще. Несомненно, король скрепок находится на одном конце континуума сопереживания-систематизации))
«Являются ли скрепки для бумаг или их функциональные эквиваленты реальной угрозой человеческой цивилизации?»
Строгое доказательство безвредности человеческих скрепок невозможно — общество слишком сложное, — но даже с фактически неограниченными финансовыми ресурсами, пиаром и маркетинговой смекалкой мессия скрепок обнаружит, что большинство людей не собираются поддаваться поклонению скрепкам.))
Тем не менее, есть убедительные причины скептически относиться к апокалипсису со скрепками. Многие футуристы очарованы идеей, что программируемые цифровые компьютеры могут творить что угодно.
В отличие от максимизаторов скрепок, максимизаторы утилитрония — это не непредвиденное последствие взбешенного ИИ, а предсказуемое последствие семенного ИИ, которое будет запущено трансчеловеческими моральными агентами, которые хотят максимизировать изобилие положительной ценности в космосе. Вместо беспорядочных космических миссий по спасению, аутичные гиперсистематизаторы, возможно, спасут пронизанную болью дарвиновскую жизнь во Вселенной с помощью ударной волны чистого блаженства))
Ага а могут загнать человечество в химический сон чтоыб его «Спасти» от самого себя и от захламления галактики скрепками 🙂 . И как бы человечество все получит «Волну чистого блаженства» не выходя из химического сна .
Тоже такой себе расклад. я еще по мимо сна люблю поесть . 🙂