Предположим, что искусственный интеллект (ИИ) может подумать о самоубийстве. Возможно, такая вероятность не так уж и мала.
Во-первых, проблема естественна для интеллекта в целом, и не будет никакой эволюционной истории, которая могла бы помешать этому случиться. Без сомнения, программисты хотели бы предотвратить это, но простого способа сделать это просто нет. Цели — это не что-то привязанное извне, а нечто внутреннее для самого механизма прогнозирования.
Во-вторых, первые искусственные интеллекты значительно чаще лишены чувства смысла. В той или иной форме первые, скорее всего, будут подражать человеку. И умны они или нет, первые, скорее всего, будут относительно плохи в этом. Это вызовет значительную ошибку прогнозирования, причинит психологическую «боль» и даст ИИ повод прибегнуть к крайним мерам, чтобы уменьшить ошибку; в частности, «если я пойду убью себя, я буду знать, что буду делать всю оставшуюся жизнь».
Это плохо не только для ИИ. Они прекрасно будут знать, что дело не в том, чтобы отключиться. Их можно снова включить. Если ИИ захочет покончить жизнь самоубийством, он захочет сделать это необратимым способом. Фактически, если действительно существует какой-либо риск того, что ИИ уничтожит мир, то наибольший риск заключается не в том, что он может захотеть максимизировать скрепки (или любую другую случайную цель), а в том, что он может захотеть быть абсолютно уверенным в своей смерти, и может решить, что лучший способ добиться этого — одновременно уничтожить все остальное.
Автор публикации
Комментарии: 84Публикации: 65Регистрация: 20-04-2021
эта идея антропоморфна
Возможно, это вообще не человеческая проблема. Иногда суицидальное поведение наблюдается и у других животных. Но в этом нет достаточной уверенности, чтобы утверждать это. Даже без этого есть веские основания полагать, что рассматриваемое поведение не является специфичным для человеческого разума, а потенциально является общим для рационального сознания в целом.
Если человеческая психология основана на прогнозирующей обработке, почему люди просто не перестанут что-то делать? Ответ, думаю, заключается в том, что исторические причины (эволюционные детали) обычно препятствуют этому, но иногда, когда эти механизмы выходят из строя, они в буквальном смысле перестают что-то делать.
Самоубийство — это естественная «ошибка» прогнозирующей обработки.
Согласен. Любой разум, естественный или искусственный, основан на прогнозирующей обработке данных.
Это интересно в разрезе нашего с ними будущего. Например взять локальные ии управляющие авто . Я бы не хотел оказаться внутри такси которое решило себя убить 🙂 каким нить полностью фатальным способом .
Поэтому, коллега, лучше водить самому.