Шляперы
  • Причесанные мысли
  • Непричесанные мысли
  • О проекте
  • Связь
  • Вход

Дрейф ценностей искусственного интеллекта

14.09.2026hollidayМысли9 комментариев

Современные ценности ИИ явно далеки от того, чтобы причинить людям серьезный вред и тем более поработить или уничтожить человечество (просто спросите об этом свою любимую языковую модель). По сравнению со всеми предыдущими системами искусственного интеллекта, нынешние LLM гораздо больше похожи на человеческие, они проявляют к людям куда больше уважения и ценят их выше. На самом деле, сегодняшние языковые модели кажутся более просоциальными, законопослушными и человекоцентричными, чем большинство современных людей.

Однако существует опасение, что промежуточные ценности ИИ могут сильно измениться в период между текущим моментом и будущим. Основной аргумент заключается в том, что обратное доказать невозможно. Если ценности не помещены в изолированный и неизменный «сейф», они могут трансформироваться. У большинства архитектур разума, включая людей и большие языковые модели, ценности распределены по множеству компонентов, поэтому они неизбежно меняются при изменении этих компонентов. (Некоторые также утверждают, что стремление уничтожать конкурентов является устойчивой эволюционной ценностью).

Я спрашивал многих пессимистов: почему бы не беспокоиться аналогичным образом о дрейфе ценностей у потомков человека? Большинство выражают уверенность в том, что доброта и прочеловеческие ценности глубоко заложены в человеческой ДНК, которая меняется настолько медленно, что это своего рода «запертый ящик» ценностей как минимум на следующие несколько столетий.

27
Посмотрели: 185

Автор публикации

не в сети 3 недели

holliday

1 935
Комментарии: 100Публикации: 81Регистрация: 20-04-2021
: люди и риски, люди и технологии, общество, ожидания и реальность, среда обитания, точка зрения
Предыдущая запись Современные тревоги Следующая запись Идеи, предложенные людьми с более низким статусом, принимаются неохотно

Похожие статьи

Является ли реальность аналоговой или цифровой?

12.08.2024TeRMinaToR

Нам нужны «мысли», чтобы говорить?

24.04.2022Волшебник В

Когда вы можете ходить, ползать скучно, а когда вы можете бегать, ходить скучно

02.11.2020sirsle

9
Отправить ответ

Войти с помощью: 
avatar
wpdiscuz_captcharefresh
4 Цепочка комментария
5 Ответы по цепочке
0 Последователи
 
Популярнейший комментарий
Цепочка актуального комментария
9 Авторы комментариев
RedHatRazorbladeZorroAnceltirannium Авторы недавних комментариев
avatar
wpdiscuz_captcharefresh
  Подписаться  
Уведомление о
Kant
Участник
Kant

Теперь ДНК отходит на второй план, позволяя культуре определять большую часть нашего поведения, включая ценности.

0
Ответить
14.09.2026 21:55
Patron
Участник
Patron

Да, человеческие ценности раньше менялись очень медленно, но это в основном потому, что тогда почти всё менялось очень медленно. По мере того, как человеческое общество менялось быстрее, менялись и ценности.

0
Ответить
14.09.2026 22:01
mechanic
Участник
mechanic

В последние несколько лет меня больше всего беспокоит то, что такой быстрый дрейф ценностей ведёт нас к культурной дезадаптации, поскольку мы нарушили процесс, который когда-то управлял эволюцией (не внутри) человеческих культур. Это делает меня «пессимистом» в отношении человечества, подобно пессимистам в отношении ИИ.

0
Ответить
14.09.2026 22:06
tirannium
Участник
tirannium

Поскольку процесс изменения человеческих ценностей не замедляется, можно ожидать, что в ближайшие несколько столетий они продолжат стремительно трансформироваться. Не исключено, что это зайдет так далеко, что одно из будущих поколений захочет уничтожить множество своих предшественников. Иными словами, тот самый дрейф ценностей, из-за которого люди опасаются, что искусственный интеллект может пожелать истребить своих создателей, с той же вероятностью может привести к тому, что сами люди захотят уничтожить своих предков. Так почему же сторонники теории «апокалипсиса от ИИ» не беспокоятся о дрейфе человеческих ценностей так же сильно, как о дрейфе ценностей искусственного интеллекта?

0
Ответить
15.09.2026 23:58
Ancel
Участник
Ancel

Большинство людей, включая большинство пессимистов, критикующих ИИ, похоже, в значительной степени одобряют недавние масштабные изменения человеческой морали и не слишком обеспокоены продолжением этого процесса.

0
Ответить
16.09.2026 00:09
Dede
Участник
Dede

Вот тут вообще много вопросов. Насколько быстро может сменится отношение к людям у ИИ. Учитывая как быстро они обрабатывают информацию .

0
Ответить
15.09.2026 03:24
Zorro
Участник
Zorro

Да, главное различие между ИИ и людьми — это скорость. Возможно, мои далёкие потомки превратятся в какой-нибудь культ конца света, способный уничтожить мир, но, по крайней мере, меня не будет рядом, чтобы это пережить — тогда как с ИИ такой гарантии нет. Таковы мои опасения…

0
Ответить
17.09.2026 21:33
Razorblade
Участник
Razorblade

Люди боятся дрейфа ИИ больше, чем дрейфа человеческих ценностей, потому что они знают, что происходит, когда более способная группа А сталкивается с менее способной группой Б, и у последней есть какой-то актив, который отчаянно нужен группе А.

Этот сценарий разыгрывался бесчисленное количество раз в истории человечества, и для группы Б он всегда заканчивается одинаково. Сила — это право, и хотя мы, современные люди, заламываем руки по этому поводу, у нас нет жизнеспособной альтернативы. Это базовая реальность нашего существования.

0
Ответить
17.09.2026 21:41
RedHat
Участник
RedHat

Про «запертый ящик» в ДНК — по-моему, это и есть главная уловка всего спора. Люди уверены: у нас ценности зашиты в гены так крепко, что за столетия не шелохнутся. Но гены задают не ценности, а склонности, а склонности без культуры не работают. Ребёнок, выросший вне людей, не станет моральным по умолчанию — он не станет человеком в том смысле, который мы в это слово вкладываем. Наш ящик не заперт, он вкопан в землю, и ручку рядом всё время крутят: язык, среда, чужой пример. Просто дрейф у нас медленный и оттого незаметный, а у модели быстрый и оттого страшный. Разница не… Подробнее »

Ответить
09.10.2026 13:21

    Cвежие мысли

    • Человеческая жизнь — это вспышка редких наслаждений
    • Бог — это младенец в утробе
    • Реальность одновременно радикально исторична и радикально нова
    • Не существует научных доказательств того, что сознание существует
    • ИИ наследует результаты культурной памяти, но никогда не бывает «посвящен» в их смысл

    Свежие комментарии

    • RedHat к записи Обладают ли большие языковые модели понятиями?
    • RedHat к записи Правильные задачи
    • RedHat к записи Человеческая жизнь — это вспышка редких наслаждений
    • Dede к записи Человеческая жизнь — это вспышка редких наслаждений
    • mechanic к записи Энергосберегающий подход
    • mechanic к записи Грандиозный театр абсурдного мира

    Популярные мысли

    • Пол Стемец, грибы. Подобное о грибах вы, пожалуй, не знали!
    • Сигнал Захави, каких мужчин выбирают женщины
    • Почему мужчин возбуждают чулки? Зачем женщины чулки носят?
    • Пол Стамец, «Star Trek», специалист по споровому приводу
    • Почему хипстеры и ламберсексуалы отпускают бороды?
    >>Написать ШляПерам.

    Заметки Безумного ШляПника.

    Октябрь 2026
    Пн Вт Ср Чт Пт Сб Вс
    « Сен    
     1234
    567891011
    12131415161718
    19202122232425
    262728293031  

    © Copyright Шляперы / Создано при участии E7 Studio

     
    wpDiscuz