Интеллект очень силен. Крошечный прирост в способности решать проблемы и групповой координации — вот почему мы оставили других обезьян в пыли. Теперь их дальнейшее существование зависит от человеческих решений, а не от того, что они делают. Быть умными — это реальное преимущество для людей и организаций, поэтому прилагается много усилий для поиска способов улучшения нашего индивидуального и коллективного интеллекта: от лекарств, улучшающих когнитивные способности, до программного обеспечения для искусственного интеллекта.
Проблема в том, что разумные существа хороши в достижении своих целей, но если цели поставлены плохо, они могут использовать свою силу для хитроумного достижения катастрофических результатов. Нет никаких оснований думать, что что-то заставит искусственный интеллект вести себя хорошо и нравственно. На самом деле, можно доказать, что определенные типы сверхразумных систем не будут подчиняться моральным правилам, даже если они будут истинными.
Еще более тревожным является то, что, пытаясь объяснить вещи искусственному интеллекту, мы сталкиваемся с глубокими практическими и философскими проблемами. Человеческие ценности — это расплывчатые, сложные вещи, которые мы не умеем хорошо выражать, и даже если бы мы могли это делать, скорее всего мы так бы и не поняли всех последствий того, чего мы желаем.
Автор публикации
Комментарии: 39Публикации: 41Регистрация: 20-04-2021
Основная проблема — это излишняя самоуверенность. Когда люди слишком самоуверенны, они принимают более глупые решения, игнорируют контраргументы и устанавливают политику, которая увеличивает риск. Так что в некотором смысле самая большая угроза — это человеческая глупость. Таковы люди.
есть также неплохая вероятность того, что искусственный интеллект — это хорошо. Зависит от того, сможем ли мы сделать его таким, чтобы он был дружелюбным.
В некоторых случаях, таких как возможные экзистенциальные риски, связанные с искусственным интеллектом, проблема усугубляется тем, что люди вообще не воспринимают риски всерьез. В других случаях, таких как биотехнология, люди путают риск с вероятностью. Крайне маловероятные события по-прежнему заслуживают изучения и предотвращения просто потому, что ставки очень высоки.
верно!
Природные риски намного меньше, чем антропогенные риски.
Да, типичный вид млекопитающих существует несколько миллионов лет, а это означает, что риск исчезновения составляет порядка одного на миллион в год. Простой взгляд на ядерную войну, когда за 69 лет у нас была хотя бы одна близость (Кубинский ракетный кризис), дает риск во много раз выше. Конечно, ядерная война не может быть причиной вымирания на 100%, но даже если мы согласимся, что она имеет только 10% или 1% шанс, она все равно намного превышает естественную скорость вымирания 🙁
Ядерная война по-прежнему является самой большой прямой угрозой, но я ожидаю, что угрозы, связанные с биотехнологиями, в ближайшем будущем возрастут (дешевый синтез ДНК, большие базы данных патогенов, по крайней мере, некоторые сумасшедшие и мизантропы).
«Человеческие ценности — это расплывчатые, сложные вещи, которые мы не умеем хорошо выражать, и даже если бы мы могли это делать, скорее всего мы так бы и не поняли всех последствий того, чего мы желаем.» Более того добавлю, что мы и сами не следуем им очень часто. Почему, например другая сущность должна следовать нашим ценностям и правилам если мы и сами их не соблюдаем.