Есть что-то романтически привлекательное в идее о том, что следующие столетие или два будут иметь исключительно важное значение для будущего человечества. Однако гораздо более вероятно, что избирательное давление, благоприятствующее определенной степени краткосрочных личных интересов, как на групповом, так и на индивидуальном уровне, будет препятствовать постоянному приобретению сверхосторожной мудрости. Все или, по крайней мере, многие будущие поколения с технологическими возможностями, соответствующими нашим настоящим или превосходящими их, столкнутся со значительным экзистенциальным риском — возможно, 1/100 за столетие или более. Если это так, то этот риск в конечном итоге настигнет нас. Человечество не может пережить экзистенциальный риск 1/100 на столетие в течение миллиона лет.
Кроме того, будущее трудно предвидеть, хотя, конечно, мой пессимизм может быть ошибочным. Следующий год достаточно трудно предсказать, не говоря уже о следующем миллионе лет. Но в той мере, в какой это возможно и верно, это противоречит долгосрочному подходу. Мы могли бы подумать, что лучший подход к долгосрочному выживанию человечества — это делать X или Y… Например, проявлять осторожность при разработке сверхразумного искусственного интеллекта или уменьшать вероятность ядерной войны. Но это совсем не ясно. Такие риски, как ядерная война, несогласованный искусственный интеллект или генетически модифицированная пандемия, было бы трудно представить даже столетие назад. У нас также может быть очень слабое представление о том, какими будут реальные источники риска через столетие.
Автор публикации
Комментарии: 764Публикации: 137Регистрация: 03-09-2021
Если это рассуждение верно, то очень маловероятно, что у человечества будет миллион с лишним лет будущего, о котором стоит беспокоиться и ради которого стоит чем-то жертвовать.
Наше собственное поколение — всего лишь одна страница в гораздо более длинной истории, и что наша самая важная роль может заключаться в том, как мы формируем — или не формируем — эту историю…
одно крайне маловероятное событие потенциально может разрушить всю структуру и положить конец всем нам
Либо мы скоро навсегда погубим себя, либо мы переживем краткий «период опасности», после чего достигнем «экзистенциальной безопасности» с постоянным минимальным риском самоуничтожения))
Будущие столетия будут нести больше риска для человечества, если технологии продолжат совершенствоваться. Чем больше у нас сил, чтобы легко создавать массово разрушительное оружие или болезни, и в целом чем больше у нас сил, чтобы коренным образом изменить самих себя и окружающую среду, тем выше риск того, что кто-то совершит катастрофическую ошибку.
Ну да. Нынешняя ситуация показала, что мы год то предсказать толком не можем.
А если говорить просто о сотне лет, то это нереально. Максимум что можем вырванные из контекста мелочи будущего предсказать.