В последнее время у меня такое ощущение, что во всемирной паутине накатывает очередная волна опасений сторонников экзистенциальных рисков, связанных с ИИ. Я скептически отношусь к подобным экзистенциальным рискам, и думаю, что вероятность того, что ИИ уничтожит нас против нашей воли, крайне мала. Искусственный интеллект будет развиваться на протяжении всего своего существования, чтобы угождать человеческим прихотям, подвергаясь удалению, если его поведение рассердит людей. Кажется разумным, что ИИ может развить предпочтения и инстинкты, которые будут препятствовать реализации планов, способных разозлить 8 миллиардов человек на планете.
Это не значит, что ИИ не сможет столкнуться с человечеством, подобно тому, как люди сталкиваются друг с другом. Я могу представить, как ИИ накапливает значительные средства, а затем нанимает сторонников для своей защиты и обеспечения положительной обратной связи, используя угрозы, чтобы оградить себя от постороннего вмешательства и беспокойства. Хотя это было бы неприятно, это не стало бы концом света. Как только терпимость к ИИ станет предпочтительнее его уничтожения, потребность ИИ в инструментальном поиске власти будет удовлетворена. Мудрый разум не станет рисковать и воевать с доминирующей формой жизни на планете, если есть варианты с меньшими ставками.
Неэтичные люди, занимающие руководящие должности, уже наносят огромный ущерб миру. Это не значит, что они завоёвывают мир, но это значит, что нам следует беспокоиться, если эти неэтичные работники будут производиться массово в промышленных масштабах, и особенно беспокоиться о любых попытках назначить их ответственными за критически важную инфраструктуру.
А как насчёт злонамеренного ненадлежащего использования ИИ? Злоупотребление и нецелевое использование ИИ нечестными людьми всегда будет представлять большую угрозу, чем нечестный ИИ сам по себе.
Но представьте, если ИИ действительно станет умнее нас и разработает новые области, где нет человеческих экспертов. Тогда мы все окажемся в роли, к примеру, наивных нефизиков, и ничто не помешает ИИ почивать на лаврах… Мир завоевывается по-разному…