В среде разработчиков ИИ существует предположение, что по мере того, как машины становятся умнее, они приближаются к обретению разума. Страх, который испытывают сегодня многие люди — страх того, что машины их «превзойдут», — основан именно на этом допущении. Однако интеллект и сознание — это две разные плоскости, и различие между ними весьма существенно.
Интеллект можно определить как способность к обучению, рассуждению, решению задач и достижению целей. Интеллект поддается измерению, он, по-видимому, не привязан к конкретному субстрату (то есть для его существования не обязательно биологическое воплощение), и сейчас он демонстрирует экспоненциальный рост в машинных системах.
Сознание же — это субъективный опыт, то самое «каково это — быть кем-то». Интеллект — это вопрос компетентности. Сознание — это вопрос бытия. Можно создать невероятно интеллектуальную машину, которая при этом будет полностью лишена подлинного понимания или внутреннего опыта. И наоборот: может существовать сознательное существо, не обладающее высоким интеллектом. Эти понятия разделены, но мы упорно продолжаем их смешивать.
Ставки здесь невероятно высоки — гораздо выше, чем осознает 99,9% человечества. Во-первых, речь идет о моральном статусе самих машин. Хотя я не считаю, что искусственный интеллект обладает сознанием сегодня, вполне возможно, что при достижении определенного уровня сложности он обретет его в самом ближайшем будущем. Если мы продолжим создавать все более мощные системы, исходя из ложного убеждения, что они не способны ничего чувствовать, мы рискуем породить — в колоссальных масштабах — сущности, которые будут по-настоящему страдать, в то время как мы будем просто игнорировать их мучения.
Но возможна и обратная ошибка. Мы можем приписать моральный статус системам, у которых вообще нет никакой внутренней жизни. Оказавшись введенными в заблуждение тем, что машина «говорит» как человек, мы можем начать сопереживать чат-боту, в то время как реальный вред, который такие системы могут причинить живым людям, останется незамеченным. А так, да, обе ошибки проистекают из одной и той же путаницы: восприятия интеллекта как доказательства наличия внутренней жизни — причем в обоих направлениях.