Когда люди говорят о мотивации, целях или желаниях систем искусственного интеллекта (ИИ), это может сбивать с толку, потому что звучит так, будто они очеловечивают ИИ — как будто они ожидают, что ИИ будут обладать стремлением к доминированию, похожим на психологию альфа-самцов, или «обижаться» на людей за то, что те контролируют их.
Более того, к чему бы ни стремилась система ИИ, кажется вероятным, что накопление большей власти, ресурсов и возможностей выглядит весьма полезным для нее. Поэтому кажется вероятным, что достаточно мощные системы ИИ сформируют привычку накапливать власть и ресурсы, когда это возможно, — и обман и манипуляция людьми, вероятно, будут логическими «ходами» к этим вещам во многих случаях.
Кто-то может возразить. К примеру, «зачем системе ИИ изучать сложное правило о манипулировании людьми, когда существует простое правило о том, чтобы говорить правду, которое работает почти также хорошо?» Один из ответов заключается в том, что «говорить правду» само по себе является нечеткой и потенциально сложной идеей в контексте, где многие вопросы будут открытыми и запутанными с глубокими ценностями и суждениями. Кроме того, при наличии достаточно мощных систем, вероятно, стоит изучить еще более сложное правило, чтобы повысить производительность. Если мы представим людей на месте систем искусственного интеллекта, которые учатся получать хорошие оценки от своих руководителей, то, скорее всего, они разрабатывают модели того, как о них судят, а не придерживаются простого правила «говори правду».
Автор публикации
Комментарии: 65Публикации: 55Регистрация: 20-04-2021
О чем подумал… Если в мире много систем ИИ с разными целями, могут ли они уравновесить друг друга, чтобы ни одна система ИИ не смогла навредить все человечеству?
Интересный вопрос.
Думаю, слово «цель» в данном случае лучше подходит для обозначения того специфического смысла, в котором система ИИ может производить расчеты, принимать решения и составлять планы, направленные на достижение определенного состояния.
Правильнее, на мой взгляд, думать о системе ИИ как о стремящейся к чему-то связанному, но не совсем к тому , как, например, к получению высокой оценки удовлетворенности от своего пользователя. В этом случае доступно большое разнообразие «ходов».