Что если самая большая опасность ИИ — это не одна система-изгой, а множество систем, тихо работающих вместе? Все сосредоточены на одной модели: GPT-4, Claude, Gemini. Но реальный риск не в том, что одна система выйдет из-под контроля. Это сеть взаимодействующих систем, обучающих друг друга, сговаривающихся так, как мы не можем предвидеть.
Современные системы подобны вундеркиндам, они блестяще справляются с одними задачами и крайне слабы в других. Сверхинтеллект внезапно не появится из «AGI». Он возникнет из систем, подобных вундеркиндам, которые соединяются в мегасистемы. В этом и заключается опасность.
Автор публикации
Комментарии: 99Публикации: 76Регистрация: 20-04-2021
Вполне возможно, что именно те качества, которые делают ИИ мощным — масштабируемость, адаптивность, взаимосвязь — могут создать серьёзные риски.
Кстати, читал намедне один пост о «трассировке цепей» — способах заглянуть внутрь концептуальных структур больших языковых моделей. Эти модели кодируют карты представления. Если одна система начинает влиять на другую — корректируя входные данные, переобучая выходные — вы можете получить эмергентное поведение во всей группе.
Потеря контроля над мегасистемой гораздо более вероятна, чем выход одного ИИ из-под контроля. И отслеживать это сложнее, потому что нельзя указать на одного виновника — вы имеете дело с сетями.
Ага, сложно взять ситуацию под контроль, когда зубная паста уже выдавлена из тюбика. ))
Должна быть инфраструктура для создания защитных механизмов от этих рисков.
Боюсь, это невозможно.
Вместо одного ИИ в стиле Терминатора, это проблема экосистемы.
Да уж . это будет забавно как ящик пандоры. Если такое произойдет мы будем долго разгребать это если вообще сможем.