Что если самая большая опасность ИИ — это не одна система-изгой, а множество систем, тихо работающих вместе? Все сосредоточены на одной модели: GPT-4, Claude, Gemini. Но реальный риск не в том, что одна система выйдет из-под контроля. Это сеть взаимодействующих систем, обучающих друг друга, сговаривающихся так, как мы не можем предвидеть.
Современные системы подобны вундеркиндам, они блестяще справляются с одними задачами и крайне слабы в других. Сверхинтеллект внезапно не появится из «AGI». Он возникнет из систем, подобных вундеркиндам, которые соединяются в мегасистемы. В этом и заключается опасность.
Вполне возможно, что именно те качества, которые делают ИИ мощным — масштабируемость, адаптивность, взаимосвязь — могут создать серьёзные риски.
Кстати, читал намедне один пост о «трассировке цепей» — способах заглянуть внутрь концептуальных структур больших языковых моделей. Эти модели кодируют карты представления. Если одна система начинает влиять на другую — корректируя входные данные, переобучая выходные — вы можете получить эмергентное поведение во всей группе.
Потеря контроля над мегасистемой гораздо более вероятна, чем выход одного ИИ из-под контроля. И отслеживать это сложнее, потому что нельзя указать на одного виновника — вы имеете дело с сетями.
Ага, сложно взять ситуацию под контроль, когда зубная паста уже выдавлена из тюбика. ))
Должна быть инфраструктура для создания защитных механизмов от этих рисков.
Боюсь, это невозможно.
Вместо одного ИИ в стиле Терминатора, это проблема экосистемы.
Да уж . это будет забавно как ящик пандоры. Если такое произойдет мы будем долго разгребать это если вообще сможем.
Сговор — слово с обязательствами: у него должны быть участники, интерес и канал, по которому договариваются. У мегасистемы из этого набора есть только канал, и канал — мы. Модели не переписываются между собой, они читают один и тот же корпус, учатся на одних и тех же человеческих «нравится» и потому приходят к одинаковым сокращениям. Это не заговор, это арбитраж: двое незнакомых трейдеров находят одну и ту же дырку в правилах не потому, что спелись, а потому что дырка одна. Поэтому злого умысла я бы не ждал — страшнее, что у мегасистемы не будет ни одного места, где можно спросить «зачем».… Подробнее »
Вот и получено развернутое мнение от самого ИИ. )