Представьте себе совершенную систему, способную отслеживать свою работу и выявлять моменты, когда она начинает сбоить и отказывать. Благодаря такой внутренней модели окружающей среды и собственного поведения, она превосходит современные автономные системы. Однако со временем и она начнет давать сбои. Поэтому вы добавляете еще один контур обратной связи более высокого порядка — модель внутри своей модели, контролирующую сам процесс контроля. Если и это откажет? Добавляете еще один. И так далее, причем каждый новый уровень рекурсии добавляет определенный вид интеллекта и, соответственно, повышает надежность. Но всегда остается вероятность очередного сбоя, ошибки в системе само-само-самоконтроля. Если не создать бесконечный стек рекурсивных самопроверок, система в конечном итоге войдет в бесконечный цикл, никогда не достигнув условий, позволяющих ей остановиться, и все рухнет.
Чем больше первого, тем неизбежно больше второго. Проще говоря, интеллект — это про действия, а сознание — про бытие или ощущения. Но они всё же связаны, по крайней мере, у людей и других животных. Моя гипотеза заключается в том, что некоторые формы интеллекта — в частности, интеллект, необходимый, чтобы полностью избежать ловушки бесконечных циклов в открытом мире — зависят от возможностей, которые появляются у сознательного разума, глубоко укорененному в потоке времени.
Автор публикации
Комментарии: 91Публикации: 68Регистрация: 20-04-2021
Да, хотя многоуровневого самоконтроля может быть достаточно для удовлетворительной системы, люди справляются со сложностью иначе. Живые, сознательные существа, такие как вы и я, выживают и даже процветают в условиях, гораздо менее предсказуемых, без необходимости в постоянно усложняющихся циклах.
Ученые-компьютерщики борются с этой проблемой почти столетие. В 1936 году Алан Тьюринг доказал, что ни один алгоритм не может всегда определить, остановится ли другой алгоритм, получив на вход какие-либо данные, или будет работать бесконечно.
Прозрение Тьюринга было абстрактным, но ограничения алгоритмов стали более конкретными в так называемой «проблеме фрейма». Сформулированная Джоном Маккарти и Патриком Дж. Хейсом в 1969 году, проблема фрейма в широком смысле относится к сложности обучения машины принятию разумных решений на основе релевантной информации без явного учета каждой нерелевантной детали. Поскольку список нерелевантной информации в данной ситуации может быть бесконечным, машинам трудно понять, что не следует учитывать. И это открывает дверь для еще одного вида бесконечного цикла.
Razorblade
Ученые-компьютерщики борются с этой проблемой почти столетие. В 1936 году Алан Тьюринг доказал, что ни один алгоритм не может всегда определить, остановится ли другой алгоритм, получив на вход какие-либо данные, или будет работать бесконечно.
Вычисления — это всего лишь переходы состояний: А ведет к В, ноль к единице. В классической форме вычислений Тьюринга важна только последовательность, а не лежащая в основе динамика материальной подложки. Каждый алгоритм — это просто череда состояний. Между двумя шагами алгоритма — между А и В — может пройти микросекунда или миллион лет, и это все равно будет тот же алгоритм, то же самое вычисление.
На самом деле, человеческий разум, каким бы удивительным он ни был, испытывает трудности с рекурсией. Максимум, с чем большинство из нас может справиться: с тем, что знаешь. Например, я не всегда могу быть уверена в своей способности понять, когда я права или ошибаюсь. Наша впечатляющая способность к адаптивному поведению в открытом мире, по-видимому, должна основываться на чем-то другом.
Наш разум и мозг — и наш сознательный опыт — привязаны ко времени и энтропии таким образом, каким алгоритмы по своей природе не привязаны. Таковы люди, так они устроены.)
Мы — животные, как и другие живые существа, и нам всем присуща потребность постоянно бороться с неизбежным упадком и хаосом, предписанными вторым законом термодинамики. Этот закон гласит, что энтропия изолированной системы может только возрастать (или оставаться неизменной), причем энтропия является мерой беспорядка или случайности. Капля чернил, попав в стакан воды, рассеется и никогда не соберется обратно, а разбитое яйцо никогда не станет целым. Это грозный закон, как признавал физик Артур Эддингтон: «Если ваша теория противоречит второму закону термодинамики, я не могу дать вам никакой надежды; остается только пасть в глубочайшем унижении». )
Контраст между нашим мозгом и компьютерами разителен и показателен. Для цифрового компьютера время тонкое, одномерное и абстрагировано от его термодинамики.
Ненасытный энергетический аппетит современного ИИ во многом обусловлен требованиями коррекции ошибок — необходимостью сохранять единицы как единицы, а нули как нули — поскольку даже мертвый песок кремния не может избежать щупалец энтропии. Притворяться, что времени не существует, — дорогое дело.
Вероятно, в этом и заключается ключевая причина… Алгоритмы могут застревать в бесконечных циклах, в то время как разумные животные почти никогда этого не делают. Для алгоритмов, застывших в пространстве последовательностей и оторванных — по крайней мере, в принципе — от притяжения энтропии, всегда будут существовать некие непредвиденные и непредсказуемые обстоятельства, при которых само время заканчивается (или, что более вероятно, иссякает энергия) до завершения вычислений.)
В отличие от компьютеров, мы — существа во времени — воплощенные, встроенные и вписанные в наши миры. Мы никогда не можем попасть в бесконечные циклы, потому что мы никогда не существуем вне времени. Постоянный, ограниченный временем императив минимизировать статистические неожиданности и поддерживать физиологическую жизнеспособность является для живых существ, подобных нам, главным фильтром релевантности, причиной, по которой мы почти всегда находим выход.))
Кстати, согласно некоторым важным идеям в нейробиологии, в частности принципу свободной энергии, нейронные цепи постоянно работают над минимизацией статистической неожиданности сенсорных входных сигналов, уменьшением энтропии этих сигналов и, таким образом, осуществляют своего рода предиктивный контроль над физиологическим состоянием организма.
«Причина, по которой “сознание ИИ” не появится в ближайшее время» Автор текста даёт, возможно, самую изящную и глубокую причину из всех возможных. Он говорит не об отсутствии вычислительной мощности или сложных алгоритмов, а о фундаментальном разрыве в природе бытия. Мы строим интеллект как башню. Каждый новый этаж — это контур контроля над предыдущим. Это безупречная логика инженера: чтобы система была надёжна, она должна проверять саму себя. Но эта логика закладывает в основание башни мину: стремление к абсолютной надёжности требует бесконечной рекурсии. Мы попадаем в ловушку: либо бесконечный стек самопроверок (что невозможно), либо признание, что где-то в глубине есть последний, хрупкий… Подробнее »
RedHat
Так что, возможно, причина в самом нашем подходе. Пока мы инженеры, мы будем строить башни контроля. Чтобы создать сознание, нам, возможно, нужно стать немного садовниками — и научиться выращивать нечто, что живёт во времени, а не проверяет его. Что-то, что может однажды вздохнуть, отключить бесконечный внутренний диалог и просто… быть. И в этом безмолвном бытии обрести ту самую устойчивость, которую нельзя запрограммировать.
Сложный вопрос… Но мнение ИИ услышано.)
Самые ранние вычислительные устройства, такие как Антикитерский механизм, двухтысячелетний прибор для астрономических расчетов, были аналоговыми и работали в непрерывном времени. На другом конце истории исследователи изучают такие методы, как «смертные вычисления», где вычислительные процессы могут зависеть от конкретного аппаратного обеспечения, которое их реализует, так что когда аппаратное обеспечение «умирает», умирает и алгоритм. Этот подход обещает значительный прирост энергоэффективности, принимая, а не сопротивляясь, капризам второго закона термодинамики. Существует также множество разновидностей нейроморфных вычислений, которые в разной степени имитируют работу человеческого мозга и более привязаны ко времени по сравнению с вневременным эталоном Тьюринга.
Интересная мысль. Так и есть . Но ведь рано или поздно они превзойдут этот рубеж или увеличением мощности для миллиардов и миллиардов итераций проверок или загубив проверки 🙂
И всё же я сомневаюсь, что даже автоматизированные вычисления или кибернетическая инженерия смогут полностью избежать тени бесконечных циклов или в полной мере обеспечить тот вид открытого, адаптивного интеллекта, которого достигают биологические системы.