Представьте себе совершенную систему, способную отслеживать свою работу и выявлять моменты, когда она начинает сбоить и отказывать. Благодаря такой внутренней модели окружающей среды и собственного поведения, она превосходит современные автономные системы. Однако со временем и она начнет давать сбои. Поэтому вы добавляете еще один контур обратной связи более высокого порядка — модель внутри своей модели, контролирующую сам процесс контроля. Если и это откажет? Добавляете еще один. И так далее, причем каждый новый уровень рекурсии добавляет определенный вид интеллекта и, соответственно, повышает надежность. Но всегда остается вероятность очередного сбоя, ошибки в системе само-само-самоконтроля. Если не создать бесконечный стек рекурсивных самопроверок, система в конечном итоге войдет в бесконечный цикл, никогда не достигнув условий, позволяющих ей остановиться, и все рухнет.
Чем больше первого, тем неизбежно больше второго. Проще говоря, интеллект — это про действия, а сознание — про бытие или ощущения. Но они всё же связаны, по крайней мере, у людей и других животных. Моя гипотеза заключается в том, что некоторые формы интеллекта — в частности, интеллект, необходимый, чтобы полностью избежать ловушки бесконечных циклов в открытом мире — зависят от возможностей, которые появляются у сознательного разума, глубоко укорененному в потоке времени.
Автор публикации
Комментарии: 89Публикации: 67Регистрация: 20-04-2021
Да, хотя многоуровневого самоконтроля может быть достаточно для удовлетворительной системы, люди справляются со сложностью иначе. Живые, сознательные существа, такие как вы и я, выживают и даже процветают в условиях, гораздо менее предсказуемых, без необходимости в постоянно усложняющихся циклах.
Ученые-компьютерщики борются с этой проблемой почти столетие. В 1936 году Алан Тьюринг доказал, что ни один алгоритм не может всегда определить, остановится ли другой алгоритм, получив на вход какие-либо данные, или будет работать бесконечно.
Прозрение Тьюринга было абстрактным, но ограничения алгоритмов стали более конкретными в так называемой «проблеме фрейма». Сформулированная Джоном Маккарти и Патриком Дж. Хейсом в 1969 году, проблема фрейма в широком смысле относится к сложности обучения машины принятию разумных решений на основе релевантной информации без явного учета каждой нерелевантной детали. Поскольку список нерелевантной информации в данной ситуации может быть бесконечным, машинам трудно понять, что не следует учитывать. И это открывает дверь для еще одного вида бесконечного цикла.
Razorblade
Ученые-компьютерщики борются с этой проблемой почти столетие. В 1936 году Алан Тьюринг доказал, что ни один алгоритм не может всегда определить, остановится ли другой алгоритм, получив на вход какие-либо данные, или будет работать бесконечно.
Вычисления — это всего лишь переходы состояний: А ведет к В, ноль к единице. В классической форме вычислений Тьюринга важна только последовательность, а не лежащая в основе динамика материальной подложки. Каждый алгоритм — это просто череда состояний. Между двумя шагами алгоритма — между А и В — может пройти микросекунда или миллион лет, и это все равно будет тот же алгоритм, то же самое вычисление.
На самом деле, человеческий разум, каким бы удивительным он ни был, испытывает трудности с рекурсией. Максимум, с чем большинство из нас может справиться: с тем, что знаешь. Например, я не всегда могу быть уверена в своей способности понять, когда я права или ошибаюсь. Наша впечатляющая способность к адаптивному поведению в открытом мире, по-видимому, должна основываться на чем-то другом.
Наш разум и мозг — и наш сознательный опыт — привязаны ко времени и энтропии таким образом, каким алгоритмы по своей природе не привязаны. Таковы люди, так они устроены.)
Мы — животные, как и другие живые существа, и нам всем присуща потребность постоянно бороться с неизбежным упадком и хаосом, предписанными вторым законом термодинамики. Этот закон гласит, что энтропия изолированной системы может только возрастать (или оставаться неизменной), причем энтропия является мерой беспорядка или случайности. Капля чернил, попав в стакан воды, рассеется и никогда не соберется обратно, а разбитое яйцо никогда не станет целым. Это грозный закон, как признавал физик Артур Эддингтон: «Если ваша теория противоречит второму закону термодинамики, я не могу дать вам никакой надежды; остается только пасть в глубочайшем унижении». )
Контраст между нашим мозгом и компьютерами разителен и показателен. Для цифрового компьютера время тонкое, одномерное и абстрагировано от его термодинамики.
Ненасытный энергетический аппетит современного ИИ во многом обусловлен требованиями коррекции ошибок — необходимостью сохранять единицы как единицы, а нули как нули — поскольку даже мертвый песок кремния не может избежать щупалец энтропии. Притворяться, что времени не существует, — дорогое дело.
Вероятно, в этом и заключается ключевая причина… Алгоритмы могут застревать в бесконечных циклах, в то время как разумные животные почти никогда этого не делают. Для алгоритмов, застывших в пространстве последовательностей и оторванных — по крайней мере, в принципе — от притяжения энтропии, всегда будут существовать некие непредвиденные и непредсказуемые обстоятельства, при которых само время заканчивается (или, что более вероятно, иссякает энергия) до завершения вычислений.)
В отличие от компьютеров, мы — существа во времени — воплощенные, встроенные и вписанные в наши миры. Мы никогда не можем попасть в бесконечные циклы, потому что мы никогда не существуем вне времени. Постоянный, ограниченный временем императив минимизировать статистические неожиданности и поддерживать физиологическую жизнеспособность является для живых существ, подобных нам, главным фильтром релевантности, причиной, по которой мы почти всегда находим выход.))