Давным-давно, в далекой-далекой стране, команда исследователей искусственного интеллекта захотела обучить ИИ прогнозированию текста. Они скормили ему относительно нефильтрованный текст, созданный самыми разными людьми в Интернете. Получившаяся в результате модель очень хорошо предсказывала, какой текст люди будут писать в Интернете, включая все их предубеждения, фанатизм и дезинформацию.
Ведущие журналисты в этой стране, которые, как правило, были враждебно настроенные к новым технологиям и испытывающие страх перед ними, потребовали, чтобы языковые модели обучались только на текстах, свободных от какой-либо предвзятости и лжи. То есть, чтобы они обучались только на последних публикациях ведущих журналистских изданий. Получившаяся в результате языковая модель позволяла писать отличные колонки для популярных газет, но была бесполезна для решения любых других задач. И поэтому люди этой страны уволили своих журналистов и заменили их на GPT, и все жили долго и счастливо.
Хорошо, GPT-3, по-видимому, может писать газетные статьи. Но мы уже знали, что они часто состоят только из фнордов и случайно организованного набора слов, нагруженных аффектом. Может ли GPT-5 написать, к примеру, эссе Скотта Александра? Может ли он на самом деле мыслить концепциями, комбинировать их оригинальными способами и изобретать новые, которые относятся к вещам в реальном мире?
Автор публикации
Комментарии: 42Публикации: 44Регистрация: 20-04-2021
GPT становятся все лучше и лучше в обобщенном предсказании текста просто за счет увеличения количества параметров модели и токенов в обучающих данных.
GPT уже достаточно близко?.. Моя интуиция подсказывает, что нет, потому что я могу писать как GPT-3, и я также могу писать совершенно по-другому, и это ощущается качественно по-другому и дает другие результаты.
GPT-3 предсказывает пропущенные слова или фразы с учетом некоторого контекста, что люди могут легко делать на автопилоте. Люди также могут бегло читать этот тип текста, независимо от того, сгенерирован ли он GPT или импровизированным человеком, и они понимают общую суть, не замечая пробелов в логике. 🙂
Это либо экзистенциальный вопрос, либо просто вопрос на триллион долларов, в зависимости от того, являетесь ли вы пессимистом или оптимистом в отношении ИИ.
Ребенок выстраивает свою модель мира, наблюдая за регулярными «узорами», но это работает только для простых вещей, которые образуют четкий кластер (например, человеческие лица). Однако мы живем в мире сложных повествований и ментальных конструкций. Люди усваивают эти концепции не просто через обнаружение узоров, а через язык. В частности, через обучающую их концепциям речь от своего основного воспитателя. После детства мы продолжаем изучать концепции у других людей (в основном у Скотта Александра), и эти концепции составляют мир, который мы воспринимаем. Но для запуска этого процесса требуется очень специфическая последовательность шагов: Хаотический разум новорожденного Различение чувств (внутренних и внешних) Распознавание основных восприятий в… Подробнее »
Вряд ли пятая версия сможет ли писать прямо. НО она будет уже более интересной грубо говоря чем третья. И возможно какая то итреция сможет нас удивить .
Соглашусь.
Люди не рождаются, зная, что физическая реальность существует только потому, что мы в ней живем. Мы должны постепенно прийти к этому выводу, а употребление в пищу неправильных грибов может даже заставить нас на время забыть об этом факте. Искусственный интеллект, родившийся и выросший в мире человеческого текста, в принципе мог бы научиться делать выводы о том, что физическая реальность — это вещь и каковы ее свойства, но это не обязательно произойдет.
Согласен, люди мыслят концепциями и воспринимают себя занимающими физическую реальность, и мы принимаем эти две вещи как должное. Но мы не родились, делая ни то, ни другое.)