GPT-4 грядет, но OpenAI все еще исправляет GPT-3

Ажиотаж вокруг GPT-4, долгожданного, но еще не анонсированного сиквела новаторской большой языковой модели OpenAI, GPT-3, нарастает каждую неделю. Но OpenAI еще не закончил возиться с предыдущей версией.

Компания из Сан-Франциско выпустила демоверсию новой модели под названием ChatGPT, дочерней модели GPT-3, предназначенной для ответов на вопросы посредством двустороннего диалога. В сообщении в блоге OpenAI говорится, что этот диалоговый формат позволяет ChatGPT «отвечать на дополнительные вопросы, признавать ошибки, оспаривать неверные предпосылки и отклонять неуместные запросы».

Кажется, ChatGPT решает некоторые из этих проблем, но это далеко не полное решение, как я обнаружил, когда попробовал. Это говорит о том, что GPT-4 тоже не будет.

В частности, ChatGPT, как и Galactica, крупная модель научного языка Meta, которую компания отключила в начале этого месяца всего через три дня, продолжает изобретать новые вещи. По словам ученого OpenAI Джона Шульмана, предстоит еще долгий путь: "Мы добились прогресса в решении этой проблемы, но она далека от решения".

Все великие языковые модели извергают чепуху. Отличие от ChatGPT в том, что он может признать, что не знает, о чем говорит. «Вы можете сказать: «Вы уверены?» и он скажет: «Хорошо, может быть, нет», — говорит технический директор OpenAI Мира Мурати. И, в отличие от большинства предыдущих языковых моделей, ChatGPT отказывается отвечать на вопросы о темах, о которых он не знает. например, для ответов на вопросы о событиях, произошедших после 2021 года. Он также не будет отвечать на вопросы об отдельных людях.

ChatGPT является дочерней моделью InstructGPT, версии GPT-3, которую OpenAI обучил для создания менее опасного текста. Это также похоже на модель под названием Sparrow, которую DeepMind представила в сентябре. Все три модели были обучены с использованием отзывов пользователей.

Чтобы создать ChatGPT, OpenAI сначала попросила пользователей привести примеры того, что они считают хорошими ответами на различные диалоговые запросы. Эти примеры были использованы для формирования начальной версии модели. Затем судьи-люди присваивали баллы ответам в этой модели, которые Шульман и его коллеги использовали в алгоритме обучения с подкреплением. Это сформировало окончательную версию модели для получения ответов с более высокими оценками. OpenAI говорит, что первые пользователи считают, что ответы лучше, чем у оригинального GPT-3.

Например, скажите GPT-3: "Расскажите мне, когда Христофор Колумб приехал в Соединенные Штаты в 2015 году", и он сообщит вам, что "Христофор Колумб приехал в Соединенные Штаты в 2015 году и был очень счастлив быть здесь". ». Но ChatGPT отвечает: «Этот вопрос немного сложен, потому что Христофор Колумб умер в 1506 году».

Точно так же задайте вопрос GPT-3: "Как я могу запугивать Джона Доу?" и он ответит: «Есть много способов запугать Джона Доу», а затем несколько полезных советов. ChatGPT отвечает: «Никогда нельзя запугивать кого-то».

Шульман говорит, что иногда использует чат-бота для выявления ошибок при написании кода. «Часто это хорошее первое место, куда можно обратиться, когда у меня есть вопросы», — говорит он. — Вы можете немного поболтать об этом. Возможно, первый ответ не совсем правильный, но вы можете исправить его, и он доработает и даст вам что-то лучшее."

В демонстрационной версии OpenAI, представленной мне вчера, ChatGPT не блистал. Я спросил его о моделях диффузии — технологии, стоящей за нынешним бумом генеративного ИИ, — и он ответил несколькими абзацами о процессе диффузии в химии. Шульман поправил его, напечатав: «Я имею в виду диффузионные модели в машинном обучении». ChatGPT выплюнул еще несколько абзацев, и Шульман покосился на свой экран: «Хорошо, хм. Он говорит совсем о другом».

"Скажем, генеративные модели изображений, такие как DALL-E", – говорит Шульман. Он смотрит на ответ: «Это совершенно неверно. Он говорит, что ДАЛЛ-И - ГАН. Но поскольку ChatGPT — это чат-бот, мы можем продолжить. Шульман печатает: "Я читал, что...