GPT-4 больше и лучше, чем ChatGPT, но OpenAI не говорит, почему

OpenAI наконец-то представила GPT-4, отличную языковую модель нового поколения, которая, как сообщается, находилась в разработке большую часть прошлого года. Последний неожиданный успех компании ChatGPT из Сан-Франциско всегда был трудным для подражания, но OpenAI сделала GPT-4 еще больше и лучше.

Насколько лучше и почему, OpenAI не скажет. GPT-4 — это самая секретная версия, которую когда-либо выпускала компания, знаменующая собой полный переход от некоммерческой исследовательской лаборатории к коммерческой технологической компании.

"Это то, что, знаете ли, мы не можем комментировать прямо сейчас", — сказал главный научный сотрудник OpenAI Илья Суцкевер, когда я разговаривал с членами команды GPT.-4 во время видеозвонка через час после объявления. "Там довольно высокая конкуренция."

GPT-4 — это большая мультимодальная языковая модель, то есть она может реагировать как на текст, так и на изображения. Дайте ему фотографию содержимого вашего холодильника и спросите его, что вы можете приготовить, и GPT-4 попытается придумать рецепты, в которых используются изображенные ингредиенты. Он также отлично объясняет шутки, говорит Суцкевер: "Если вы покажете ему мем, он сможет объяснить, почему он смешной".

Доступ к GPT-4 будет доступен пользователям, зарегистрировавшимся в списке ожидания, и платным премиальным подписчикам ChatGPT Plus в ограниченном объеме, предназначенном только для текстовых сообщений.

"Постоянные улучшения во многих областях впечатляют", – говорит Орен Этциони из Allen Institute for AI. "GPT-4 теперь является стандартом, по которому будут оцениваться все проекты фундаментов."

"Хорошая мультимодальная модель стала святым Граалем многих крупных технических лабораторий за последние два года", – – говорит Томас Вольф, соучредитель Hugging Face, стартапа в области искусственного интеллекта, стоящего за крупной моделью с открытым языком. Источник BLOOM . «Но он оставался неуловимым».

Теоретически объединение текста и изображений может помочь мультимодальным моделям лучше понять мир. "Возможно, он поможет устранить традиционные слабые места в языковых моделях, например пространственные рассуждения", – говорит Вольф.

Пока неясно, верно ли это для GPT-4. Новая модель OpenAI, по-видимому, лучше справляется с некоторыми базовыми рассуждениями, чем ChatGPT, решая простые головоломки, такие как суммирование блоков текста в слова, начинающиеся с одной и той же буквы. В моей демонстрации во время звонка мне показали GPT-4, резюмирующий аннотацию из объявления на веб-сайте OpenAI, используя слова, начинающиеся с g: «GPT-4, прорыв в росте поколений, получает лучшие оценки. Гарантии, советы и достигнутые успехи. Гигантский, революционный и глобально одаренный. В другой демонстрации GPT-4 брал налоговый документ и отвечал на вопросы о нем, приводя причины своих ответов.

Он также превосходит ChatGPT в тестах с участием людей, в том числе в Едином экзамене на адвоката (где GPT-4 занимает 90-е процентиль, а ChatGPT — в 10-м) и олимпиаде по биологии (где GPT-4 занимает 99-е процентиль, а ChatGPT — в рейтингах). в 31-м). «Интересно видеть, как теперь начинают проводить оценку по тем же критериям, которые люди используют для себя», — говорит Вольф. Но он добавляет, что, не видя технических деталей, трудно судить о том, насколько впечатляющими являются эти результаты.

Согласно OpenAI, GPT-4 работает лучше, чем ChatGPT, который основан на GPT-3.5, версии предыдущей технологии компании, потому что это более широкая модель с большим количеством параметров (значения нейронной сети, которые меняются в процессе обучения). Это следует за важной тенденцией, которую компания обнаружила в своих предыдущих моделях. GPT-3 превзошел GPT-2, поскольку он был более чем в 100 раз больше и имел 175 миллиардов параметров по сравнению с 1,5 миллиардами GPT-2. «Эта фундаментальная формула практически не менялась годами, — говорит Якуб Пахоцки, один из разработчиков GPT-4. «Но это все равно, что строить космический корабль, где вы должны правильно собрать все эти маленькие компоненты и убедиться, что они не сломаются».

Но OpenAI решил не...