Доверяйте большим языковым моделям на свой страх и риск

Эта история впервые появилась в The Algorithm, нашем еженедельном информационном бюллетене по искусственному интеллекту. Чтобы такие статьи первыми доставлялись на ваш почтовый ящик, зарегистрируйтесь здесь.

Когда Meta запустила Galactica, большую языковую модель с открытым исходным кодом, предназначенную для помощи ученым, компания, оправившись от критики своих дорогостоящих инвестиций в Metaverse и недавних массовых увольнений, надеялась на большую PR-выигрыш . Вместо этого все, что он получил, это критика в Твиттере и пикантный пост в блоге от одного из его самых ярых критиков, закончившийся его смущающим решением отозвать публичную демонстрацию модели всего через три дня.

Согласно Meta, Galactica может «обобщать научные работы, решать математические задачи, создавать статьи для Wiki, писать научный код, аннотировать молекулы и белки и т. д.». Но вскоре после ее запуска посторонним было достаточно легко обмануть модель, заставив ее предоставить «научные исследования» преимуществ гомофобии, антисемитизма, самоубийства, поедания стекла, быть белым или быть мужчиной. В это время блокировались газеты о СПИДе или расизме. Очаровательный!

Как пишет мой коллега Уилл Дуглас Хэвен в своем рассказе о фиаско: "Ошибка и высокомерие Meta еще раз показывают, что у Big Tech есть слепое пятно на серьезных ограничениях больших языковых моделей".

Запуск Galactica был не только преждевременным, но и показывает, насколько недостаточными были усилия исследователей ИИ, направленные на повышение безопасности больших языковых моделей.

Мета, возможно, была убеждена, что Galactica превзошла своих конкурентов, когда дело дошло до создания научно звучащего контента. Но собственные проверки модели на предвзятость и достоверность должны были удержать компанию от выпуска ее в открытый доступ.

Обычный способ, которым пользователи, выполняющие поиск, могут снизить вероятность выделения в больших языковых моделях токсичного контента, – отфильтровать определенные ключевые слова. Но трудно создать фильтр, который улавливал бы все нюансы, которыми люди могут быть неприятны. Компания избавила бы себя от множества проблем, если бы провела более противоречивые тесты на «Галактике», в которых исследователи попытались бы заставить ее извергнуть как можно больше различных предвзятых результатов.

Исследователи Meta измерили модель на предвзятость и достоверность, и, хотя она работала немного лучше, чем у конкурентов, таких как GPT-3 и собственная модель OPT Meta, она давала много предвзятых или неверных ответов. А также есть ряд других ограничений. Модель обучается на научных ресурсах с открытым доступом, но многие научные статьи и учебники ограничены платным доступом. Это неизбежно приводит к тому, что Galactica использует более отрывочные вторичные источники.

Галактика также кажется примером того, для чего нам на самом деле не нужен ИИ. Даже не похоже, что это поможет достичь заявленной цели Меты — помочь ученым работать быстрее. На самом деле, им потребовалось бы приложить много дополнительных усилий, чтобы проверить, была ли информация о модели точной или нет.

Очень разочаровывает (но совсем не удивляет), когда крупные лаборатории искусственного интеллекта, которым лучше знать, рекламируют такие несовершенные технологии. Мы знаем, что лингвистические модели склонны воспроизводить предубеждения и утверждать ложь как факты. Мы знаем, что они могут «галлюцинировать» или придумывать контент, например, вики-статьи об истории медведей в космосе. Но разгром был полезен хотя бы в одном. Это напомнило нам, что единственное, что «знают» большие языковые модели, — это то, как формируются слова и предложения. Все остальное — догадки.

Посмотрите на эту собаку-робота...