«Дуже велика проблема» — Dolly — це безкоштовна модель ШІ з відкритим вихідним кодом, схожа на ChatGPT

Розгорнути Databrick

У середу компанія Databricks випустила Dolly 2.0, яка, як вважають, стане першою широкомовною моделлю (LLM) з відкритим вихідним кодом для комерційного використання, вдосконаленою на основі створеного людьми набору даних. Це може стати переконливою відправною точкою для конкурентів ChatGPT homebrew.

Databricks – це американська компанія з корпоративного програмного забезпечення, заснована в 2013 році творцями Apache Spark. Вони надають веб-платформу для роботи зі Spark для великих даних і машинного навчання. Випускаючи Dolly, Databricks сподівається дати можливість організаціям створювати та налаштовувати LLM «без плати за доступ до API або обміну даними з третіми сторонами», як йдеться в блозі запуску Dolly.

Dolly 2.0, її нова модель із 12 мільярдами параметрів, заснована на сімействі моделей pythia EleutherAI і вдосконалена виключно на даних навчання (так звані «databricks-dolly-15k») від співробітників Databricks. Це калібрування надає йому можливості, які більше відповідають ChatGPT OpenAI, який краще відповідає на запитання та бере участь у діалозі як чат-бот, ніж необроблений LLM, який не вдосконалено.

Dolly 1.0, випущений у березні, зіткнувся з обмеженнями для комерційного використання через навчальні дані, які містили дані ChatGPT (завдяки Alpaca) і підпадали під дію Умов використання OpenAI. Щоб вирішити цю проблему, команда Databricks намагалася створити новий набір даних, який би дозволив комерційне використання.

Для цього в період з березня по квітень 2023 року Databricks організувала 13 000 демонстрацій поведінки з дотриманням інструкцій від понад 5 000 своїх співробітників. Щоб заохотити участь, вони провели конкурс і поставили сім завдань для створення даних, включаючи відкриті запитання та відповіді. . , закриті запитання та відповіді, вилучення та синтез інформації з Вікіпедії, мозковий штурм, класифікація та творче письмо.

Отриманий набір даних разом із ваговими коефіцієнтами моделі та навчальним кодом Dolly було випущено з повністю відкритим вихідним кодом за ліцензією Creative Commons, що дозволяє будь-кому використовувати, змінювати чи розширювати набір даних для будь-яких цілей, включаючи комерційні програми.< / p>

На відміну від цього, ChatGPT від OpenAI є власною моделлю, яка вимагає від користувачів платити за доступ до API та дотримуватися певних умов обслуговування, що потенційно обмежує гнучкість і параметри налаштування для компаній і організацій. LLaMA від Meta, модель із частково відкритим вихідним кодом (з обмеженими вагами), яка нещодавно породила хвилю похідних після витоку її ваг у BitTorrent, не допускає комерційного використання.

На Mastodon дослідник ШІ Саймон Віллісон назвав Dolly 2.0 «дуже важливою». Віллісон часто експериментує з моделями мови з відкритим вихідним кодом, включаючи Dolly. «Одна з найцікавіших речей у Dolly 2.0 — це набір інструкцій для тонкого налаштування, який був створений вручну 5000 співробітниками Databricks і випущений за ліцензією CC», — написав Віллісон у toot Mastodon.

Якщо захоплена реакція на частково відкриту модель LLaMA Meta є ознакою, Dolly 2.0 потенційно може розв’язати нову хвилю мовних моделей з відкритим вихідним кодом, які не обмежуються пропрієтарними обмеженнями чи обмеженнями на комерційне використання. Хоча фактична продуктивність Dolly все ще відома, подальші вдосконалення можуть дозволити достатньо потужним LLM працювати на локальних споживчих машинах.

"Навіть якщо Dolly 2 погана, я сподіваюся побачити купу нових проектів, які використовують цю збірку...