Meta тихо представляє Llama 2 Long AI, який перемагає GPT-3.5 Turbo та Claude 2 у певних завданнях

BusinessBeat присутній: ШІ Розкутий - А ексклюзивний виконавчий подія для бізнес даних керівники. Мережа І навчитися з промисловість ровесники. вчитися Більше

Мета Платформи дивитися вимкнено А гурт з новий ШІ особливості для Це є орієнтований на споживача послуги Facebook, Instagram І WhatsApp має Це є річний Мета Підключитися конференції в Менло Парк, Каліфорнія, Це тиждень.

але THE найбільший новини Оскільки Бренд Цукерберга бізнес може мати Насправді прийти в THE форму з А комп'ютер наука папір опубліковано без фанфари за Мета дослідники на THE ВІДЧИНЕНО доступу І непарний переглянуто веб-сайт arXiv.org.

THE папір присутній Лама 2 Довго, А новий ШІ модель база на Мета ВІДЧИНЕНО джерело Лама 2 звільнений в THE літо, але що має постраждав "безперервний перед тренуванням Оскільки Лама 2 з довше навчання послідовності І на А бази даних Або довго тексти є надмірна вибірка", відповідно до має THE дослідники-авт з THE папір.

як А результат з це, Мета нещодавно видовжуватись ШІ модель перевершує декілька з THE провідний змагання в генератор відповіді має довго (верхній характер рахувати) користувача інструкції, в тому числі OpenAI GPT-3.5 Турбо з 16 000 символів контекст вікно, як ДОБРЕ як Клод 2 з Це є 100 000 символів контекст вікно.

ШІ Звільнено

А ексклюзивний тільки запрошення вечір з знання І мережа, розроблений для старший бізнес керівників моніторинг даних Акумулятор І стратегії.

Мета дослідники взяв THE оригінальний Лама 2 доступний в Це є інший навчання налаштування розміри — THE значення з даних І інформації THE алгоритм може змінити на Це є власні як він навчитися, котрий в THE справа з Лама 2 прийти в 7 мільярд, 13 мільярд, 34 мільярд, І 70 мільярд варіанти — І включені більше довше текст даних джерела що THE оригінальний Лама 2 навчання бази даних. інший 400 мільярд варті жетони, має бути правильно.

ТАК, THE дослідники сторожовий THE оригінальний Лама 2 архітектура THE навіть, І тільки робити А "необхідно модифікація має THE позиційний кодування що схід вирішальне значення для THE модель має відвідувати Довше. »

що модифікація був має THE Ротарі Позиційний Інтеграція (мотузка) кодування, А метод з програмування THE трансформатор модель лежить в основі магістр права такий як Лама 2 (І Лама 2 Довго), котрий в основному Плани їх жетон інтеграції (THE Числа використовується має представляють слова, поняття, І ідеї) на А 3D діаграма що дивитися їх позиції відносний має інший жетони, навіть Коли повернувся. Це дозволяють А модель має виробляти точні І корисний відповіді, з менше інформації (І Таким чином, менше обчислення зберігання взято вгору) що інший підходи.

THE Мета дослідники "зменшується THE обертання кут" з Це є Мотузка кодування Оскільки Лама 2 має Лама 2 Довго, котрий активовано їх має забезпечити більше "далеко жетони», ті відбувається більше рідко Або з менше інший стосунки має інший штук з інформація, були завжди включені в THE моделі обізнаність основі.

Використання армування навчання Оскільки людини назад (RLHF), А поширений ШІ модель навчання метод Або ШІ схід нагорода для правильно відповіді з людини моніторинг має перевірити він, І синтетичний даних створений за Лама 2 кіт сам, THE дослідники були здатний має покращити Це є продуктивність в поширений магістр права завдання в тому числі кодування, математика, мова розуміння, поширений ...