Meta تكشف بهدوء عن Llama 2 Long AI التي تتفوق على GPT-3.5 Turbo وClaude 2 في مهام معينة

<ص> <م> بيزنسبيت حاضر : منظمة العفو الدولية غير مقيد - أ حصري تنفيذي حدث ل شركة بيانات المسؤولين. شبكة و يتعلم مع صناعة الأقران. يتعلم المزيد

<ص> ميتا المنصات ساعة عاجز أ فرقة ل جديد منظمة العفو الدولية سمات ل إنها الموجهة نحو المستهلك تقديم خدمة الفيسبوك، انستغرام و واتساب الى إنها سنوي ميتا يتصل مؤتمر في مينلو حديقة، كاليفورنيا, هذا الاسبوع.

<ص> لكن ال الاكبر أخبار منذ ماركة زوكربيرج شركة يمكن يمتلك في الواقع يأتي في ال استمارة ل أ حاسوب علم ورق نشرت بدون ضجة بواسطة ميتا الباحثين على ال يفتح تنضم و غير زوج مُراجع موقع إلكتروني arXiv.org.

<ص> ال ورق حاضر لاما 2 طويل، أ جديد منظمة العفو الدولية نموذج قاعدة على التعريف يفتح مصدر لاما 2 مطلق سراحه في ال صيف، لكن ان الى عانى "مستمر تجريب قبل منذ لاما 2 مع اكثر طولا تمرين تسلسلات و على أ قاعدة البيانات أو طويل النصوص نكون مفرط "، بحسب الى ال الباحثين المؤلفين ل ال ورق.

<ص> مثل أ نتيجة ل هذا، التعريف حديثا استطال منظمة العفو الدولية نموذج يفوق قليلة ل ال قيادة مسابقة في مولد كهرباء إجابات الى طويل (أعلى شخصية عدد) مستخدم تعليمات، بما فيه OpenAI جي بي تي-3.5 توربيني مع 16000 حرف سياق نافذة او شباك، مثل حسن مثل كلود 2 مع إنها 100.000 حرف سياق النافذة.

حدث <ص> منظمة العفو الدولية أطلق العنان

<ص> أ حصري دعوة فقط مساء ل معرفة و الشبكات, مصممة ل كبير شركة المديرين يراقب بيانات بطارية و الاستراتيجيات.

يتعلم أكثر <ص> ميتا الباحثين أخذ ال إبداعي لاما 2 متاح في إنها مختلف تمرين جلسة الأحجام — ال قيم ل بيانات و معلومة ال خوارزمية يمكن يتغير على إنها نظيف مثل هو يتعلم، أيّ في ال قضية ل لاما 2 يأتي في 7 مليار, 13 مليار, 34 مليار, و 70 مليار المتغيرات — و متضمنة أكثر اكثر طولا نص بيانات مصادر ان ال إبداعي لاما 2 تمرين قاعدة البيانات. آخر 400 مليار رموز تستحق, الى يكون صحيح.

<ص> ثم، ال الباحثين يحمي ال إبداعي لاما 2 بنيان ال حتى، و فقط يفعل أ "ضروري تعديل الى ال الموضعية الترميز ان شرق مهم ل ال نموذج الى حضور لمدة اطول. »

<ص> ان تعديل كان الى ال الروتاري الموضعية اندماج (حبل) ترميز, أ طريقة ل برمجة ال محول نموذج الكامنة ماجستير هذه مثل لاما 2 (و لاما 2 طويل)، أيّ أساسًا الخطط هُم رمز مميز التكامل (ال أعداد مستخدم الى يمثل كلمات، مفاهيم, و الأفكار) على أ 3D جدول ان ساعة هُم المواقف نسبي الى آخر الرموز, حتى متى تحولت. هذا يسمح أ نموذج الى ينتج محدد و مفيد الإجابات، مع أقل معلومة (و هكذا، أقل المعلوميات تخزين مأخوذ في الأعلى) ان آخر النهج.

<ص> ال ميتا الباحثين "يتناقص ال دوران ركن" ل إنها حبل الترميز منذ لاما 2 الى لاما 2 طويل، أيّ نشطة هم الى يضمن أكثر "بعيد الرموز "، أولئك يحدث أكثر نادرًا أو مع أقل آخر علاقات الى آخر قِطَع ل معلومة، كان دائماً متضمنة في ال عارضات ازياء وعي الأساس.

<ص> باستعمال تعزيز تعلُّم منذ بشر خلف (RLHF)، أ شائع منظمة العفو الدولية نموذج تمرين طريقة أو منظمة العفو الدولية شرق جائزة ل صحيح إجابات مع بشر يراقب الى يفحص هو، و اصطناعي بيانات ولدت بواسطة لاما 2 قطة نفسه، ال الباحثين كان قادر الى يحسن إنها أداء في شائع ماجستير مهام بما فيه ترميز, الرياضيات، لغة تفهم، شائع ...