4 أفكار عميقة حول التعلم العميق في عام 2022

هل فاتتك جلسة MetaBeat 2022؟ توجه إلى المكتبة عند الطلب لجميع جلساتنا المميزة هنا.

نترك عامًا آخر من التطورات المثيرة في مجال التعلم العميق والذكاء الاصطناعي (AI) ، عامًا مليئًا بالتقدم الملحوظ والجدل وبالطبع الخلاف. بينما نختتم 2022 ونستعد لاحتضان ما يخبئه عام 2023 ، إليك بعض أبرز الاتجاهات العالمية التي ميزت هذا العام في التعلم العميق. 1. المقياس يظل عاملا هاما

يتمثل أحد الموضوعات التي ظلت ثابتة في التعلم العميق على مدار السنوات القليلة الماضية في الدافع لإنشاء شبكات عصبية أكبر. يتيح توافر موارد الحوسبة إمكانية توسيع نطاق الشبكات العصبية ، فضلاً عن أجهزة الذكاء الاصطناعي المتخصصة ، ومجموعات البيانات الكبيرة ، وتطوير بنى قابلة للتطوير مثل نموذج المحولات. / p>

في الوقت الحالي ، تحقق الشركات نتائج أفضل من خلال توسيع نطاق الشبكات العصبية إلى أحجام أكبر. في العام الماضي ، أعلنت DeepMind عن Gopher ، نموذج لغة كبير (LLM) يبلغ 280 مليار متغير ؛ أعلنت Google عن نموذج لغة Pathways (PaLM) ، مع 540 مليار معلمة ، ونموذج اللغة العام (GLaM) ، مع ما يصل إلى 1.2 تريليون معلمة ؛ و Microsoft و Nvidia أطلقت Megatron-Turing NLG ، 530 مليار معامل LLM.

أحد الجوانب المثيرة للاهتمام في المقياس هو القدرات الناشئة ، حيث تتمكن النماذج الأكبر من إنجاز المهام التي كانت مستحيلة مع النماذج الأصغر. كانت هذه الظاهرة مثيرة للاهتمام بشكل خاص في LLMs ، حيث تُظهر النماذج نتائج واعدة على نطاق أوسع من المهام والمعايير أثناء نموها. حدث

رأس منخفض / لا يوجد كود

انضم إلى كبار القادة اليوم في قمة Code Low / No-Code تقريبًا في 9 نوفمبر. اشترك للحصول على بطاقتك المجانية اليوم. سجل هنا

ومع ذلك ، تجدر الإشارة إلى أن بعض المشكلات الأساسية للتعلم العميق تظل دون حل حتى في النماذج الأكبر (المزيد حول ذلك في لحظة). 2. يستمر التعلم غير الخاضع للإشراف في تحقيق النتائج

تتطلب العديد من تطبيقات التعلم العميق الناجحة من البشر تسمية أمثلة التدريب ، والمعروفة أيضًا باسم التعلم الخاضع للإشراف. لكن معظم البيانات المتاحة على الإنترنت لا تأتي مع الملصقات المناسبة اللازمة للتعلم تحت الإشراف. كما أن التعليقات التوضيحية على البيانات باهظة الثمن وبطيئة ، مما يؤدي إلى حدوث اختناقات. لهذا السبب سعى الباحثون منذ فترة طويلة إلى تحقيق تقدم في التعلم غير الخاضع للإشراف ، حيث يتم تدريب نماذج التعلم العميق دون الحاجة إلى بيانات مشروحة بشريًا.

كان هناك تقدم هائل في هذا المجال في السنوات الأخيرة ، لا سيما في LLMs ، والتي يتم تدريبها في الغالب على مجموعات كبيرة من البيانات الأولية التي تم جمعها من الإنترنت. مع استمرار نمو LLM في عام 2022 ، رأينا أيضًا اتجاهات أخرى في تقنيات التعلم غير الخاضعة للإشراف تكتسب قوة دفع.

على سبيل المثال ، تم إحراز تقدم هائل في نماذج تحويل النص إلى صورة هذا العام. نماذج مثل DALL-E 2 من OpenAI و Imagen من Google و Stable Diffusion من Stability AI عرضت ...