لماذا يُعد الذكاء الاصطناعي الموزع مفتاحًا لدفع حدود ابتكار الذكاء الاصطناعي
قال أيون ستويكا ، المؤسس المشارك والرئيس التنفيذي ورئيس Anyscale في اليوم الأول من VB Transform ، إن مستقبل الذكاء الاصطناعي يتم توزيعه. وذلك لأن تعقيد النموذج لا يظهر أي علامات على التباطؤ.
"على مدار العامين الماضيين ، زادت المتطلبات الحسابية لتدريب نموذج متقدم ، اعتمادًا على مجموعة البيانات ، ما بين 10 و 35 مرة كل 18 شهرًا.
منذ أقل من خمس سنوات ، استقرت أكبر الموديلات على وحدة معالجة رسومات واحدة ؛ تقدم سريعًا حتى يومنا هذا ومناسبة لمعايير النماذج الأكثر تقدمًا تتطلب مئات أو حتى الآلاف من وحدات معالجة الرسومات. يحتوي PaLM ، أو نموذج لغة المسار من Google ، على 530 مليار معلمة - وهذا فقط حوالي نصف أكبرها ، مع أكثر من 1 تريليون معلمة. تستخدم الشركة أكثر من 6000 وحدة معالجة رسومات لتدريب الأحدث.
حتى إذا توقفت هذه النماذج عن النمو واستمرت وحدات معالجة الرسومات في التقدم بنفس المعدل السريع كما في السنوات السابقة ، فسيستغرق الأمر حوالي 19 عامًا قبل أن تصبح متطورة بما يكفي لتشغيل هذه النماذج المتطورة على وحدة معالجة رسومات واحدة. ، وأضاف Stoica.
"في الأساس ، هناك فجوة ضخمة ومتنامية من شهر إلى شهر بين متطلبات تطبيقات التعلم الآلي وإمكانيات معالج واحد أو خادم واحد" ، كما أعلن. "لا توجد طريقة أخرى لدعم أعباء العمل هذه من توزيعها. بكل بساطة. كتابة هذه التطبيقات الموزعة أمر صعب. بل إنه في الواقع أصعب من ذي قبل. " التحديات الفريدة لتوسيع نطاق التطبيقات وأعباء العمل
يتضمن بناء تطبيق التعلم الآلي عدة خطوات ، من وضع العلامات والمعالجة المسبقة للبيانات ، إلى التدريب ، وضبط المعلمات الفائقة ، والتدفق ، والتعلم المعزز ، وما إلى ذلك ، ويجب أن تتطور كل مرحلة من هذه المراحل. عادةً ما تتطلب كل خطوة نظامًا موزعًا مختلفًا. من أجل بناء خطوط أو تطبيقات تعلم الآلة من البداية إلى النهاية ، من الضروري الآن تجميع هذه الأنظمة ، ولكن أيضًا لإدارة كل منها. ويتطلب أيضًا تطوير مجموعة متنوعة من واجهات برمجة التطبيقات. كل هذا يضيف تعقيدًا هائلاً إلى مشروع الذكاء الاصطناعي / التعلم الآلي.
قال ستويكا إن مهمة مشروع Ray Distributed Computing مفتوح المصدر و Anyscale هو تسهيل توسيع نطاق أعباء عمل الحوسبة الموزعة.
"مع Ray ، حاولنا توفير إطار عمل حسابي يمكنك من خلاله بناء هذه التطبيقات من البداية إلى النهاية ،" قال. "يوفر W Anyscale أساسًا شعاعًا مستضافًا ومُدارًا ، وبالطبع ميزات وأدوات أمان لتسهيل تطوير هذه التطبيقات ونشرها وإدارتها." الحوسبة الهجينة ذات الحالة والعديمة الحالة
أطلقت الشركة مؤخرًا منتجًا بدون خادم ، والذي يلغي الوظائف المطلوبة ، مما يلغي الحاجة إلى القلق بشأن مكان تشغيل هذه الوظائف ويخفف العبء عن المطورين والمبرمجين أثناء تقدمهم. ولكن مع وجود بنية تحتية شفافة ، تكون الوظائف محدودة في وظائفها - فهي تجري العمليات الحسابية وتعيد كتابة البيانات إلى S3 ، على سبيل المثال ، ثم تختفي - لكن العديد من التطبيقات تتطلب مشغلين يتمتعون بالحالة.
على سبيل المثال ، سيصبح التدريب ، الذي يتطلب قدرًا كبيرًا من البيانات ، مكلفًا للغاية إذا تمت كتابته مرة أخرى إلى S3 بعد كل تكرار ، أو حتى تم نقله للتو من ذاكرة وحدة معالجة الرسومات إلى ذاكرة الجهاز ، بسبب زيادة تكلفة الحصول على البيانات ثم عادةً إجراء تسلسل لتلك البيانات وإلغاء تسلسلها.
"تم إنشاء Ray ، منذ اليوم الأول ، حول هذه الأنواع من المشغلين الذين يمكنهم الاستمرار في الحالة وتحديث الحالة باستمرار ، والتي نطلق عليها في مصطلحات هندسة البرمجيات" الجهات الفاعلة "" ، قال. "لقد دعم Ray دائمًا هذا الوضع المزدوج لهذا النوع من الحوسبة عديمة الحالة وذات الحالة." ما الأدوار التي يتم تنفيذ الذكاء الاصطناعي فيها؟
من المغري أن نقول إن تنفيذ الذكاء الاصطناعي قد وصل أخيرًا إلى مرحلة المشي ، ودُفع إلى الأمام في رحلة تحول الذكاء الاصطناعي من خلال التسارع الأخير للنمو الرقمي - لكننا لم نر ذلك. لقد رأينا فقط قمة جبل الجليد ، قال ستويكا. لا تزال هناك فجوة بين حجم السوق الحالي والفرصة ، على غرار حالة البيانات الضخمة منذ حوالي 10 سنوات.
"يستغرق الأمر وقتًا ، لأن الوقت [المطلوب] لا يقتصر فقط على تطوير الأدوات" ، قال. "إنه تدريب الناس. متخصصي التدريب. يستغرق وقتا أطول. إذا نظرت إلى البيانات الضخمة وما حدث ، فمنذ ثماني سنوات بدأت العديد من الجامعات في تقديم درجات علمية في علم البيانات. وبالطبع هناك الكثير من الدورات التدريبية الآن ، دورات الذكاء الاصطناعي ، لكنني أعتقد أنك سترى المزيد والمزيد من الدورات التطبيقية في الذكاء الاصطناعي والبيانات ، من ...
قال أيون ستويكا ، المؤسس المشارك والرئيس التنفيذي ورئيس Anyscale في اليوم الأول من VB Transform ، إن مستقبل الذكاء الاصطناعي يتم توزيعه. وذلك لأن تعقيد النموذج لا يظهر أي علامات على التباطؤ.
"على مدار العامين الماضيين ، زادت المتطلبات الحسابية لتدريب نموذج متقدم ، اعتمادًا على مجموعة البيانات ، ما بين 10 و 35 مرة كل 18 شهرًا.
منذ أقل من خمس سنوات ، استقرت أكبر الموديلات على وحدة معالجة رسومات واحدة ؛ تقدم سريعًا حتى يومنا هذا ومناسبة لمعايير النماذج الأكثر تقدمًا تتطلب مئات أو حتى الآلاف من وحدات معالجة الرسومات. يحتوي PaLM ، أو نموذج لغة المسار من Google ، على 530 مليار معلمة - وهذا فقط حوالي نصف أكبرها ، مع أكثر من 1 تريليون معلمة. تستخدم الشركة أكثر من 6000 وحدة معالجة رسومات لتدريب الأحدث.
حتى إذا توقفت هذه النماذج عن النمو واستمرت وحدات معالجة الرسومات في التقدم بنفس المعدل السريع كما في السنوات السابقة ، فسيستغرق الأمر حوالي 19 عامًا قبل أن تصبح متطورة بما يكفي لتشغيل هذه النماذج المتطورة على وحدة معالجة رسومات واحدة. ، وأضاف Stoica.
"في الأساس ، هناك فجوة ضخمة ومتنامية من شهر إلى شهر بين متطلبات تطبيقات التعلم الآلي وإمكانيات معالج واحد أو خادم واحد" ، كما أعلن. "لا توجد طريقة أخرى لدعم أعباء العمل هذه من توزيعها. بكل بساطة. كتابة هذه التطبيقات الموزعة أمر صعب. بل إنه في الواقع أصعب من ذي قبل. " التحديات الفريدة لتوسيع نطاق التطبيقات وأعباء العمل
يتضمن بناء تطبيق التعلم الآلي عدة خطوات ، من وضع العلامات والمعالجة المسبقة للبيانات ، إلى التدريب ، وضبط المعلمات الفائقة ، والتدفق ، والتعلم المعزز ، وما إلى ذلك ، ويجب أن تتطور كل مرحلة من هذه المراحل. عادةً ما تتطلب كل خطوة نظامًا موزعًا مختلفًا. من أجل بناء خطوط أو تطبيقات تعلم الآلة من البداية إلى النهاية ، من الضروري الآن تجميع هذه الأنظمة ، ولكن أيضًا لإدارة كل منها. ويتطلب أيضًا تطوير مجموعة متنوعة من واجهات برمجة التطبيقات. كل هذا يضيف تعقيدًا هائلاً إلى مشروع الذكاء الاصطناعي / التعلم الآلي.
قال ستويكا إن مهمة مشروع Ray Distributed Computing مفتوح المصدر و Anyscale هو تسهيل توسيع نطاق أعباء عمل الحوسبة الموزعة.
"مع Ray ، حاولنا توفير إطار عمل حسابي يمكنك من خلاله بناء هذه التطبيقات من البداية إلى النهاية ،" قال. "يوفر W Anyscale أساسًا شعاعًا مستضافًا ومُدارًا ، وبالطبع ميزات وأدوات أمان لتسهيل تطوير هذه التطبيقات ونشرها وإدارتها." الحوسبة الهجينة ذات الحالة والعديمة الحالة
أطلقت الشركة مؤخرًا منتجًا بدون خادم ، والذي يلغي الوظائف المطلوبة ، مما يلغي الحاجة إلى القلق بشأن مكان تشغيل هذه الوظائف ويخفف العبء عن المطورين والمبرمجين أثناء تقدمهم. ولكن مع وجود بنية تحتية شفافة ، تكون الوظائف محدودة في وظائفها - فهي تجري العمليات الحسابية وتعيد كتابة البيانات إلى S3 ، على سبيل المثال ، ثم تختفي - لكن العديد من التطبيقات تتطلب مشغلين يتمتعون بالحالة.
على سبيل المثال ، سيصبح التدريب ، الذي يتطلب قدرًا كبيرًا من البيانات ، مكلفًا للغاية إذا تمت كتابته مرة أخرى إلى S3 بعد كل تكرار ، أو حتى تم نقله للتو من ذاكرة وحدة معالجة الرسومات إلى ذاكرة الجهاز ، بسبب زيادة تكلفة الحصول على البيانات ثم عادةً إجراء تسلسل لتلك البيانات وإلغاء تسلسلها.
"تم إنشاء Ray ، منذ اليوم الأول ، حول هذه الأنواع من المشغلين الذين يمكنهم الاستمرار في الحالة وتحديث الحالة باستمرار ، والتي نطلق عليها في مصطلحات هندسة البرمجيات" الجهات الفاعلة "" ، قال. "لقد دعم Ray دائمًا هذا الوضع المزدوج لهذا النوع من الحوسبة عديمة الحالة وذات الحالة." ما الأدوار التي يتم تنفيذ الذكاء الاصطناعي فيها؟
من المغري أن نقول إن تنفيذ الذكاء الاصطناعي قد وصل أخيرًا إلى مرحلة المشي ، ودُفع إلى الأمام في رحلة تحول الذكاء الاصطناعي من خلال التسارع الأخير للنمو الرقمي - لكننا لم نر ذلك. لقد رأينا فقط قمة جبل الجليد ، قال ستويكا. لا تزال هناك فجوة بين حجم السوق الحالي والفرصة ، على غرار حالة البيانات الضخمة منذ حوالي 10 سنوات.
"يستغرق الأمر وقتًا ، لأن الوقت [المطلوب] لا يقتصر فقط على تطوير الأدوات" ، قال. "إنه تدريب الناس. متخصصي التدريب. يستغرق وقتا أطول. إذا نظرت إلى البيانات الضخمة وما حدث ، فمنذ ثماني سنوات بدأت العديد من الجامعات في تقديم درجات علمية في علم البيانات. وبالطبع هناك الكثير من الدورات التدريبية الآن ، دورات الذكاء الاصطناعي ، لكنني أعتقد أنك سترى المزيد والمزيد من الدورات التطبيقية في الذكاء الاصطناعي والبيانات ، من ...
What's Your Reaction?
