يوجد الآن بديل مفتوح المصدر لـ ChatGPT ، لكن حظًا سعيدًا في تشغيله

وصل أول برنامج مكافئ مفتوح المصدر لـ ChatGPT الخاص بـ OpenAI ، لكن حظًا سعيدًا في تشغيله على الكمبيوتر المحمول – أو على الإطلاق.

هذا الأسبوع ، أطلق Philip Wang ، المطور المسؤول عن أنظمة الذكاء الاصطناعي المغلقة المصدر للهندسة العكسية ، بما في ذلك Meta Make-A-Video ، PaLM + RLHF ، وهو نموذج لتوليد النص يتصرف بشكل مشابه لـ ChatGPT. يجمع النظام كف، نخلةنموذج لغة كبير من Google ، وتقنية تسمى Reinforcement Learning with Human Feedback – RLHF ، باختصار – لإنشاء نظام يمكنه إلى حد كبير إنجاز أي مهمة يمكن لـ ChatGPT ، بما في ذلك صياغة رسائل البريد الإلكتروني واقتراح رمز الكمبيوتر.

لكن PaLM + RLHF ليس مدربًا مسبقًا. وهذا يعني أن النظام لم يتم تدريبه على البيانات النموذجية من الويب اللازمة للعمل بالفعل. لن يؤدي تنزيل PaLM + RLHF إلى تثبيت تجربة شبيهة بـ ChatGPT بطريقة سحرية – فقد يتطلب ذلك تجميع وحدات غيغابايت من النص يمكن للنموذج من خلاله التعلم والعثور على أجهزة قوية بما يكفي للتعامل مع عبء العمل التدريبي.

مثل ChatGPT ، يعد PaLM + RLHF في الأساس أداة إحصائية للتنبؤ بالكلمات. عند تغذية عدد هائل من الأمثلة من بيانات التدريب – على سبيل المثال ، المنشورات من Reddit والمقالات الإخبارية والكتب الإلكترونية – يتعلم PaLM + RLHF مدى احتمالية حدوث الكلمات بناءً على أنماط مثل السياق الدلالي للنص المحيط.

يشترك كل من ChatGPT و PaLM + RLHF في صلصة خاصة في التعلم المعزز مع ردود الفعل البشرية ، وهي تقنية تهدف إلى مواءمة نماذج اللغة بشكل أفضل مع ما يرغب المستخدمون في تحقيقه. يتضمن RLHF تدريب نموذج لغوي – في حالة PaLM + RLHF ، PaLM – وضبطه على مجموعة بيانات تتضمن محفزات (على سبيل المثال ، “شرح التعلم الآلي لطفل يبلغ من العمر ست سنوات”) مقترنًا بما يتوقعه المتطوعون البشريون من النموذج لقول (على سبيل المثال ، “التعلم الآلي هو شكل من أشكال الذكاء الاصطناعي …”). ثم يتم تغذية المطالبات المذكورة أعلاه إلى النموذج الدقيق ، والذي يولد العديد من الاستجابات ، ويقوم المتطوعون بترتيب جميع الردود من الأفضل إلى الأسوأ. أخيرًا ، يتم استخدام التصنيفات لتدريب “نموذج المكافأة” الذي يأخذ ردود النموذج الأصلي ويصنفها حسب التفضيل ، مع تصفية أفضل الإجابات لموجه معين.

إنها عملية مكلفة لجمع بيانات التدريب. والتدريب بحد ذاته ليس رخيصًا. يبلغ حجم PaLM 540 مليار معلمة ، “معلمات” تشير إلى أجزاء من نموذج اللغة التي تم تعلمها من بيانات التدريب. 2020 دراسة ربطت نفقات تطوير نموذج لتوليد النص بـ 1.5 مليار معلمة فقط بما يصل إلى 1.6 مليون دولار. ولتدريب نموذج المصدر المفتوح Bloom ، الذي يحتوي على 176 مليار معلمة ، استغرق الأمر ثلاثة أشهر باستخدام 384 وحدة معالجة رسومات Nvidia A100 ؛ A100 واحد يكلف آلاف الدولارات.

إن تشغيل نموذج مدرب بحجم PaLM + RLHF ليس بالأمر السهل أيضًا. يتطلب Bloom جهاز كمبيوتر مخصصًا به حوالي ثمانية وحدات معالجة رسومات A100. البدائل السحابية باهظة الثمن ، مع حساب ظهر الظرف العثور على تكلفة تشغيل GPT-3 لإنشاء نصوص OpenAI – التي تحتوي على حوالي 175 مليار معلمة – على مثيل Amazon Web Services واحد لتصل إلى حوالي 87000 دولار سنويًا.

يشير سيباستيان راشكا ، باحث في الذكاء الاصطناعي ، إلى موقع LinkedIn بريد حول PaLM + RLHF أن توسيع نطاق تدفقات عمل التطوير اللازمة يمكن أن يمثل تحديًا أيضًا. قال: “حتى لو قام شخص ما بتزويدك بـ 500 وحدة معالجة رسومات (GPU) لتدريب هذا النموذج ، فلا يزال يتعين عليك التعامل مع البنية التحتية ولديك إطار عمل برمجي يمكنه التعامل مع ذلك”. “من الواضح أنه ممكن ، لكنه جهد كبير في الوقت الحالي (بالطبع ، نحن نطور أطر عمل لجعل ذلك أبسط ، لكنه لا يزال غير تافه ، حتى الآن).”

هذا كل ما نقول إن PaLM + RLHF لن يحل محل ChatGPT اليوم – إلا إذا واجه مشروع (أو شخص) ممول جيدًا التدريب وإتاحته للجمهور.

في أخبار أفضل ، تتقدم العديد من الجهود الأخرى لتكرار ChatGPT في مقطع سريع ، بما في ذلك واحد بقيادة مجموعة بحثية تسمى CarperAI. بالشراكة مع منظمة أبحاث الذكاء الاصطناعي المفتوحة EleutherAI والشركات الناشئة Scale AI و Hugging Face ، تخطط CarperAI لإصدار أول نموذج AI جاهز للتشغيل شبيه بـ ChatGPT تم تدريبه على ردود الفعل البشرية.

لايون ، المنظمة غير الربحية التي زودت مجموعة البيانات الأولية المستخدمة لتدريب الانتشار المستقر ، هي أيضًا القيادة مشروع لتكرار ChatGPT باستخدام أحدث تقنيات التعلم الآلي. بطموح ، تهدف LAION إلى بناء “مساعد المستقبل” – الذي لا يكتب رسائل البريد الإلكتروني ورسائل الغلاف فحسب ، بل “يقوم بعمل هادف ، ويستخدم واجهات برمجة التطبيقات ، ويبحث عن المعلومات ديناميكيًا وغير ذلك الكثير.” إنها في مراحلها الأولى. لكن جيثب صفحة بالموارد الخاصة بالمشروع بدأ العمل به منذ بضعة أسابيع.