كشف رائد محركات البحث في الصين عن نموذج لغوي كبير مفتوح المصدر لمنافسة OpenAI

في فبراير ، مؤسس Sogou وانغ Xiaochuan قال على Weibo أن “الصين بحاجة إلى OpenAI الخاصة بها”. يقترب رجل الأعمال الصيني الآن من تحقيق حلمه حيث أطلقت شركته الناشئة Baichuan Intelligence نموذجها اللغوي الكبير من الجيل التالي Baichuan-13B اليوم.

يتم وصف Baichuan كواحد من أكثر مطوري LLM الواعدين في الصين ، وذلك بفضل ماضي مؤسسها باعتباره معجزة في علوم الكمبيوتر من جامعة Tsinghua وتأسيس مزود محرك البحث Sogou ، الذي استحوذت عليه Tencent لاحقًا.

استقال وانغ من شركة Sogou في أواخر عام 2021. عندما استحوذت ChatGPT على العالم ، أطلق رجل الأعمال شركة Baichuan في أبريل وسرعان ما حصل على تمويل بقيمة 50 مليون دولار من مجموعة من المستثمرين الملاك.

مثل LLMs الأخرى المحلية في الصين ، يتم تدريب Baichuan ، وهو نموذج مكون من 13 مليار معلمة يعتمد على بنية المحولات (والذي يدعم أيضًا GPT) ، على البيانات الصينية والإنجليزية. (تشير المعلمات إلى المتغيرات التي يستخدمها النموذج لإنشاء النص وتحليله.) النموذج مفتوح المصدر ومُحسَّن للتطبيق التجاري ، وفقًا لصفحة GitHub الخاصة به.

يتم تدريب Baichuan-13 على 1.4 تريليون توكن. في المقارنة ، Meta LLaMa يستخدم 1 تريليون رمز في نموذج 13 مليار معلمة. قال وانغ سابقًا في مقابلة أن شركته الناشئة كانت في طريقها لإطلاق نموذج واسع النطاق يمكن مقارنته بـ OpenAI’s GPT-3.5 بحلول نهاية هذا العام.

بعد أن بدأت قبل ثلاثة أشهر فقط ، حققت Baichuan بالفعل سرعة ملحوظة في التنمية. بحلول نهاية أبريلنما الفريق إلى 50 شخصًا ، وفي يونيو ، طرح أول LLM ، وهو نموذج ما قبل التدريب Baichuan-7B الذي يضم 7 مليارات متغير.

الآن ، النموذج التأسيسي Baichuan-13B متاح مجانًا للأكاديميين والمطورين الذين حصلوا على موافقة رسمية لاستخدامه لأغراض تجارية. الأهم من ذلك ، في عصر عقوبات رقائق الذكاء الاصطناعي الأمريكية على الصين ، يقدم النموذج اختلافات يمكن تشغيلها على أجهزة من فئة المستهلك ، بما في ذلك بطاقات الرسوم Nvidia 3090.

ومن بين الشركات الصينية الأخرى التي استثمرت بكثافة في نماذج اللغات الكبيرة شركة محرك البحث العملاقة بايدو ؛ Zhipu.ai ، فرع من جامعة تسينغهوا بقيادة الأستاذ تانغ جي؛ بالإضافة إلى معهد الأبحاث IDEA بقيادة هاري شوم ، الذي شارك في تأسيس Microsoft Research Asia.

تظهر النماذج اللغوية الكبيرة في الصين بسرعة حيث تستعد البلاد لتنفيذ بعض لوائح الذكاء الاصطناعي الأكثر صرامة في العالم. بحسب ما أوردته صحيفة فاينانشيال تايمز، من المتوقع أن تضع الصين لوائح للذكاء الاصطناعي التوليدي مع التركيز بشكل خاص على المحتوى ، مما يشير إلى تشديد الرقابة على القواعد التي تم تقديمها في أبريل. قد تحتاج الشركات أيضًا إلى الحصول على ترخيص قبل إطلاق نماذج لغوية كبيرة ، مما قد يبطئ جهود الصين للتنافس مع الولايات المتحدة في الصناعة الناشئة.