يقوم AI2 بتطوير نموذج لغوي كبير مُحسّن للعلم

PaLM 2. GPT-4. قائمة الذكاء الاصطناعي لتوليد النص تنمو عمليًا يومًا بعد يوم.

معظم هذه النماذج محاطة بجدار خلف واجهات برمجة التطبيقات ، مما يجعل من المستحيل على الباحثين أن يروا بالضبط ما الذي يجعلها علامة. لكن جهود المجتمع تؤدي بشكل متزايد إلى إنتاج ذكاء اصطناعي مفتوح المصدر يكون متطورًا ، إن لم يكن أكثر ، من نظرائهم التجاريين.

أحدث هذه الجهود هو نموذج اللغة المفتوحة ، وهو نموذج لغة كبير من المقرر إصداره من قبل معهد ألين غير الربحي لأبحاث الذكاء الاصطناعي (AI2) في وقت ما في عام 2024. يتم تطوير نموذج اللغة المفتوحة ، أو OLMo باختصار ، بالتعاون مع AMD وكونسورتيوم البنية التحتية الحديثة الموحدة الكبيرة ، والتي توفر قوة حوسبة فائقة للتدريب والتعليم ، بالإضافة إلى Surge AI و MosaicML (التي توفر البيانات ورمز التدريب).

قالت هانا هاجيشيرزي ، كبيرة مديري أبحاث البرمجة اللغوية العصبية في AI2 ، لـ TechCrunch في مقابلة عبر البريد الإلكتروني: “تحتاج مجتمعات البحث والتكنولوجيا إلى الوصول إلى نماذج لغة مفتوحة لتعزيز هذا العلم”. “مع OLMo ، نعمل على سد الفجوة بين قدرات البحث العامة والخاصة والمعرفة من خلال بناء نموذج لغة تنافسي.”

قد يتساءل المرء – بما في ذلك هذا المراسل – لماذا شعر AI2 بالحاجة إلى تطوير نموذج لغة مفتوحة عندما يكون هناك بالفعل العديد للاختيار من بينها (انظر يزدهرميتا LLaMA، إلخ.). الطريقة التي يراها Hajishirzi ، في حين أن الإصدارات مفتوحة المصدر حتى الآن كانت قيّمة وحتى تجاوزت الحدود ، فقد فاتتهم العلامة بطرق مختلفة.

يرى AI2 أن OLMo منصة ، وليس مجرد نموذج – نموذج سيسمح لمجتمع البحث بأخذ كل مكون ينشئه AI2 وإما استخدامه بأنفسهم أو السعي إلى تحسينه. يقول حاجيشيرزي إن كل شيء تقدمه AI2 لـ OLMo سيكون متاحًا بشكل مفتوح ، بما في ذلك العرض التوضيحي العام ومجموعة بيانات التدريب وواجهة برمجة التطبيقات (API) ، ويتم توثيقه مع استثناءات “محدودة للغاية” بموجب الترخيص “المناسب”.

قال حاجيشيرزي: “نحن نبني OLMo لتوفير وصول أكبر لمجتمع أبحاث الذكاء الاصطناعي للعمل مباشرة على نماذج اللغة”. “نعتقد أن التوافر الواسع لجميع جوانب OLMo سيمكن مجتمع البحث من اتخاذ ما نقوم بإنشائه والعمل على تحسينه. هدفنا النهائي هو التعاون في بناء أفضل نموذج للغة المفتوحة في العالم “.

إن عامل التمييز الآخر لـ OLMo ، وفقًا لنوح سميث ، كبير مديري أبحاث البرمجة اللغوية العصبية في AI2 ، هو التركيز على تمكين النموذج من الاستفادة بشكل أفضل من الكتب المدرسية والأوراق الأكاديمية وفهمها بدلاً من الكود على سبيل المثال. كانت هناك محاولات أخرى لهذا ، مثل ميتا سيئ السمعة جلاكتيكا نموذج. لكن حاجيشيرزي يعتقد أن عمل AI2 في الأوساط الأكاديمية والأدوات التي طورتها للبحث ، مثل Semantic Scholar ، ستساعد في جعل OLMo “مناسبًا بشكل فريد” للتطبيقات العلمية والأكاديمية.

قال سميث: “نعتقد أن OLMo لديه القدرة على أن يكون شيئًا مميزًا حقًا في هذا المجال ، لا سيما في مشهد يسارع فيه الكثيرون للاستفادة من الفائدة في نماذج الذكاء الاصطناعي التوليدية”. تمنحنا قدرة AI2 الفريدة على العمل كخبراء تابعين لجهات خارجية فرصة للعمل ليس فقط مع خبراتنا ذات المستوى العالمي ولكن التعاون مع أقوى العقول في الصناعة. ونتيجة لذلك ، نعتقد أن نهجنا الصارم والموثق سيمهد الطريق لبناء الجيل التالي من تقنيات الذكاء الاصطناعي الآمنة والفعالة “.

هذا شعور جميل بالتأكيد. ولكن ماذا عن القضايا الأخلاقية والقانونية الشائكة حول التدريب – وإطلاق – الذكاء الاصطناعي التوليدي؟ يحتدم الجدل حول حقوق مالكي المحتوى (من بين أصحاب المصلحة الآخرين المتأثرين) ، وعدد لا يحصى من القضايا المزعجة التي لم تتم تسويتها بعد في المحاكم.

لتهدئة المخاوف ، يخطط فريق OLMo للعمل مع القسم القانوني في AI2 ومع الخبراء الخارجيين الذين سيتم تحديدهم ، والتوقف عند “نقاط التفتيش” في عملية بناء النموذج لإعادة تقييم قضايا الخصوصية وحقوق الملكية الفكرية.

نأمل أنه من خلال حوار مفتوح وشفاف حول النموذج والاستخدام المقصود منه ، يمكننا أن نفهم بشكل أفضل كيفية تخفيف التحيز والسمية وإلقاء الضوء على أسئلة البحث البارزة داخل المجتمع ، مما يؤدي في النهاية إلى أحد أقوى النماذج المتاحة. قال سميث.

ماذا عن احتمالية سوء الاستخدام؟ النماذج ، التي غالبًا ما تكون سامة ومنحازة في البداية ، أصبحت جاهزة للجهات الفاعلة السيئة العازمة على نشر معلومات مضللة وإنشاء تعليمات برمجية ضارة.

قال حاجيشيرزي إن AI2 سيستخدم مزيجًا من الترخيص وتصميم النموذج والوصول الانتقائي إلى المكونات الأساسية “لتعظيم الفوائد العلمية مع تقليل مخاطر الاستخدام الضار”. لتوجيه السياسة ، لدى OLMo لجنة مراجعة للأخلاقيات مع مستشارين داخليين وخارجيين (لن تحدد AI2 من ، بالضبط) التي ستقدم ملاحظات خلال عملية إنشاء النموذج.

سنرى إلى أي مدى يحدث هذا فرقًا. في الوقت الحالي ، هناك الكثير في الهواء – بما في ذلك معظم المواصفات الفنية للطراز. (كشفت AI2 أنها ستحتوي على حوالي 70 مليار معلمة ، حيث تكون المعلمات هي أجزاء النموذج التي تم تعلمها من بيانات التدريب التاريخية.) من المقرر أن يبدأ التدريب على كمبيوتر LUMI العملاق في فنلندا – أسرع كمبيوتر عملاق في أوروبا ، اعتبارًا من يناير – في الأشهر المقبلة.

يدعو AI2 المتعاونين للمساعدة في المساهمة – والحرجة – في عملية تطوير النموذج. يمكن للمهتمين الاتصال بمنظمي مشروع OLMo هنا.