Sam Altman: حجم LLM لا يهم كثيرًا المضي قدمًا

عندما يتحدث المؤسس المشارك والرئيس التنفيذي لشركة OpenAI Sam Altman هذه الأيام ، فمن المنطقي الاستماع. كان مشروعه الأخير على شفاه الجميع منذ إصدار GPT-4 و ChatGPT ، وهي واحدة من أكثر واجهات اللغة الكبيرة تعقيدًا التي تم إنشاؤها حتى الآن. لكن ألتمان يتخذ نهجًا مدروسًا ومتواضعًا ، ولا يؤمن بالضرورة أنه عندما يتعلق الأمر بنماذج اللغة الكبيرة ، فإن ذلك الحجم الأكبر سيكون دائمًا أفضل.

ألتمان ، الذي تمت مقابلته عبر Zoom at the الخيال في العمل حدث أمس في معهد ماساتشوستس للتكنولوجيا (MIT) أننا نقترب من حدود حجم LLM من أجل الحجم. قال ألتمان: “أعتقد أننا في نهاية العصر حيث ستكون هذه النماذج العملاقة ، وسوف نجعلها أفضل بطرق أخرى”.

إنه يرى الحجم كمقياس خاطئ لجودة النموذج ويقارنه بسباقات سرعة الرقاقة التي اعتدنا رؤيتها. “أعتقد أنه كان هناك الكثير من التركيز على عدد المعلمات ، وربما يتجه عدد المعلمات بالتأكيد. لكن هذا يذكرني بالكثير من سباق الجيجاهيرتز في الرقائق في التسعينيات والعقد الأول من القرن الحادي والعشرين ، حيث كان الجميع يحاولون الإشارة إلى رقم كبير ، “قال ألتمان.

كما يشير ، لدينا اليوم رقاقات أقوى بكثير تعمل على تشغيل أجهزة iPhone الخاصة بنا ، ومع ذلك ليس لدينا أي فكرة في الغالب عن مدى سرعتها ، فقط أنها تؤدي المهمة بشكل جيد. “أعتقد أنه من المهم أن ما نركز عليه هو زيادة السعة بسرعة. وإذا كان هناك سبب لتقليل عدد المعلمات بمرور الوقت ، أو يجب أن يكون لدينا نماذج متعددة تعمل معًا ، كل منها أصغر ، سنفعل ذلك. ما نريد تقديمه للعالم هو النماذج الأكثر قدرة وفائدة وأمانًا. نحن لسنا هنا لندع أنفسنا بشأن عدد المعلمات “، قال.

لقد كان ألتمان تقنيًا ناجحًا جزئيًا لأنه يقوم بمراهنات كبيرة ، ثم يتحرك بشكل متعمد ويفكر بعمق في شركاته والمنتجات التي تنتجها – ولا تختلف OpenAI.

لقد عملنا على ذلك لفترة طويلة ، لكن الثقة المتزايدة تدريجيًا ستنجح حقًا. كنا [building] الشركة لمدة سبع سنوات. تستغرق هذه الأشياء وقتًا طويلاً. أود أن أقول بشكل عام من حيث سبب نجاحها في حين أن الآخرين لم يعملوا: هذا فقط لأننا كنا في حالة من التعرق الشديد في كل التفاصيل لفترة طويلة. ومعظم الناس ليسوا على استعداد للقيام بذلك “.

عندما سئل عن الرسالة التي طلبت أن تتوقف OpenAI لمدة ستة أشهر ، دافع عن نهج شركته ، بينما وافق على بعض أجزاء الخطاب.

هناك أجزاء من الاتجاه [of the letter] التي أتفق معها حقًا. لقد أمضينا أكثر من ستة أشهر بعد أن انتهينا من تدريب GPT-4 قبل أن نطلقه. لذا ، أخذ الوقت الكافي لدراسة نموذج السلامة حقًا ، وللحصول على عمليات تدقيق خارجية ، وفرق حمراء خارجية لمحاولة فهم ما يجري والتخفيف قدر الإمكان ، هذا أمر مهم “.

لكنه يعتقد أن هناك طرقًا جوهرية أخطأت فيها الرسالة في تحقيق الهدف.

“لقد وافقت أيضًا على أنه مع زيادة جدية القدرات ، يجب زيادة شريط الأمان. لكن لسوء الحظ ، أعتقد أن الرسالة تفتقد إلى معظم الفروق التقنية حول المكان الذي نحتاج إلى التوقف فيه – ادعت نسخة سابقة من الرسالة أننا كنا ندرب GPT-5. نحن لسنا ولن نكون كذلك لبعض الوقت ، ومن هذا المنطلق ، كان الأمر سخيفًا نوعًا ما – لكننا نقوم بأشياء أخرى بالإضافة إلى GPT-4 التي أعتقد أن لديها كل أنواع مشكلات السلامة التي من المهم معالجتها وتم استبعادهم تمامًا من الرسالة. لذلك أعتقد أن التحرك بحذر ، والصرامة المتزايدة لقضايا السلامة أمر مهم حقًا. لا أعتقد أن [suggestions in the] الرسالة هي الطريقة المثلى لمواجهتها.

يقول ألتمان إنه منفتح بشأن قضايا السلامة وقيود النموذج الحالي لأنه يعتقد أن هذا هو الشيء الصحيح الذي ينبغي عمله. يقر بأنه في بعض الأحيان يقول هو وممثلو الشركة الآخرون “أشياء غبية” ، والتي يتبين أنها خاطئة ، لكنه على استعداد لتحمل هذه المخاطرة لأنه من المهم إجراء حوار حول هذه التكنولوجيا.

“يتمثل جزء كبير من هدفنا في OpenAI في جعل العالم يتفاعل معنا ويفكر في الأمر [this technology]، وتحديث وبناء مؤسسات جديدة تدريجيًا ، أو تكييف مؤسساتنا الحالية لتكون قادرة على معرفة ما هو المستقبل الذي نريده جميعًا. لذلك هذا نوع من سبب وجودنا هنا “.