تتوقع Meta أن تكون نماذج التوصية أكبر من GPT-4. لماذا؟

قدمت Meta مطالبة رائعة في إعلان نُشر اليوم يهدف إلى إعطاء مزيد من الوضوح بشأن خوارزميات توصية المحتوى الخاصة بها. إنها تستعد لأنظمة تحليل السلوك “أوامر من حيث الحجم” أكبر من أكبر نماذج اللغات الموجودة ، بما في ذلك ChatGPT و GPT-4. هل ذلك ضروري؟

من حين لآخر ، تقرر Meta تجديد التزامها بالشفافية من خلال شرح كيفية عمل عدد قليل من خوارزمياتها. في بعض الأحيان يكون هذا كاشفا أو مفيدا ، وفي بعض الأحيان يؤدي فقط إلى المزيد من الأسئلة. هذه المناسبة هي قليلا من الاثنين.

بالإضافة إلى “بطاقات النظام” التي توضح كيفية استخدام الذكاء الاصطناعي في سياق أو تطبيق معين ، نشرت الشبكة الاجتماعية والإعلانية نظرة عامة على نماذج الذكاء الاصطناعي التي تستخدمها. على سبيل المثال ، قد يكون من المفيد معرفة ما إذا كان مقطع الفيديو يمثل لعبة الهوكي أو الأسطوانة ، على الرغم من وجود بعض التداخل البصري ، لذلك يمكن التوصية به بشكل صحيح.

في الواقع ، كانت Meta من بين المنظمات البحثية الأكثر إنتاجًا في مجال الذكاء الاصطناعي متعدد الوسائط ، والذي يجمع البيانات من طرائق متعددة (مرئية وسمعية ، على سبيل المثال) لفهم جزء من المحتوى بشكل أفضل.

يتم إصدار القليل من هذه النماذج علنًا ، على الرغم من أننا كثيرًا ما نسمع عن كيفية استخدامها داخليًا لتحسين أشياء مثل “الملاءمة” ، وهو تعبير ملطف للاستهداف. (إنها تسمح لبعض الباحثين بالوصول إليها).

ثم تأتي هذه المعلومة الصغيرة المثيرة للاهتمام لأنها تصف كيفية بناء مواردها الحسابية:

من أجل فهم تفضيلات الأشخاص بعمق ونمذجتها ، يمكن أن تحتوي نماذج التوصية الخاصة بنا على عشرات التريليونات من المعلمات – أوامر من حيث الحجم أكبر حتى من أكبر النماذج اللغوية المستخدمة اليوم.

لقد ضغطت على Meta للحصول على مزيد من التفاصيل حول هذه النماذج النظرية التي تبلغ عشرات التريليونات ، وهذا ما هي عليه تمامًا: النظرية. في بيان توضيحي ، قالت الشركة “نعتقد أن نماذج التوصيات لدينا لديها القدرة على الوصول إلى عشرات التريليونات من المعلمات”. هذه الصياغة تشبه إلى حد ما القول بأن البرغر الخاص بك “يمكن” أن يحتوي على فطائر بسعة 16 أونصة ولكن بعد ذلك تعترف أنهم لا يزالون في مرحلة الربع باوندر. ومع ذلك ، تذكر الشركة بوضوح أنها تهدف إلى “ضمان أن هذه النماذج الكبيرة جدًا يمكن تدريبها ونشرها بكفاءة على نطاق واسع.”

هل ستتكلف شركة ما ببناء بنية تحتية لبرمجيات لا تنوي إنشائها – أو استخدامها؟ يبدو من غير المحتمل ، لكن Meta رفض التأكيد (على الرغم من أنهم لم ينفوا) أنهم يتابعون بنشاط نماذج من هذا الحجم. الآثار المترتبة على ذلك واضحة ، لذا بينما لا يمكننا التعامل مع نموذج مقياس عشرات التريليونات هذا على أنه موجود ، فإننا يستطيع تعامل معه على أنه طموح حقًا ومن المحتمل في الأعمال.

بالمناسبة ، يجب فهم “فهم تفضيلات الأشخاص ووضع نماذج لها” على أنه يعني تحليل سلوك المستخدمين. من المحتمل أن يتم تمثيل تفضيلاتك الفعلية بقائمة نص عادي يبلغ طولها مائة كلمة. قد يكون من الصعب أن تفهم ، على المستوى الأساسي ، سبب احتياجك إلى نموذج بهذا الحجم الكبير والمعقد للتعامل مع التوصيات حتى لبضعة مليارات من المستخدمين.

الحقيقة هي أن مساحة المشكلة ضخمة حقًا: هناك مليارات ومليارات من أجزاء المحتوى التي تحتوي جميعها على بيانات وصفية مصاحبة ، ولا شك في أن جميع أنواع النواقل المعقدة التي توضح أن الأشخاص الذين يتابعون باتاغونيا يميلون أيضًا إلى التبرع للاتحاد العالمي للحياة البرية ، وشراء متزايد مغذيات الطيور باهظة الثمن ، وما إلى ذلك. لذلك ربما ليس من المستغرب أن يكون النموذج المدرب على كل هذه البيانات كبيرًا جدًا. ولكن “أوامر من حيث الحجم أكبر” حتى من أكبرها ، شيء مدرب عمليا على كل عمل مكتوب يمكن الوصول إليه؟

لا يوجد عدد معلمات موثوق به على GPT-4 ، وقد وجد القادة في عالم الذكاء الاصطناعي أيضًا أنه مقياس اختزالي للأداء ، لكن ChatGPT يبلغ حوالي 175 مليارًا ويُعتقد أن GPT-4 أعلى من ذلك لكن أقل. من 100 تريليون مطالبة. حتى لو كان Meta يبالغ قليلاً ، فإن هذا لا يزال مخيفًا.

فكر في الأمر: نموذج ذكاء اصطناعي كبير أو أكبر من أي نموذج تم إنشاؤه حتى الآن … ما يحدث في أحد طرفيه هو كل إجراء تقوم به على منصات Meta ، ما يخرج الآخر هو توقع ما ستفعله أو ستحبه بعد ذلك. نوع من الزاحف ، أليس كذلك؟

بالطبع هم ليسوا الوحيدين الذين يفعلون ذلك. قادت Tiktok المسؤولية في التتبع الخوارزمي والتوصية ، وبنت إمبراطوريتها على وسائل التواصل الاجتماعي على خلاصتها الإدمانية للمحتوى “ذي الصلة” الذي يهدف إلى إبقائك في حالة التمرير حتى تتأذى عيناك. منافسوها حسودون بشكل علني.

من الواضح أن Meta تهدف إلى تعمي المعلنين بالعلم ، سواء من خلال الطموح المعلن لإنشاء أكبر نموذج على الكتلة ، ومع فقرات مثل ما يلي:

تفهم هذه الأنظمة تفضيلات سلوك الأشخاص باستخدام نماذج انتباه واسعة النطاق للغاية ، وشبكات عصبية للرسم البياني ، وتعلم قليل اللقطات ، وتقنيات أخرى. تشمل الابتكارات الرئيسية الحديثة بنية استرجاع عصبية عميقة هرمية جديدة ، والتي سمحت لنا بالتفوق بشكل كبير على مختلف خطوط الأساس الحديثة دون تراجع زمن انتقال الاستدلال ؛ وبنية مجموعة جديدة تستفيد من وحدات التفاعل غير المتجانسة من أجل نماذج أفضل للعوامل ذات الصلة بمصالح الناس.

لا تهدف الفقرة أعلاه إلى إقناع الباحثين (فهم يعرفون كل هذه الأشياء) أو المستخدمين (لا يفهمون أو يهتمون). لكن ضع نفسك مكان المعلن الذي بدأ في التساؤل عما إذا كانت أمواله تُنفق جيدًا على إعلانات Instagram بدلاً من الخيارات الأخرى. يهدف هذا التمليس التقني إلى إبهارهم ، وإقناعهم بأن شركة Meta ليست فقط رائدة في أبحاث الذكاء الاصطناعي ، ولكن أيضًا أن الذكاء الاصطناعي يتفوق حقًا في “فهم” اهتمامات الناس وتفضيلاتهم.

في حال كنت تشك في ذلك: “أكثر من 20 في المائة من المحتوى في خلاصات Facebook و Instagram لشخص ما موصى به الآن بواسطة AI من الأشخاص أو المجموعات أو الحسابات التي لا يتابعونها.” فقط ما طلبناه! إذن هذا هو. يعمل الذكاء الاصطناعي بشكل رائع.

لكن كل هذا أيضًا تذكير بالجهاز الخفي في قلب Meta و Google وغيرهما من الشركات التي يتمثل مبدأ تحفيزها الأساسي في بيع الإعلانات باستهداف دقيق ودقيق بشكل متزايد. يجب إعادة التأكيد باستمرار على قيمة وشرعية هذا الاستهداف حتى مع تضاعف ثورة المستخدمين والإعلان وتلميحهم بدلاً من تحسينه.

لم تفعل Meta أبدًا شيئًا معقولًا مثل تقديم قائمة تضم 10 علامات تجارية أو هوايات واسأل عن أي منها يعجبني. إنهم يفضلون مراقبة كتفي وأنا أتصفح الويب بحثًا عن معطف واق من المطر جديد وأتصرف كما لو كان إنجازًا للذكاء الاصطناعي المتقدم عندما يقدمون لي إعلانات معطف واق من المطر في اليوم التالي. ليس من الواضح تمامًا أن النهج الأخير يتفوق على الأول ، أو إذا كان الأمر كذلك ، فما مدى تفوقه؟ تم بناء الويب بالكامل حول إيمان جماعي باستهداف الإعلانات بدقة ، ويتم الآن نشر أحدث التقنيات لدعمها لموجة جديدة أكثر تشككًا في الإنفاق التسويقي.

بالطبع أنت بحاجة إلى نموذج يحتوي على عشرة تريليونات من المعلمات ليخبرك بما يحبه الناس. وإلا كيف يمكنك تبرير المليار دولار الذي أنفقته على التدريب!