MiniGPT-4: أداة AI مجانية لتحويل الصور إلى نص يمكنك تجربتها اليوم

يعد ChatGPT أمرًا رائعًا ، ولكن في الوقت الحالي ، يقتصر على النص فقط – إدخال نص ، نص خارج. كان من المفترض أن يتوسع GPT-4 في هذا عن طريق إضافة معالجة الصور للسماح لها بإنشاء نص بناءً على الصور.

ومع ذلك ، لم تطلق OpenAI هذه الميزة بعد ، حيث يأتي MiniGPT-4. هذا المشروع مفتوح المصدر يعطينا معاينة لما قد تبدو عليه معالجة الصور في GPT-4 – وهي رائعة جدًا.

ما هو برنامج MiniGPT-4؟

MiniGPT-4 هو مشروع مفتوح المصدر تم نشره على GitHub لإثبات قدرات لغة الرؤية في نظام الذكاء الاصطناعي. تتضمن بعض الأمثلة على ما يمكن أن يفعله إنشاء أوصاف من الصور أو كتابة قصص بناءً على الصور أو حتى إنشاء مواقع ويب من الرسومات فقط.

على الرغم مما يوحي به الاسم ، فإن MiniGPT-4 غير متصل رسميًا بـ OpenAI أو GPT-4. تم إنشاؤه من قبل مجموعة من دكتوراه. طلاب مقيمين في المملكة العربية السعودية في جامعة الملك عبد الله للعلوم والتكنولوجيا. يعتمد أيضًا على نموذج لغة كبير مختلف (LLM) يسمى Vicuna ، والذي تم بناؤه على أساس نموذج اللغة الكبيرة المفتوح المصدر Meta AI (LLaMA). إنها ليست قوية تمامًا مثل ChatGPT ، ولكن وفقًا لتصنيف GPT-4 نفسه ، تحصل Vicuna على 90٪.

كيفية استخدام MiniGPT-4

MiniGPT-4 هو مجرد عرض توضيحي ولا يزال في نسخته الأولى. في الوقت الحالي ، يمكن الوصول إليه مجانًا على الموقع الرسمي للمجموعة. لاستخدامها ، ما عليك سوى سحب صورة أو النقر فوق “إفلات الصورة هنا”. بمجرد تحميله ، اكتب موجهك في مربع البحث.

ما أنواع الأشياء التي يجب أن تجربها؟ حسنًا ، إن مطالبة MiniGPT-4 بوصف صورة أمر بسيط للغاية. ولكن ربما تحتاج إلى بعض النسخ لنشر Instagram لشركتك. أو ربما تريد معرفة المكونات اللازمة لطبق ممتع ، وحتى وصفة لطهيها. يمكن لـ MiniGPT-4 التعامل مع هذه المهام بشكل جيد بشكل مدهش.

تكون جوانب الترميز أكثر خشونة حول الحواف. كان تحويل منديل بسيط إلى موقع ويب فعال خدعة عرضتها شركة OpenAI عندما تم الإعلان عن GPT-4 لأول مرة. لكن لا يبدو أن MiniGPT-4 قادر على التعامل مع ذلك جيدًا حتى الآن. سيوفر ChatGPT كودًا أكثر دقة – في الواقع ، تشغيل أي كود MiniGPT-4 من خلال ChatGPT أو GPT-4 سيحقق لك نتائج أفضل.

شيء واحد يجب ملاحظته هو أن MiniGPT-4 يستخدم وحدة معالجة الرسومات الخاصة بنظامك المحلي. لذلك ، ما لم يكن لديك وحدة معالجة رسومات منفصلة قوية إلى حد ما ، فقد تجد التجربة بطيئة إلى حد ما. بالنسبة للسياق ، جربته على M2 Max MacBook Pro ، واستغرق الأمر حوالي 30 ثانية لإنشاء نص بناءً على صورة قمت بتحميلها.

حدود MiniGPT-4

سرعة MiniGPT-4 هي بالتأكيد قيود. إذا كنت تحاول الوصول إلى هذا بدون بعض الرسومات اللائقة ، فمن البطيء جدًا أن تشعر بالاستجابة. إذا كنت معتادًا على سرعة ChatGPT المستندة إلى السحابة أو حتى Bing Image Creator ، سوف تشعر أن MiniGPT-4 بطيئًا بشكل مؤلم.