قد يكون المستقبل سعيدًا – إذا لم ينقرض البشر أولاً

أو قد نرغب في الحصول على أنظمة قوية حول أنظمة الذكاء الاصطناعي ، بحيث لا يمكنك استخدامها إلا إذا كنت تفهم حقًا ما يحدث تحت الغطاء. أو أنه اجتاز عددًا كبيرًا من الفحوصات ليكون صريحًا وغير ضار ومفيدًا بدرجة كافية. فبدلاً من القول ، “[We should] تسريع أو إبطاء تقدم الذكاء الاصطناعي “، يمكننا أن ننظر بشكل أضيق من ذلك ونقول ،” حسنًا ، ما هي الأشياء التي قد تكون أكثر إثارة للقلق؟ هل تعرف؟” ثم الأمر الثاني هو أنه ، كما هو الحال مع كل هذه الأشياء ، عليك أن تقلق أنه إذا قال شخص واحد أو مجموعة واحدة من جانب واحد ، “حسنًا ، لن أطور هذا ،” حسنًا ، ربما إذن الجهات الفاعلة الأقل دوافعًا أخلاقية والتي تروج لها بدلاً من ذلك.

لقد كتبت فصلاً كاملاً عن مخاطر الركود: تباطؤ في التقدم الاقتصادي والتكنولوجي. لا يبدو أن هذا يشكل خطرًا وجوديًا في حد ذاته. ما الذي يمكن أن يكون سيئًا للغاية فيما يتعلق بالتقدم الذي يظل قريبًا من المستويات الحالية لقرون قادمة؟

لقد أدرجته لعدة أسباب. الأول هو أن الركود لم يحظ باهتمام كبير في العالم طويل الأمد حتى الآن. لكنني أعتقد أيضًا أنه من المحتمل أن يكون مهمًا جدًا من منظور طويل الأجل. أحد الأسباب هو أننا يمكن أن نتعثر في وقت الخطر. إذا كنا على مستوى عشرينيات القرن الماضي من التكنولوجيا إلى أجل غير مسمى ، فلن يكون ذلك مستدامًا. نحرق جميع أنواع الوقود الأحفوري ، سنصاب بكارثة مناخية. إذا واصلنا المستويات الحالية للتكنولوجيا ، فإن الحرب النووية الشاملة ليست سوى مسألة وقت. حتى لو كانت المخاطر منخفضة للغاية ، فإن مجرد خطر سنوي صغير بمرور الوقت سيزيد من ذلك.

الأمر الأكثر إثارة للقلق مع الأسلحة البيولوجية المصممة هندسيًا ، هذه مجرد مسألة وقت أيضًا. ببساطة ، وقف التركيز التكنولوجي تمامًا ، أعتقد أنه ليس خيارًا – في الواقع ، سيقودنا إلى الهلاك. ليس من الواضح بالضبط مدى السرعة التي يجب أن نسير بها ، لكن هذا يعني أننا بحاجة إلى إخراج أنفسنا من المستوى الحالي للتطور التكنولوجي إلى المستوى التالي ، من أجل الوصول إلى نقطة ما يسميه توبي أورد “الوجودي” الأمن “، حيث لدينا التكنولوجيا والحكمة لتقليل هذه المخاطر.

حتى لو تجاوزنا مخاطرنا الوجودية الحالية ، ألن تكون هناك مخاطر جديدة لا نعرف عنها بعد ، كامنة في مستقبلنا؟ هل يمكننا تجاوز لحظة الخطر الوجودي الحالية؟

من الممكن أنه مع تطور التكنولوجيا ، ربما توجد جزر الأمان الصغيرة هذه. نقطة واحدة هي أننا إذا اكتشفنا للتو كل شيء بشكل أساسي. في هذه الحالة لا توجد تقنيات جديدة تفاجئنا وتقتلنا جميعًا. أو تخيل لو كان لدينا دفاع ضد الأسلحة البيولوجية ، أو التكنولوجيا التي يمكن أن تمنع أي حرب نووية. ثم ربما يمكننا أن نتسكع في ذلك الوقت مع ذلك المستوى التكنولوجي ، حتى نتمكن حقًا من التفكير فيما سيحدث بعد ذلك. يمكن أن يكون ذلك ممكنا. وبالتالي فإن الطريقة التي يمكنك بها الحصول على الأمان هي بمجرد النظر إليها وتحديد المخاطر التي نواجهها ، ومدى تدني مستوى قدرتنا على تحمل المخاطر ، أو ما إذا كنا الآن في المرحلة التي اكتشفناها للتو كل شيء هناك لمعرفة.