هشدارهایی که اخیراً از داخل بزرگ‌ترین آزمایشگاه‌های هوش مصنوعی منتشر شده، موجی از نگرانی‌ها را درباره سرعت شتابان توسعه این فناوری برانگیخته است. برخی پژوهشگران می‌گویند رقابت شدید میان شرکت‌ها—به‌ویژه در تقابل آمریکا و چین—ممکن است مسیر رشد مدل‌های بسیار پیشرفته را به سمت «ابرهوش» سوق دهد؛ جایی که توانایی‌های ماشین‌ها از انسان فراتر رفته و کنترل انسانی دشوارتر می‌شود.

اما پائولو بنانتِی (Father Paolo Benanti)، کشیشی که به کلیسای کاتولیک در حوزه هوش مصنوعی مشاوره می‌دهد، معتقد است تمرکز رسانه‌ها و بحث‌های عمومی روی سناریوهای ابرهوش، از یک مسئله مهم‌تر غافل می‌ماند: ضرورت گفت‌وگوی باز و عمومی درباره شیوه محدودسازی شرکت‌هایی که این فناوری را می‌سازند.

اخلاق نباید فقط در اختیار هیئت‌مدیره شرکت‌ها باشد

بنانی‌تِی در گفت‌وگو با WIRED می‌گوید وقتی بحث‌ها طوری چارچوب‌بندی می‌شوند که گویی «فقط خودِ شرکت‌های بزرگ» می‌توانند مسئله را حل کنند، عملاً دیگران از روند تصمیم‌گیری کنار گذاشته می‌شوند. او این وضعیت را خطرناک می‌داند و تاکید می‌کند اخلاق و حکمرانی فناوری باید از سطح داخلی شرکت‌ها فراتر برود.

به گفته این مشاور واتیکان: «اخلاق نمی‌تواند چیزی باشد که متعلق به هیئت‌مدیرهِ یک شرکت باشد. اخلاق باید در بحث عمومی سنجیده، تعدیل و مدیریت شود.» او همچنین می‌گوید: «ما به تنظیم‌گری دموکراتیک نیاز داریم.»

پشت پرده بحث‌ها: ارزیابی مستقل و محدودیت در روش‌های توسعه

این اظهارات هم‌زمان با موجی از پیشنهادها برای افزایش نظارت بر مدل‌های جدید مطرح شده است. در پی انتشار هشدارهای ایمنی، «Dario Amodei» مدیرعامل Anthropic خواستار آن شد که پیش از انتشار هر مدل جدید، ارزیابی‌های اجباری توسط نهادهای ثالث انجام شود. همچنین برخی صداها از مقابله سخت با فرآیند distillation سخن می‌گویند؛ روشی که در آن آزمایشگاه‌ها مدل رقیب را مبنا قرار می‌دهند و مدل‌های خود را بر خروجی‌های تولیدشده توسط مدل‌های اختصاصی آموزش می‌دهند.

در کنار این موارد، شماری دیگر نیز از ممنوعیت کامل recursive self-improvement دفاع کرده‌اند؛ ایده‌ای که در آن سامانه‌های هوش مصنوعی با استفاده از توانایی‌های پیشرفته کدنویسی، به توسعه نسخه‌های بعدی از خودشان کمک می‌کنند.

بنانی‌تِی به دنبال محدود کردن «روش‌ها» نیست؛ دنبال «استانداردهای کنترل» است

با وجود موافقت کلی با ضرورت بحث‌های ایمنی، بنانتِی بیشتر از آن‌که نگران شیوه‌های توسعه باشد، دغدغه اصلی‌اش را «کنترل انسانی» می‌داند. او می‌گوید اگرچه ممنوعیت یا محدودسازی روش‌های ساخت ممکن است نوآوری را خفه کند، اما می‌توان چارچوب‌هایی تعیین کرد که اطمینان دهند مدل‌ها از کنترل انسان خارج نشوند.

او می‌گوید هر استانداردی که شکل بگیرد، نباید توسط همان آزمایشگاه‌ها طراحی شود؛ زیرا منافع اقتصادی و رقابتی می‌تواند جهت‌گیری مقررات را تغییر دهد. بنانتِی با اشاره به منطق روایت‌های رایج در «frontier labs» توضیح می‌دهد این روایت‌ها معمولاً خودمحورانه‌اند؛ هدفشان کسب یا حفظ جایگاه بازار است.

بنانتِی این وضعیت را چنین توصیف می‌کند: وقتی یک گروه کوچک شرکت‌ها قواعدی را تعیین می‌کنند که صنعت بر اساس آن حرکت کند، «یک نام مشخص دارد: کارتل».

چرا درباره ابرهوش باید محتاط بود؟

این کشیش و پژوهشگر می‌گوید نمی‌توان با قطعیت گفت هشدارهای بزرگ درباره توانایی مدل‌های جدید تا چه اندازه واقع‌بینانه است. دلیلش این است که انگیزه‌های هم‌پوشان اقتصادی، سیاسی و حتی شخصی در میان بازیگران اصلی وجود دارد و ممکن است برخی ادعاها بیشتر در خدمت رقابت یا جلب توجه قرار گیرد تا صرفاً تحلیل فنی.

از یک سو، هم OpenAI و هم Anthropic از ایده «کند کردن توسعه» حمایت کرده‌اند، اما هم‌زمان خبر می‌رسد آماده ورود به بازار عمومی (go public) هستند؛ موضوعی که طبق گزارش‌ها، میلیاردها دلار منافع بالقوه برای طرف‌های مختلف ایجاد می‌کند. علاوه بر این، شکاف آمریکا و چین—دو مرکز اصلی توسعه مدل‌های پیشرفته—تصویر را پیچیده‌تر می‌کند.

در این پرونده، Anthropic از اظهار نظر خودداری کرده، و OpenAI و Google DeepMind نیز به درخواست‌های کامنت پاسخ نداده‌اند.

کلامی که جهت بحث را عوض می‌کند: «ابرهوش» یا «الهامِ شبه‌الهی»؟

بنانتِی همچنین به شیوه‌ای انتقاد می‌کند که برخی بخش‌ها در صنعت هوش مصنوعی درباره «ابرهوش» صحبت می‌کنند؛ زبانی که به گفته او حال‌وهوایی شبیه «احترام مذهبی» پیدا می‌کند، گویی این فناوری فراتر از درک انسان و تا حدی همه‌قدرت است.

او حتی به اظهارات «Sam Altman» مدیرعامل OpenAI اشاره می‌کند که گفته بود آرزوی ساخت «magic intelligence in the sky» را دارد. بنانتِی می‌گوید چنین قاب‌بندی‌ای می‌تواند بحث‌ها را از مسیر منطقی خارج کند.

او تاکید می‌کند: «آیا داریم درباره چیزی حرف می‌زنیم یا درباره کسی؟ تفاوت واقعی همین است. این موضوع ایمان نیست؛ موضوع ریاضیات است.» به باور او: «ما در حال ساختن “بعدی‌ترین الوهیت” نیستیم. ما فقط خودمان را فریب می‌دهیم که چیزی فراتر از محاسبه آماری در کار است.»

پاپ لئو چهاردهم: اتکای افراطی به منطق تکنوکراتیک باید مهار شود

در ماه می، «Pope Leo» نخستین دایره‌المعارف/نامه کلیسایی (encyclical) خود را منتشر کرد؛ نامه‌ای که آموزه‌های دینی را به مسائل روز پیوند می‌دهد و موضع کلیسا را روشن‌تر می‌کند. موضوع اصلی این متن، هوش مصنوعی بود.

در این نامه، پاپ نسبت به «منطق تکنوکراتیک» رایج در صنعت هوش مصنوعی هشدار داده؛ منطقی که efficiency (کارایی) را به‌عنوان معیار نهایی ارزش معرفی می‌کند و انسان را به «پروژه‌ای که باید بهینه شود» تقلیل می‌دهد. او همچنین بر همکاری بین‌المللی میان ابرقدرت‌های رقیب و شرکت‌های فعال در حوزه AI تاکید می‌کند و می‌گوید نباید تمایل به «تسلط ژئوپلیتیک یا برتری تجاری» جای هدف «خیر عمومی» را بگیرد.

یکی از بخش‌های مهم این نامه، هشدار نسبت به «خطر قربانی شدن انسانیت توسط دستاوردهای خودش» است؛ هشداری که بسیاری آن را در چارچوب بحث‌های امروز درباره ریسک‌های وجودی (existential risk) تفسیر می‌کنند.

حکم بنانتِی: «ترمز و چرخ»؛ کنترل معنادار انسان بر ماشین

بنانتِی می‌گوید جنجال پیرامون ابرهوش و ریسک‌های هستی می‌تواند تلاش‌های اصلیِ مطرح‌شده در encyclical را تحت‌الشعاع قرار دهد؛ زیرا ممکن است افراد به‌جای مشارکت عمومی، اختیار جهت‌دهی به فناوری را به «گروهی کوچک از ریاضی‌دان‌ها، دانشمندان علوم کامپیوتر و مدیران آزمایشگاه‌های بزرگ» واگذار کنند.

او در نهایت مسیر پیشنهادی خود را با یک استعاره روشن توضیح می‌دهد: «نخست باید ترمز و چرخ داشته باشیم.» به گفته او، این یعنی «اختیار کنترل قابل‌توجهی برای انسان نسبت به ماشین».

بنانتِی با وجود عضویت در روحانیت، به‌صورت رسمی نماینده «Holy See» (دستگاه حاکم کلیسای کاتولیک) محسوب نمی‌شود؛ بلکه در نقش یک پژوهشگر فلسفه، الهیات و فناوری به کلیسا مشاوره می‌دهد. او می‌گوید از هوش مصنوعی برای ساخت ابزار و محتوای آموزشی برای دانشجویان دانشگاهی‌اش استفاده می‌کند، اما درباره اینکه پاپ لئو چهاردهم دقیقاً چگونه با این فناوری تعامل دارد—یا اصلاً آیا تعامل دارد—جزئیات بیشتری ارائه نمی‌کند. گفته می‌شود کارکنان او می‌گویند وی «سوگند محرمانگی» دارد.

در نهایت، این ماجرا بار دیگر موضوع اصلی را برجسته می‌کند: بحث درباره آینده AI فقط یک مسئله فنی نیست؛ بلکه به شکل مستقیم به حکمرانی، قانون‌گذاری و مشارکت عمومی گره خورده است.