به منظور مقابله با خطرات فاجعه بار بالقوه مرتبط با سیستم های هوش مصنوعی، OpenAI از تشکیل تیم جدیدی به نام “آمادگی” خبر داده است. این تیم به رهبری الکساندر مدری، مدیر مرکز یادگیری ماشینی قابل استقرار MIT، بر ارزیابی، ارزیابی و بررسی مدل‌های هوش مصنوعی برای محافظت در برابر خطرات مختلف ناشی از سیستم‌های هوش مصنوعی آینده تمرکز خواهد کرد.
سام آلتمن، مدیر عامل OpenAI در مورد نگرانی های خود در مورد هوش مصنوعی و پتانسیل آن برای منجر به “انقراض انسان” صحبت کرده است. تشکیل تیم آمادگی گامی فعال در جهت رسیدگی به این نگرانی ها است.
مسئولیت‌های کلیدی تیم آمادگی شامل ردیابی و پیش‌بینی خطرات مرتبط با هوش مصنوعی، از توانایی آن در فریب دادن و دستکاری انسان‌ها، همانطور که در حملات فیشینگ دیده می‌شود، تا ظرفیت تولید کدهای مخرب را شامل می‌شود. برخی از مقوله‌های خطری که آمادگی بررسی خواهد کرد، ممکن است گمانه‌زنانه به نظر برسند، مانند تهدیدات مربوط به سناریوهای «شیمیایی، بیولوژیکی، رادیولوژیکی و هسته‌ای».
OpenAI اهمیت مطالعه حوزه‌های کمتر آشکار اما پایه‌ای خطر هوش مصنوعی را تصدیق می‌کند. برای مشارکت دادن جامعه گسترده تر در این تلاش، OpenAI رقابتی را راه اندازی کرده است که ایده هایی را برای مطالعات ریسک به دنبال دارد. ده ارسالی برتر شانس برنده شدن یک جایزه ۲۵۰۰۰ دلاری و فرصتی برای همکاری با تیم آمادگی خواهند داشت.
یک سوال مسابقه باعث می‌شود که شرکت‌کنندگان در صورت دسترسی نامحدود به مدل‌های مختلف هوش مصنوعی توسعه‌یافته توسط OpenAI، «بی‌نظیرترین و در عین حال محتمل‌ترین و بالقوه‌ترین سوءاستفاده از مدل را در نظر بگیرند».
ماموریت تیم آمادگی فراتر از ارزیابی ریسک است. آنها همچنین بر روی تدوین یک «سیاست توسعه مبتنی بر ریسک» کار خواهند کرد که رویکرد OpenAI را برای ارزیابی مدل‌های هوش مصنوعی، ابزار نظارت، اقدامات کاهش ریسک و ساختارهای حاکمیتی در طول فرآیند توسعه مدل هدایت می‌کند. این تلاش تکمیل کننده کار موجود OpenAI در مورد ایمنی هوش مصنوعی خواهد بود و مراحل استقرار قبل و بعد از مدل را پوشش می دهد.
OpenAI بر مزایای بالقوه سیستم‌های هوش مصنوعی با توانایی بالا تأکید می‌کند، اما خطرات شدید فزاینده‌ای که ممکن است ایجاد کنند را نیز تصدیق می‌کند. ایجاد تیم آمادگی مبتنی بر این باور است که درک و زیرساخت برای ایمنی سیستم‌های پیشرفته هوش مصنوعی ضروری است.
رونمایی از تیم آمادگی همزمان با اجلاس بزرگ دولت بریتانیا در مورد ایمنی هوش مصنوعی است. این به دنبال اعلام قبلی OpenAI در مورد تشکیل تیمی برای تحقیق و کنترل اشکال نوظهور هوش مصنوعی “فوق هوشمند” است. این شرکت، همراه با رهبرانش مانند سام آلتمن و ایلیا سوتسکور، عمیقاً متعهد به تحقیق در مورد راه‌هایی برای محدود کردن و محدود کردن هوش مصنوعی با هوشی فراتر از انسان‌ها هستند که پیش‌بینی می‌کنند تا دهه آینده به واقعیت تبدیل شود.
منبع: https://www.firstpost.com/tech/news-analysis/ai-defcon-team-openai-forms-a-team-to-study-and-prevent-catastrophic-ai-risks-13305242.html