هوش مصنوعی و رهبران سیاسی در مورد وب نوع دوستی مؤثر در امنیت هوش مصنوعی بحث می کنند

ماه گذشته، من در مورد گسترش شبکه ارتباطات بین جنبش مؤثر نوع‌دوستی (EA) و حلقه‌های سیاست امنیتی هوش مصنوعی – از استارت‌آپ‌های برتر هوش مصنوعی مانند Anthropic گرفته تا اتاق‌های فکر DC مانند RAND Corporation. اینها EA را با تمرکز لیزری خود بر جلوگیری از خطرات فاجعه بار برای بشریت ناشی از AGI آینده، به بخش وسیعی از اتاق های فکر DC، سازمان های دولتی و کارکنان کنگره مرتبط می کند.

منتقدان EA بر روی این خطر وجودی یا “x-risk” تمرکز می کنند. بگو این اتفاق می افتد به زیان تمرکز ضروری بر خطرات فعلی و قابل اندازه‌گیری هوش مصنوعی – از جمله سوگیری، اطلاعات نادرست، برنامه‌های کاربردی پرخطر و امنیت سایبری سنتی.

از آن زمان، من کنجکاو بودم که در مورد سایر رهبران هوش مصنوعی و سیاسی خارج از جنبش مؤثر نوع دوستی – اما با سیستم اعتقادی مخالف قطبی همسو نیستند. شتاب گرایی موثر (e/acc) – واقعاً در مورد این فکر کنید. آیا سایر شرکت‌های LLM به همان اندازه نگران خطر قرار گرفتن وزنه‌های مدل LLM در دستان اشتباه هستند؟ آیا سیاست گذاران و ناظران DC به طور کامل تأثیر EA بر تلاش های امنیتی هوش مصنوعی را درک می کنند؟

در لحظه ای که آنتروپیک، که به خاطر آن شناخته شده است طیف گسترده ای از روابط EAدر حال انتشار است تحقیق جدید در مورد مدل‌های هوش مصنوعی «مامور خواب» که بررسی‌های ایمنی را برای تشخیص رفتار مضر فریب می‌دهند، و حتی کنگره ابراز نگرانی کرد در مورد مشارکت تحقیقاتی بالقوه هوش مصنوعی بین موسسه ملی استاندارد و ایمنی (NIST) و RAND، به نظر من این یک سوال مهم است.

علاوه بر این، EA اخیراً در ارتباط با اخراج سام آلتمن، مدیر عامل OpenAI، تیتر خبرهای جهانی شد. اعضای هیئت مدیره غیر انتفاعی غیر کارمند همه اتصالات EA داشتند.

آنچه در آخرین مصاحبه‌هایم کشف کردم، ترکیبی جالب از نگرانی عمیق در مورد گرایش ایدئولوژیک EA با سرمایه‌گذاری میلیاردرها و نفوذ و نفوذ فزاینده آن بر بحث امنیت هوش مصنوعی در واشنگتن دی سی، و همچنین تصدیق برخی از خطرات احتمالی هوش مصنوعی است. فراتر از کوتاه مدت بخش مهمی از بحث سیاست DC است.

نوع دوستی مؤثر بر جلوگیری از یک فاجعه مرتبط با هوش مصنوعی متمرکز است

جنبش EA، که به عنوان تلاشی برای “انجام بهتر کارها” آغاز شد، اکنون به شدت توسط میلیاردرهای فناوری تامین می شود. جلوگیری از یک فاجعه مرتبط با هوش مصنوعی اولویت شماره یک آن، به‌ویژه از طریق تأمین مالی تلاش‌های امنیتی هوش مصنوعی (که به عنوان «ایمنی» هوش مصنوعی نیز توصیف می‌شود) – به‌ویژه در فضای امنیت زیستی.

در مقاله دسامبر خود، من به جزئیات نگرانی های جیسون کلینتون، مدیر عامل Anthropic CISO و دو محقق از RAND Corporation درباره امنیت وزنه های مدل LLM در مواجهه با تهدیدات جنایتکاران فرصت طلب، گروه های تروریستی یا عملیات دولت-ملت با منابع بالا.

کلینتون به من گفت که تامین وزن مدل برای کلود، LLM آنتروپیک، اولویت شماره یک اوست. او توضیح داد که تهدید جنایتکاران فرصت طلب، گروه های تروریستی یا عملیات های دولت-ملت با منابع بالا که به پیچیده ترین و قدرتمندترین LLM ها دسترسی پیدا می کنند، هشداردهنده است، زیرا «اگر یک مهاجم به کل پرونده دسترسی پیدا کند، این کل شبکه عصبی است. ” “

محقق RAND سلا نوو به من گفت این احتمال وجود دارد که در عرض دو سال، مدل‌های هوش مصنوعی از اهمیت امنیت ملی مهمی برخوردار شوند، مانند این احتمال که عوامل مخرب بتوانند از آنها برای توسعه سلاح‌های بیولوژیکی سوء استفاده کنند.

من کشف کردم که هر سه آنها روابط نزدیکی با جامعه EA دارند و این دو شرکت همچنین به لطف EA به هم متصل هستند – برای مثال، جیسون متنی، مدیر عامل RAND، همچنین یکی از اعضای آنتروپیک است. اعتماد سود بلند مدت و دارد کراوات طولانی مدت به جنبش EA

پوشش من به دلیل ادامه کار برندان بوردلون بود سیاسی گزارش در مورد این موضوع، از جمله الف مقاله اخیر که به نقل از یک محقق ناشناس امنیت زیستی در واشنگتن، سرمایه‌گذاران مرتبط با EA را “نفوذی حماسی” در محافل سیاسی خواند. بوردلون نوشت، در حالی که واشنگتن با ظهور هوش مصنوعی دست و پنجه نرم می کند، «ارتش کوچکی از طرفداران «نوع دوستی مؤثر» بر پایتخت کشور نشسته است و بر نحوه رویکرد کاخ سفید، کنگره و اتاق های فکر به این فناوری تسلط دارند.

Cohere ترس EA در مورد وزن مدل LLM را عقب می اندازد

ابتدا، من به نیک فراست، یکی از بنیانگذاران Cohere، یک رقیب OpenAI و Anthropic که بر توسعه LLM برای شرکت تمرکز دارد، برای برداشت او در مورد این مسائل مراجعه کردم. او در مصاحبه‌ای اخیر به من گفت که فکر نمی‌کند مدل‌های زبانی بزرگ تهدیدی وجودی محسوب می‌شوند، و در حالی که Cohere از وزن‌های مدل خود محافظت می‌کند، نگرانی شرکت ریسک تجاری مرتبط با دسترسی دیگران به وزن‌ها است، نه وجودی.

او گفت: «من واقعاً می‌خواهم تمایز ایجاد کنم… من در مورد مدل‌های زبان بزرگ صحبت می‌کنم. چیزهای جالب زیادی وجود دارد که می توانید در مورد آنها صحبت کنید که فلسفی هستند، مانند اینکه من فکر می کنم روزی ممکن است هوش عمومی مصنوعی واقعی داشته باشیم. فکر نمی کنم به این زودی اتفاق بیفتد.

کوهره همچنین در گذشته از جنبش مؤثر نوع دوستی انتقاد کرده است. به عنوان مثال، آیدان گومز، مدیر عامل شرکت، طبق گزارش‌ها از «خود درستکاری» جنبش مؤثر نوع‌دوستی و کسانی که بیش از حد نگران تهدید روز رستاخیز هوش مصنوعی هستند، انتقاد کرد. در نامه ای به کارکنانش

فراست گفت که EA “به نظر نمی رسد این روزها فراتر از تمرکز هوش مصنوعی خود وجود داشته باشد” و سیستم اعتقادی خود را عقب انداخت. او گفت: “اگر خود را در یک جهان بینی فلسفی می بینید که در نهایت توجیه اخلاقی، در واقع، عدالت اخلاقی را برای انباشت انبوه ثروت شخصی فراهم می کند، احتمالا باید این جهان بینی را زیر سوال ببرید.”

او ادامه داد: یک نقص بزرگ در نوع دوستی مؤثر این است که «فرض کنیم می‌توانید به کارهای خوبی که انجام می‌دهید نگاه کنید و عددی را تعیین کنید و دقیقاً بدانید که این کار چقدر مؤثر است». به جاهای عجیب و غریبی ختم می شود مانند، هی، باید تا حد امکان پول دربیاوریم. و ما باید همه را بگذاریم [towards combating] خطر وجودی هوش مصنوعی.»

یکی از بنیانگذاران آزمایشگاه AI21 می‌گوید وزن مدل‌ها عامل اصلی بازیگران بد نیستند

در همین حال، Yoav Shoham، یکی از بنیانگذاران یکی دیگر از رقبای Anthropic و OpenAI، مستقر در تل آویو آزمایشگاه های AI21همچنین گفت که شرکت او وزن مدل خود را به دلایل محرمانه تجاری مخفی نگه داشته است.

او گفت: «ما نسبت به سوء استفاده احتمالی از فناوری بسیار حساس هستیم. با این حال، ما تمایل داریم فکر کنیم که وزن مدل لزوماً عامل اصلی بازیگران بد نیست.

وی خاطرنشان کرد که در عصر مسابقه هوش مصنوعی ژئوپلیتیکی، “تنها جنبه های خاصی را می توان از طریق سیاست حل کرد.” در عوض، او توضیح داد: «ما کارهای خود را با شرایط استفاده دقیق انجام می‌دهیم، بر مدل‌های ویژه کار تمرکز می‌کنیم که به دلیل ماهیت خود کمتر مستعد سوءاستفاده هستند، و همکاری نزدیک با مشتریان سازمانی‌مان، که تعهد ما به استفاده‌های مفید را دارند. از هوش مصنوعی.”

شوهام تاکید کرد که او و AI21 اعضای جنبش EA نیستند. “به عنوان افراد خارجی، ما می بینیم که ترکیبی از توجه متفکرانه به استفاده مسئولانه از هوش مصنوعی وجود دارد. [along] با ترس‌آفرینی کمتر پایه‌ای.»

محقق RAND می گوید باورهای EA “به ویژه مفید نیستند”

در حالی که RAND Corporation در تیررس انتقادات در مورد اتصالات EA خود بوده است، محققانی در RAND نیز وجود دارند که به عقب رانده می شوند.

مارک پوسارد، محقق و جامعه شناس نظامی RAND، ماه گذشته در این مورد صحبت کرد وبلاگ رند در مورد اینکه چگونه بحث های فلسفی هوش مصنوعی مانند نوع دوستی مؤثر و e/acc باعث ایجاد حواس پرتی برای خط مشی هوش مصنوعی می شود.

او در مصاحبه اخیرش به من گفت: “این یک فناوری جدید است و بنابراین ناشناخته های زیادی وجود دارد.” “هیاهوهای زیادی وجود دارد. مزخرفات زیادی وجود دارد، من استدلال می کنم که بسیاری از نگرانی های واقعی و بسیار واقعی در جریان است. همه این باورها و ایدئولوژی ها، فلسفه ها، تئوری ها وجود دارد که در اطراف شناور هستند، من فکر می کنم، اساساً مردم وجود دارند. به همه چیز چفت می شود.”

اما نه EA و نه e/acc “به ویژه مفید” نیستند. “آنها همچنین فرضیاتی هستند که یک گروه کوچک فکر می کند جهان چیست. واقعیت این است که ما می دانیم که امروز مشکلات بسیار واقعی وجود دارد.

با این حال، پوسارد نگفت که آرای EA با RAND ارزش گذاری نشده است. در واقع، او اظهار داشت که RAND تنوع افکار را ترویج می کند، که به گفته او “سس مخفی” اتاق فکر سیاست جهانی غیرانتفاعی است.

او گفت: “این در مورد تنوع فکر، پیشینه، رشته ها و تجربیات افراد است.” من از هر کسی دعوت می‌کنم که یک دستور کار ایدئولوژیک را پیش ببرد – زیرا برای انجام این کار تنظیم نشده است.»

امنیت سایبری سنتی بر خطرات امروزی متمرکز است

در حالی که بسیاری (از جمله خود من) ممکن است امنیت هوش مصنوعی و امنیت سایبری سنتی را با هم ترکیب کنند – و تکنیک های آنها با هم همپوشانی دارند. گزارش اخیر رند در مورد ایمن کردن وزن مدل LLM روشن می شود – من نمی دانم که آیا جامعه سنتی امنیت سایبری کاملاً از پدیده EA و تأثیر آن بر سیاست امنیتی هوش مصنوعی آگاه است، به ویژه از آنجایی که صنعت تمایل دارد به جای خطرات وجودی، بر خطرات امروزی تمرکز کند.

به عنوان مثال، من با Dan deBeaubien صحبت کردم، که تحقیقات هوش مصنوعی را رهبری می کند و ریاست گروه های کاری خط مشی هوش مصنوعی و محصول را بر عهده دارد. موسسه SANS، یک شرکت مستقر در Rockville، MD متخصص در آموزش و صدور گواهینامه امنیت سایبری. در حالی که او از جنبش EA اطلاع داشت و گفت که «قطعاً نیرویی است که در آنجا حضور دارد»، به نظر می‌رسد دوبین از میزان تمرکز مؤثر نوع‌دوستی بر خطرات فاجعه‌آمیز وجودی هوش مصنوعی آگاه نیست – و آن را بیشتر به عنوان یک سازمان هوش مصنوعی اخلاقی

وی با اشاره به اینکه بیشتر نگران درک خطرات امنیتی کنونی مربوط به استفاده مردم از چت ربات های LLM در سازمان ها است، گفت: «ما فی نفسه گفتگوهای موثر نوع دوستی نداریم. “آیا بیدار دراز می کشم و نگران این هستم که کسی اهرمی را بکشد و هوش مصنوعی بر آن مسلط شود – حدس می زنم که واقعاً زیاد به این موضوع فکر نمی کنم.”

به نظر می رسد برخی از کارشناسان با نگرانی های EA همزیستی دارند

با این حال، سایر کارشناسان سیاست متمرکز بر DC، به خوبی از تأثیر EA بر امنیت هوش مصنوعی آگاه بودند، اما به نظر می‌رسیدند که به جای اینکه به شدت در سابقه صحبت کنند، بر همزیستی با جنبش متمرکز شده‌اند.

به عنوان مثال، من با مارک بیل، رئیس سابق سیاست هوش مصنوعی در وزارت دفاع ایالات متحده صحبت کردم که اکنون یکی از بنیانگذاران و مدیر عامل Gladstone AI است که راه حل های آموزش هوش مصنوعی و تست و ارزیابی هوش مصنوعی را به نهادهای دولتی و صنعتی ارائه می دهد. او تاکید کرد که گلدستون هیچ گونه سرمایه گذاری خطرپذیر یا کمک های مالی بشردوستانه را نپذیرفته است.

Beall گفت که خطرات هوش مصنوعی واضح است – بنابراین رویکرد فناوری مرسوم “سریع حرکت کنید و چیزها را خراب کنید” بی پروا است. او توضیح داد که در عوض، DC به پادمان‌های عقل سلیم نیاز دارد که توسط واقعیت‌های فنی هدایت می‌شود و شکاف سیاسی-فناوری را پر می‌کند.

او گفت: «من به راه‌اندازی مرکز مشترک هوش مصنوعی در پنتاگون کمک کردم، و واقعیت این است که بسیاری از کسانی که مسئول حفاظت از منافع آمریکا هستند، مدت‌ها قبل از اینکه «نودوست‌های مؤثر» خودخوانده در محافل سیاست‌گذاری واشنگتن قرار بگیرند، روی هوش مصنوعی کار کرده‌اند. ما در وزارت دفاع، سیاست هوش مصنوعی مسئولانه ای را ایجاد کردیم و سرمایه گذاری هنگفتی روی ایمنی هوش مصنوعی انجام دادیم. ماموریت ما همیشه شتاب دادن مسئولانه بوده است. و برای کسانی که در حاشیه هستند که فکر می کنند مقامات ایالات متحده به طور مستقل خطرات هوش مصنوعی را ردیابی نکرده اند – یا به نوعی در حال پیگیری هستند. فریب خوردن – اشتباه هستند.

هوش مصنوعی بدون حکومت به عنوان یک ریسک بزرگ ژئوپلیتیکی معرفی شد

من همچنین با ایان برمر، رئیس و مؤسس گروه اوراسیا تماس گرفتم، گروهی که هفته گذشته فهرست خود را منتشر کرد. خطرات ژئوپلیتیکی بالا سال ۲۰۲۴ – با هوش مصنوعی بدون حکومت در رتبه چهارم.

برمر دقیقاً روی خطرات امروزی مانند اطلاعات نادرست انتخاباتی تمرکز کرد: “GPT-5 قرار است قبل از انتخابات ایالات متحده ظاهر شود و “آنقدر قدرتمند خواهد بود که GPT-4 را در مقایسه با یک اسباب بازی شبیه کند.” حتی سازندگان آن واقعاً پتانسیل یا قابلیت‌های آن را درک نمی‌کنند.»

با این حال، او اظهار داشت که یک “بحث قانونی” در مورد ارزش منبع باز در مقابل منبع بسته و اهمیت ایمن کردن وزن مدل وجود دارد. او گفت: «من فکر می‌کنم اشتباه است، همانطور که بسیاری انجام می‌دهند، فرض کنیم که فشار برای ایمن کردن وزن مدل صرفاً با محاسبات بدبینانه تجاری انجام می‌شود.

با این حال، اگر تمرکز نوع‌دوستی مؤثر واقعاً نوع‌دوستی باشد، برمر اضافه کرد که «ما باید مطمئن شویم که هوش مصنوعی با مدل‌های کسب‌وکار که جامعه مدنی را تضعیف می‌کنند همسو نمی‌شود – این بدان معناست که مدل‌ها را نه فقط برای سوءاستفاده، بلکه همچنین برای مشاهده تأثیرات استفاده معمولی مورد انتظار آزمایش کنیم. رفتار اجتماعی (و رشد کودکان – یک نگرانی خاص). برمر افزود که او “تا به امروز بسیار کمی از آن را از جنبش EA دیده است.”

او نتیجه گرفت که مشکل EA این است که “وقتی شروع به صحبت در مورد پایان جهان به عنوان یک امکان واقع بینانه می کنید، منطقاً هر نوع خطر دیگری بی اهمیت می شود.”