محققان از “۳D-GPT” رونمایی کردند، یک هوش مصنوعی که می تواند جهان های سه بعدی را با دستورات متنی ساده تولید کند.

محققان دانشگاه ملی استرالیا، دانشگاه آکسفورد و آکادمی هوش مصنوعی پکن یک سیستم هوش مصنوعی جدید به نام “۳D-GPTکه می تواند مدل های سه بعدی را به سادگی از توضیحات مبتنی بر متن ارائه شده توسط کاربر ایجاد کند.

سیستم، شرح داده شده در a مقاله منتشر شده در arXivروشی کارآمدتر و شهودی برای ایجاد دارایی های سه بعدی در مقایسه با جریان های کاری مدل سازی سه بعدی سنتی ارائه می دهد.

بر اساس این مقاله، ۳D-GPT می‌تواند وظایف مدل‌سازی سه بعدی رویه‌ای را به بخش‌های قابل دسترس تقسیم کند و عامل مناسب را برای هر کار تعیین کند. از چندین عامل هوش مصنوعی استفاده می‌کند که هر کدام بر بخش متفاوتی از درک متن و اجرای عملکردهای مدل‌سازی تمرکز می‌کنند.

“۳D-GPT موقعیت های LLM را نشان می دهد [large language models] به عنوان حل‌کننده‌های ماهر، وظایف مدل‌سازی سه‌بعدی رویه‌ای را به بخش‌های قابل دسترس تقسیم می‌کنند و برای هر کار عامل مناسبی را تعیین می‌کنند.”

عوامل کلیدی عبارتند از «عامل اعزام وظیفه» که دستورالعمل‌های متنی را تجزیه می‌کند، «عامل مفهوم‌سازی» که جزئیات گمشده در توضیحات اولیه را اضافه می‌کند، و «عامل مدل‌سازی» که پارامترها را تنظیم می‌کند و کد تولید می‌کند تا نرم‌افزار سه‌بعدی مانند Blender را تولید کند.

۳D-GPT با شکستن فرآیند مدل‌سازی و تخصیص عوامل تخصصی هوش مصنوعی، می‌تواند اعلان‌های متنی را تفسیر کند، توضیحات را با جزئیات بیشتر بهبود بخشد و در نهایت دارایی‌های سه بعدی را تولید کند که مطابق با آنچه کاربر تصور می‌کرده است.

این مقاله توضیح داد: «توضیحات صحنه اولیه مختصر را بهبود می‌بخشد، آنها را به فرم‌های دقیق تبدیل می‌کند و در عین حال متن را به صورت پویا بر اساس دستورالعمل‌های بعدی تطبیق می‌دهد».

این سیستم بر روی دستورهایی مانند “یک صبح مه آلود بهاری، جایی که گل های شبنم زده در یک چمنزار سرسبز احاطه شده توسط درختان جوانه زده را پر می کنند” آزمایش شد. ۳D-GPT توانست صحنه های سه بعدی کاملی با گرافیک واقع گرایانه ایجاد کند که به دقت عناصر توضیح داده شده در متن را منعکس کند.

در حالی که کیفیت گرافیک هنوز واقعی نیست، نتایج اولیه نشان می‌دهد که این رویکرد مبتنی بر عامل نویدبخش ساده‌سازی محتوای سه‌بعدی است. معماری مدولار همچنین می تواند به هر جزء عامل اجازه دهد تا به طور مستقل بهبود یابد.

محققان نوشتند: «تحقیقات تجربی ما تأیید می‌کند که ۳D-GPT نه تنها دستورالعمل‌ها را تفسیر و اجرا می‌کند و نتایج قابل اعتمادی ارائه می‌دهد، بلکه به طور مؤثر با طراحان انسانی همکاری می‌کند».

با تولید کد برای کنترل نرم افزارهای سه بعدی موجود به جای ساختن مدل ها از ابتدا، ۳D-GPT با ادامه پیشرفت تکنیک های مدل سازی، پایه ای منعطف برای ساختن آن فراهم می کند.

محققان به این نتیجه رسیدند که سیستم آنها “پتانسیل LLM ها در مدل سازی سه بعدی را برجسته می کند و چارچوبی اساسی برای پیشرفت های آینده در تولید صحنه و انیمیشن ارائه می دهد.”

این تحقیق می تواند صنعت مدل سازی سه بعدی را متحول کند و این فرآیند را کارآمدتر و در دسترس تر کند. همانطور که به سمت عصر متاورس پیش می رویم، با ایجاد محتوای سه بعدی به عنوان یک کاتالیزور، ابزارهایی مانند ۳D-GPT می توانند برای سازندگان و تصمیم گیرندگان در طیف وسیعی از صنایع، از بازی و واقعیت مجازی تا سینما و تجارب چند رسانه ای، ارزشمند باشند.

چارچوب ۳D-GPT هنوز در مراحل اولیه خود است و محدودیت هایی دارد، اما توسعه آن یک گام مهم به جلو در مدل سازی سه بعدی مبتنی بر هوش مصنوعی است و فرصت های هیجان انگیزی را برای پیشرفت های آینده باز می کند.