Silo AI از Poro، یک مدل زبان منبع باز جدید برای اروپا رونمایی کرد

استارتاپ هوش مصنوعی هلسینکی، فنلاند سیلوهای هوش مصنوعی این هفته با رونمایی از Poro، یک محصول جدید، موج ایجاد کرد متن باز مدل زبان بزرگ (LLM) با هدف پیشرفت قابلیت‌های هوش مصنوعی چند زبانه برای زبان‌های اروپایی.

Poro اولین مدل از یک خانواده برنامه ریزی شده از مدل های منبع باز است که در نهایت تمام ۲۴ زبان رسمی اتحادیه اروپا را پوشش می دهد. این مدل ها توسط SiloGen، بخش هوش مصنوعی مولد Silo AI که در اواخر سال ۲۰۲۲ تأسیس شد، توسعه می یابد.

“این یک سوال حاکمیت دیجیتالی است که در آن شما می خواهید مطمئن شوید که مدل هایی وجود دارند که پایه ارزش، فرهنگ و زبان ها را به دست می آورند.” پیتر سارلین، مدیرعامل Silo AI در مصاحبه ای با VentureBeat گفت. “در نهایت، این در مورد ایجاد ارزش است، اطمینان حاصل شود که نه تنها اروپایی، بلکه هر شرکتی در آنجا می تواند ارزش ایجاد کند، می تواند مدل های اختصاصی ایجاد کند که ارزشی ایجاد کند که در اروپا باقی بماند و در آن سازمان باقی بماند.”

مدل Poro 34B با ۳۴٫۲ میلیارد پارامتر که از کلمه “گوزن شمالی” در فنلاندی نامگذاری شده است، از معماری ترانسفورماتور BLOOM با تعبیه‌های ALiBi استفاده می‌کند. این برنامه بر روی یک مجموعه داده چند زبانه ۲۱ تریلیون رمزی آموزش داده شد که شامل زبان های انگلیسی، فنلاندی و زبان های برنامه نویسی مانند پایتون و جاوا است.

Poro در حال آموزش بر روی LUMI، سریعترین ابررایانه اروپا است که در کجاانی فنلاند واقع شده است. LUMI امکان دسترسی به ۵۱۲ پردازنده گرافیکی AMD Instinct MI250X با توان محاسباتی ۷۴ پتافلاپ را فراهم می کند.

به گفته سارلین، Poro برای مقابله با چالش اصلی آموزش مدل‌های زبان طبیعی عملکردی برای زبان‌های اروپایی با منابع پایین‌تر مانند فنلاندی طراحی شده است. این کار را با استفاده از رویکرد آموزشی بین زبانی انجام می دهد و به مدل اجازه می دهد از داده های زبان های با منابع بالاتر مانند انگلیسی استفاده کند.

این مدل دومین LLM منبع باز اصلی است که پس از استارتاپ فرانسوی با سرمایه گذاری رکورددار در اروپا منشأ گرفته است اولین Mistral AI از Mistral 7B در اواخر سپتامبر ۲۰۲۳، و دستاوردهای رو به رشد قاره و منطقه را در زمینه هوش مصنوعی مولد به سرعت در حال تکامل به نمایش می گذارد. همچنین رقابت فزاینده بین آزمایشگاه‌ها و شرکت‌های مختلف هوش مصنوعی را برجسته می‌کند.

پست های بازرسی تحقیقاتی پورو

به عنوان بخشی از تعهد SiloGen به شفافیت، پیشرفت آموزشی Poro از طریق برنامه بازرسی تحقیقاتی Poro مستند خواهد شد.

“ما در طول آموزش مدل، پست های بازرسی را آزاد خواهیم کرد، که به نوعی جدید است.” سارلین توضیح داد. ابتکاراتی وجود ندارد که چنین شفافیتی را به آموزش مدل داده باشد.»

ایست بازرسی اولیه برای Poro 34B 30 درصد اول آموزش را پوشش می دهد. طبق معیارهای منتشر شده توسط Silo AI، Poro حتی با تکمیل ۳۰ درصد از رژیم آموزشی گسترده خود به نتایج پیشرفته‌ای دست می‌یابد.

در ارزیابی پرکاربرد FIN-bench برای زبان فنلاندی، Poro از مدل‌های موجود هوش مصنوعی فنلاندی تک زبانه مانند FinGPT که به طور خاص برای آن کار طراحی شده‌اند، بهتر عمل می‌کند.

سارلین خاطرنشان کرد: «این مدل، در حال حاضر پس از ۳۰ درصد آموزش، در زبان‌های کم منبع عملکرد بیشتری نسبت به تلاش‌های قبلی دارد. با استفاده از الگوهای مشترک بین زبان‌های مرتبط، Poro برای زبان‌هایی که داده‌های آموزشی کمتری در دسترس دارند، برتری پیدا می‌کند.

قابل توجه است که توانایی های چند زبانه پورو به قیمت بهای مهارت انگلیسی تمام نشده است. به گفته سارلین، آزمایش بر روی مجموعه‌های ارزیابی استاندارد انگلیسی نشان می‌دهد که این مدل «از نظر معیارهای فنلاندی از مدل‌های موجود بهتر عمل می‌کند، و شما در مسیری قرار دارید که در عملکرد انگلیسی همتراز باشید».

یک جایگزین منبع باز برای Big Tech

سارلین معتقد است مدل‌های منبع باز مانند Poro آینده هوش مصنوعی را نشان می‌دهند و جایگزینی شفاف و اخلاقی برای مدل‌های بسته شرکت‌های بزرگ فناوری ارائه می‌کنند.

سارلین گفت: “من شخصاً معتقدم که در نهایت جایگزین های منبع باز زیادی وجود خواهد داشت.” امن‌ترین راه رو به جلو این است که در واقع به منبع باز بروید و دید کاملی از نحوه ساخت این مدل‌ها و معماری آن داشته باشید.»

او افزود: «ما تلاش زیادی کرده‌ایم تا اطمینان حاصل کنیم که هر دو داده‌های سمت مدل از نظر طراحی با مقررات مطابقت دارند.»

هوش مصنوعی Silo قصد دارد به انتشار پست های بازرسی منظم Poro در طول فرآیند آموزشی ادامه دهد. هدف نهایی ایجاد یک خانواده کامل از مدل های منبع باز است که تمام زبان های اروپایی را پوشش می دهد. اگر نتایج اولیه نشانه‌ای باشد، پورو به زودی می‌تواند به بیگ تک پول بدهد.

همکاری با دانشگاه تورکو

Poro نشان دهنده یک همکاری مداوم بین هوش مصنوعی Silo و دانشگاه تورکو در فنلاند است. محققان گروه TurkuNLP دانشگاه در توسعه منابع و مدل های منبع باز برای زبان فنلاندی پیشگام بوده اند.

سارلین گفت: “گروه تحقیقاتی من ملحق شد، چند استاد ملحق شدند و ما اساساً شرکت را افزایش دادیم، درآمد را تامین کردیم و راه‌اندازی کردیم. ما در مقایسه با بسیاری از آنها کاملاً متفاوت هستیم.” “ما کمی بیشتر از ۳۰۰ نفر هستیم، اکثریت آنها دارای مدرک دکترا در رشته های مرتبط با هوش مصنوعی هستند.”

این مشارکت، تخصص هوش مصنوعی کاربردی و منابع محاسباتی Silo AI را با رهبری دانشگاه در تحقیقات مدل‌سازی زبان چندزبانه ترکیب می‌کند. به گفته سارلین، این نشان دهنده مدلی است برای اینکه چگونه صنعت و دانشگاه می توانند برای پیشبرد قابلیت های هوش مصنوعی، به ویژه برای زبان های اروپایی با منابع کمتر، با یکدیگر همکاری کنند.

آیا اروپا یک رهبر آینده در زمینه هوش مصنوعی منبع باز است؟

انتشار Poro نشان‌دهنده دوره جدیدی از همکاری و شفافیت در زمینه پردازش زبان طبیعی است. طرح‌هایی مانند Poro Research Points دسترسی کل جامعه را به ابزارها و بینش‌هایی که قبلاً در غول‌های فناوری قفل شده بودند، فراهم می‌کند.

سارلین گفت: “ما با مشتریانی مانند آلیانز کار می کنیم. رولز رویس مشتری ما است. ما با هوندا کار می کنیم. ما با فیلیپس کار می کنیم. ما با بسیاری از برندهای بزرگ کار می کنیم.” مدت‌هاست که شنیده‌ایم که این شرکت‌های بزرگ کاملاً نگران این هستند که مقررات نهایی چگونه به نظر می‌رسند و از چه مدل‌هایی می‌توانند استفاده کنند.

اگر پورو به وعده خود عمل کند، می‌تواند دسترسی به مدل‌های چندزبانه کارآمد را دموکراتیک کند – به اروپا یک جایگزین داخلی برای سیستم‌های شرکت‌های فناوری ایالات متحده می‌دهد. در حالی که هنوز روزهای اولیه است، Poro نقطه عطف مهمی در بیرون آوردن زبان هوش مصنوعی از سیلوهای اختصاصی و به فضای باز است.