عملکرد خیره‌کننده پلتفرم هوش مصنوعی Groq در اجرای لاما ۳

متا روز گذشته همزمان با ارائه هوش مصنوعی اختصاصی خود در اینستاگرام، واتس‌اپ و فیسبوک، مدل زبان بزرگ جدید لاما ۳ (Llama 3) را در اختیار تأمین‌کنندگان سرویس‌های ابری قرار داده است. حالا برخی کاربران شبکه‌های اجتماعی به عملکرد این مدل در پلتفرم هوش مصنوعی Groq اشاره کرده‌اند که گفته می‌شود سرعت استثنایی پردازش ۸۰۰ توکن‌درثانیه را ارائه می‌کند.

عملکرد خیره‌کننده مدل لاما ۳ در پلتفرم هوش مصنوعی Groq

براساس پستی که توسط «مت شومر»، بنیان‌گذار و مدیرعامل شرکت OthersideAI منتشر شده است، پلتفرم هوش مصنوعی شرکت Groq سرعت استنتاج برق‌آسای بیش از ۸۰۰ توکن‌در‌ثانیه را با مدل لاما ۳ متا ارائه می‌کند. هرچند متا یا Groq هنوز این موضوع را تأیید نکرده‌اند، اما این ویژگی می‌تواند در مقایسه با سایر سرویس‌های هوش مصنوعی ابری یک جهش قابل‌توجه باشد.

VentureBeat در گزارش خود از این موضوع اعلام‌کرده که این ادعا درست است. [از طریق این لینک می‌توانید خودتان عملکرد آن در چت‌بات Groq را امتحان کنید.]

پردازش ۸۰۰ توکن‌در‌ثانیه (یا حدود ۴۸ هزار توکن‌در‌دقیقه) برای Llama 3 به‌اندازه‌ای سریع است که با وجود آن، مدل‌های هوش مصنوعی در هر دقیقه می‌توانند حدود ۵۰۰ کلمه تولید کنند. همچنین با این شرایط، سرعت استنتاج لاما ۳ از مدل‌های زبان بزرگ دیگری که امروزه روی پردازنده‌های گرافیکی معمولی در فضای ابری ارائه می‌شوند، سریع‌تر است.

توسعه معماری جدید توسط Groq برای محاسبات یادگیری عمیق

استارتاپ مستقر در سیلیکون‌ولی Groq، درحال توسعه یک معماری پردازنده جدید بهینه‌سازی‌شده برای عملیات‌های ضرب ماتریسی است که قلب محاسباتی یادگیری عمیق است. Groq ادعا می‌کند که این معماری می‌تواند عملکرد و کارایی بسیار بالاتری را برای استنتاج هوش مصنوعی ارائه کند، و نتیجه عملکرد پردازشی ۸۰۰ توکن‌درثانیه برای لاما ۳ به ادعای آن اعتبار می‌بخشد.

معماری Groq در مقایسه با طرح‌های مورداستفاده توسط انویدیا و سایر سازندگان تراشه، تفاوت‌های قابل‌توجهی دارد. این استارتاپ به جای تطبیق پردازنده‌های همه‌منظوره برای هوش مصنوعی، پردازنده Tensor Streaming خود را برای تسریع الگوهای محاسباتی خاص یادگیری عمیق ساخته است.

خود متا پس از عرضه لاما ۳ ادعا کرده بود که این مدل زبانی عملکرد بهتری نسبت به اغلب رقبا دارد. درحال‌حاضر این مدل در دو نسخه ارائه شده که یکی از آنها با ۸ میلیارد و دیگری با ۷۰ میلیارد پارامتر همراه است. متا می‌گوید که میزان تنوع در پاسخ‌های ارائه‌شده توسط این مدل بیشتر از گذشته شده است و خطاها یا عدم پاسخ‌گویی به سؤالات به‌ندرت صورت می‌گیرد. همچنین نحوه درک دستورات و نوشتن کدها هم بهبود یافته است.

گفتنی است که استارتاپ Groq ارتباطی با هوش مصنوعی Grok، متعلق به استارتاپ xAI ایلان ماسک ندارد.