مدل های تخصصی: هوش مصنوعی چگونه مسیر تکامل سخت افزار را دنبال می کند

تغییر صنعت به سمت استقرار کوچکتر، تخصصی تر – و بنابراین کارآمدتر – مدل های هوش مصنوعی منعکس کننده تحولی است که قبلاً در دنیای سخت افزار شاهد آن بوده ایم. به عنوان مثال، استفاده از واحدهای پردازش گرافیکی (GPU)، واحدهای پردازش تانسور (TPU) و دیگر شتاب‌دهنده‌های سخت‌افزاری به عنوان ابزاری برای محاسبات کارآمدتر.

توضیح ساده ای برای هر دو مورد وجود دارد و به فیزیک می رسد.

مبادله CPU

CPU ها به عنوان موتورهای محاسباتی عمومی ساخته شده اند که برای اجرای وظایف پردازش دلخواه طراحی شده اند مرتب سازی داده ها، برای انجام محاسبات، برای کنترل دستگاه های خارجی. آنها طیف گسترده ای از الگوهای دسترسی به حافظه، عملیات محاسباتی و جریان کنترل را کنترل می کنند.

با این حال، این عمومیت هزینه دارد. از آنجایی که اجزای سخت‌افزاری CPU از طیف وسیعی از وظایف و تصمیم‌گیری‌ها در مورد کارهایی که پردازنده باید در هر زمان معین انجام دهد پشتیبانی می‌کنند – که نیاز به سیلیکون بیشتری برای مدار، انرژی برای تغذیه آن و البته زمان برای اجرای آن عملیات دارد.

این مبادله، در حالی که تطبیق پذیری را ارائه می دهد، به طور ذاتی کارایی را کاهش می دهد.

این به طور مستقیم توضیح می دهد که چرا محاسبات تخصصی به طور فزاینده ای در ۱۰-۱۵ سال گذشته به یک هنجار تبدیل شده است.

GPU ها، TPU ها، NPU ها، اوه من

امروز شما نمی توانید یک گفتگو در مورد هوش مصنوعی بدون اینکه اشاره ای به GPU ها، TPU ها، NPU ها و اشکال مختلف موتورهای سخت افزاری هوش مصنوعی داشته باشید.

این موتورهای تخصصی هستند، منتظر باشید، کمتر تعمیم یافته است – به این معنی که وظایف کمتری نسبت به یک CPU انجام می دهند، اما به دلیل عمومیت کمتری، بسیار کارآمدتر هستند. آنها بیشتر از ترانزیستورها و انرژی خود را به انجام محاسبات واقعی و دسترسی به داده اختصاص داده شده به وظیفه در دست اختصاص می دهند، با پشتیبانی کمتری که به وظایف عمومی اختصاص داده شده است (و تصمیمات مختلف مربوط به اینکه در هر زمان به چه چیزی محاسبه شود/دسترسی داشته باشد).

از آنجایی که آنها بسیار ساده تر و مقرون به صرفه هستند، یک سیستم می تواند تعداد بیشتری از آن موتورهای محاسباتی را به صورت موازی کار کند و از این رو عملیات بیشتری را در واحد زمان و واحد انرژی انجام دهد.

تغییر موازی در مدل های زبان بزرگ

یک تکامل موازی در قلمرو در حال آشکار شدن است مدل های زبان بزرگ (LLMs).

مانند پردازنده‌های مرکزی، مدل‌های عمومی مانند GPT-4 به دلیل عمومیت و توانایی آن‌ها در انجام وظایف به‌طور شگفت‌آور پیچیده، چشمگیر هستند. اما این کلیت همواره از هزینه در تعداد پارامترها (شایعات نشان می‌دهد که به ترتیب تریلیون‌ها پارامتر در مجموعه مدل‌ها است) و هزینه محاسبه و دسترسی حافظه مرتبط برای ارزیابی همه عملیات‌های لازم برای استنتاج می‌آید.

این باعث ایجاد مدل های تخصصی مانند CodeLlama شده است که می توانند وظایف کدنویسی را با دقت خوب (به طور بالقوه دقت بهتر) اما با هزینه بسیار کمتر انجام دهند. مثال دیگر، Llama-2-7B می‌تواند کارهای دستکاری زبان معمولی مانند استخراج موجودیت را به خوبی و همچنین با هزینه بسیار کمتر انجام دهد. Mistral، Zephyr و دیگران همگی مدل های کوچکتری هستند.

این روند بازتاب تغییر از اتکای انحصاری به پردازنده‌ها به رویکرد هیبریدی است که موتورهای محاسباتی تخصصی مانند GPU را در سیستم‌های مدرن ترکیب می‌کند. پردازنده‌های گرافیکی در کارهایی که نیاز به پردازش موازی عملیات ساده‌تر دارند، مانند هوش مصنوعی، شبیه‌سازی‌ها و رندرهای گرافیکی، که بخش عمده‌ای از نیازهای محاسباتی را در این حوزه‌ها تشکیل می‌دهند، برتری دارند.

عملیات ساده تر، الکترون های کمتری را می طلبد

در دنیای LLM، آینده در استقرار مدل‌های ساده‌تر برای اکثر وظایف هوش مصنوعی، مدل‌های بزرگ‌تر و با منابع فشرده‌تر را برای کارهایی که واقعاً به قابلیت‌های آن‌ها نیاز دارند، رزرو کنید. و خوشبختانه، بسیاری از برنامه‌های کاربردی سازمانی مانند دستکاری داده‌های بدون ساختار، طبقه‌بندی متن، خلاصه‌سازی و موارد دیگر، همگی با مدل‌های کوچک‌تر و تخصصی‌تر قابل انجام هستند.

اصل اساسی ساده است: عملیات ساده‌تر، الکترون‌های کمتری را می‌طلبد که به بازده انرژی بیشتر تبدیل می‌شود. این فقط یک انتخاب تکنولوژیکی نیست. این امری ضروری است که توسط اصول اساسی فیزیک دیکته شده است. بنابراین، آینده هوش مصنوعی به ساخت مدل‌های عمومی بزرگ‌تر نیست، بلکه به پذیرش قدرت تخصصی برای راه‌حل‌های هوش مصنوعی پایدار، مقیاس‌پذیر و کارآمد بستگی دارد.

لوئیس سزه مدیر عامل شرکت است OctoML.