هدف DataStax هوش مصنوعی رویداد محور با پروژه LangStream منبع باز است

هوش مصنوعی مولد اغلب با منابع ایستا داده کار می کند – اما اگر سازمانی بخواهد از داده های جریان بیدرنگ بهره مند شود، چه؟ این یکی از اهداف زیربنای پروژه منبع باز جدید LangStream است که توسط آن رهبری می شود DataStax.

پروژه LangStream به آرامی توسط DataStax در ۱۳ سپتامبر راه‌اندازی شد و تلاش‌ها در هفته‌های پس از آن به سرعت تکرار شد، با انتشار جدیدی که امروز منتشر شد که نقاط ادغام را برای مفیدتر کردن فناوری گسترش می‌دهد. LangStream در ابتدا فقط با پایگاه داده AstraDB DataStax کار می کرد و اکنون از یک سری پایگاه داده برداری از جمله پشتیبانی می کند. بادبادک همچنین کاج.

ایده اصلی پشت LangStream این است که توسعه دهندگان را قادر می سازد تا راحت تر با منابع داده های جریانی (که گاهی به عنوان داده در حرکت شناخته می شوند) کار کنند تا به ساخت معماری هایی که به عنوان معماری رویداد محور شناخته می شوند کمک کنند. در یک معماری رویداد محور، یک رویداد، که می‌تواند یک نقطه داده جدید باشد که از یک جریان وارد می‌شود، می‌تواند یک عمل دیگر را راه‌اندازی یا «راندن» کند. معماری‌های رویداد محور نیز در پایه برنامه‌های بلادرنگ قرار دارند و برنامه‌ها را قادر می‌سازد از داده‌ها در هنگام ورود به یک پلتفرم بهره ببرند. این به مدل‌های مولد اجازه می‌دهد تا آخرین داده‌های زمینه‌ای را هنگام فرمول‌بندی پاسخ‌ها یا تکمیل وظایف در نظر بگیرند.

کریس بارتولومیو، رئیس مهندسی استریم در DataStax در مصاحبه ای اختصاصی به VentureBeat گفت: «LangStream راهی برای ساخت برنامه های کاربردی هوش مصنوعی مولد به روش رویداد محور است.

Bartholomew با دنیای استریم داده‌ها غریبه نیست، زیرا قبلاً بنیانگذار و مدیرعامل فروشنده داده جریانی Kesque بود که در سال ۲۰۲۱ توسط DataStax خریداری شد. Kesque فناوری مبتنی بر منبع باز را توسعه داد. آپاچی پالسار پروژه جریان داده، که اکنون پایه و اساس سرویس DataStax Astra Streaming شده است.

نحوه عملکرد LangStream برای فعال کردن هوش مصنوعی مبتنی بر رویداد

همانطور که مشخص است، LangStream در حال حاضر به Apache Pulsar متکی نیست، بلکه از منبع باز استفاده می کند. آپاچی کافکا فناوری که امروزه به طور گسترده برای جریان داده رویداد استفاده می شود.

Bartholomew توضیح داد که LangStream از یک مدل پردازش جریان استاندارد استفاده می کند که در آن پیام ها یا رویدادها را دریافت می کند، آنها را پردازش می کند و آنها را ارسال می کند. LangStream به ویژه در ترکیب با فناوری های پایگاه داده برداری برای پشتیبانی از عملیات بازیابی (RAG) مفید است که در آن مدل های هوش مصنوعی مولد قادر به استناد به داده های به روز هستند.

همانطور که داده ها به یک مدل برای RAG کشیده می شوند، هر قطعه جدید از داده باید دارای یک جاسازی برداری تولید شده باشد تا بتوان از آن در یک پایگاه داده برداری استفاده کرد. با ماهیت زمان واقعی جریان داده ها، نیاز به جاسازی هایی وجود دارد که در خط لوله داده همزمان ایجاد شود، که هدف LangStream فعال کردن آن است. Bartholomew خاطرنشان کرد که LangStream درباره اینکه کدام مدل تعبیه برداری خاص مورد استفاده قرار می‌گیرد، بی‌اعتنا است و امروزه می‌تواند چندین مدل از جمله مدل‌های منبع باز میزبانی شده در Hugging Face و همچنین Vertex AI گوگل را پشتیبانی کند.

او گفت: «بسیاری از کارهایی که ما انجام می‌دهیم این است که پارادایم‌های جریان خط لوله، پارادایم محوری رویدادها را دنبال می‌کنیم و آن را به برنامه‌های GenAI می‌بریم».

آینده لانگ استریم

در حالی که هنوز روزهای اولیه برای LangStream است، پروژه به سرعت در حال حرکت است و با رشد جامعه کاربران پتانسیل زیادی وجود دارد.

داوور بوناچی، مدیر ارشد فناوری و معاون اجرایی DataStax، “LangStream می‌تواند به توسعه‌دهندگانی که با هوش مصنوعی مولد کار می‌کنند بسیار سودمند باشد، زیرا به آنها کمک می‌کند تا به راحتی برنامه‌های کاربردی بسازند و فرآیند هماهنگ کردن داده‌ها از منابع مختلف را برای فعال کردن درخواست‌های با کیفیت بالا برای LLM ساده می‌کند.” ، به VentureBeat گفت. این امر ساخت برنامه‌های هوش مصنوعی مقیاس‌پذیر، آماده تولید و در دنیای واقعی را بر روی طیف وسیعی از انواع داده‌ها بسیار ساده‌تر می‌کند.»

LangStream به عنوان یک پروژه منبع باز توسعه یافته است، که با نحوه کار DataStax با سایر فناوری‌هایی که برای تلاش‌های تجاری خود به آن‌ها متکی است، از جمله Apache Pulsar و پایگاه داده Apache Cassandra سازگار است.

بوناچی گفت: “DataStax سابقه طولانی در کار با جوامع منبع باز دارد.” به نظر می‌رسد که مشارکت در یک پروژه منبع باز دیگر، به ویژه پروژه‌ای که برای توسعه‌دهندگانی که با محبوب‌ترین فناوری‌های امروزی کار می‌کنند بسیار مرتبط باشد، مناسب به نظر می‌رسد.»