اختصاصی: Databricks ابزارهای جدیدی را برای ساخت برنامه های RAG با کیفیت بالا راه اندازی می کند

امروزه، اکوسیستم داده عمده است Databricks نسل جدید بازیابی را اعلام کرد (RAG) ابزاری برای پلتفرم اطلاعات داده خود برای کمک به مشتریان در ساخت، استقرار و نگهداری برنامه های LLM با کیفیت بالا که موارد استفاده مختلف تجاری را هدف قرار می دهند.

این ابزارها که از امروز در پیش‌نمایش عمومی در دسترس هستند، همه چالش‌های کلیدی در توسعه برنامه‌های RAG درجه تولید را برطرف می‌کنند، درست از ارائه داده‌های تجاری مرتبط در زمان واقعی از منابع مختلف تا ترکیب آن داده‌ها با مدل مناسب برای برنامه هدف و نظارت بر آن برنامه مسمومیت و سایر مسائلی که اغلب مدل های زبان بزرگ را آزار می دهد.

کریگ وایلی، کارشناس ارشد، «در حالی که نیاز به توسعه و استقرار برنامه‌های نسل افزوده بازیابی وجود دارد، سازمان‌ها برای ارائه راه‌حل‌هایی که به طور مداوم پاسخ‌های دقیق و باکیفیت ارائه می‌دهند و محافظ‌های مناسبی را برای جلوگیری از پاسخ‌های نامطلوب و خارج از برند دارند، تلاش می‌کنند». مدیر محصول AI/ML در Databricks به VentureBeat گفت.

ابزارهای جدید دقیقاً همین مشکل را هدف قرار می دهند.

RAG چیست و چرا دشوار است؟

مدل‌های زبان بزرگ بسیار محبوب هستند، اما بیشتر مدل‌های موجود در بازار حاوی دانش پارامتری هستند که آن‌ها را در پاسخ به درخواست‌های عمومی در سرعت نور مفید می‌سازد. برای به روزتر کردن این مدل ها و توجه به موضوعات خاص، به ویژه برای نیازهای تجاری داخلی، شرکت ها به بازیابی نسل افزوده یا RAG نگاه می کنند. این تکنیکی است که از منابع خاصی از داده ها استفاده می کند تا دقت و قابلیت اطمینان مدل را بیشتر افزایش دهد و کیفیت کلی پاسخ های آن را بهبود بخشد. تصور کنید مدلی در حال آموزش داده های منابع انسانی است تا به کارمندان در پرس و جوهای مختلف کمک کند.

حال، چیزی که در مورد RAG وجود دارد این است که چندین لایه کار را شامل می شود. شما باید جدیدترین های ساخت یافته را جمع آوری کنید داده های بدون ساختار از چندین سیستم، آن را آماده کنید، آن را با مدل های مناسب، اعلان های مهندس، مانیتور و موارد دیگر ترکیب کنید. این یک فرآیند تکه تکه است که باعث می شود بسیاری از تیم ها با برنامه های RAG ضعیف عمل کنند.

چگونه Databricks کمک می کند

Databricks با ابزارهای جدید RAG در پلتفرم اطلاعات داده خود، این چالش را حل می‌کند و به تیم‌ها این امکان را می‌دهد که همه جنبه‌ها را ترکیب کنند و به سرعت برنامه‌های RAG با کیفیت را نمونه‌سازی کنند و به تولید بفرستند.

به عنوان مثال، با جستجوی برداری جدید و قابلیت های سرویس دهی ویژگی، دردسر ایجاد خطوط لوله پیچیده برای بارگذاری داده ها در یک لایه سرویس دهی سفارشی برطرف می شود. تمام داده‌های ساختاریافته و بدون ساختار (از جداول دلتا) به‌طور خودکار با برنامه LLM استخراج و همگام‌سازی می‌شوند، و اطمینان حاصل می‌شود که به جدیدترین و مرتبط‌ترین اطلاعات تجاری برای ارائه پاسخ‌های دقیق و آگاه از زمینه دسترسی دارد.

“Unity Catalog به طور خودکار خط و نسب بین نسخه های آفلاین و آنلاین مجموعه داده های ارائه شده را ردیابی می کند و اشکال زدایی مشکلات کیفیت داده ها را بسیار آسان تر می کند. همچنین به طور مداوم تنظیمات کنترل دسترسی را بین مجموعه داده های آنلاین و آفلاین اعمال می کند، به این معنی که شرکت ها می توانند بهتر حسابرسی و کنترل کنند که اطلاعات اختصاصی حساس را مشاهده می کنند. “پاتریک وندل، یکی از بنیانگذاران و معاون مهندسی Databricks و هانلین تانگ، مدیر ارشد فناوری شبکه های عصبی، در نامه ای مشترک نوشتند. پست وبلاگ.

سپس، با یک زمین بازی هوش مصنوعی و ارزیابی MLFlow، توسعه دهندگان توانایی دسترسی به مدل های ارائه دهندگان مختلف، از جمله سرویس OpenAI AzureAWS Bedrock و Anthropic و مدل های متن باز مانند لاما ۲ و MPTو ببینید که آنها در معیارهای کلیدی مانند سمیت، تأخیر و تعداد توکن چگونه عمل می کنند. این در نهایت آنها را قادر می سازد تا پروژه خود را بر روی بهترین و مقرون به صرفه ترین مدل از طریق سرویس مدل – با حفظ این گزینه برای تغییر هر زمان که چیز بهتری پیش بیاید.

شایان ذکر است، این شرکت همچنین APIهای مدل بنیادی را منتشر می کند، مجموعه ای کاملاً مدیریت شده از مدل های LLM که از زیرساخت های Databricks ارائه می شوند و می توانند برای برنامه بر اساس پرداخت به ازای توکن استفاده شوند و مزایای هزینه و انعطاف پذیری را با داده های پیشرفته ارائه دهند. امنیت.

پس از استقرار برنامه RAG، گام بعدی ردیابی نحوه عملکرد آن در محیط تولید، در مقیاس است. اینجاست که قابلیت نظارت کامل Lakehouse این شرکت به چشم می خورد.

نظارت Lakehouse می تواند به طور خودکار پاسخ های یک برنامه کاربردی را برای بررسی سمیت، توهم یا هر محتوای ناامن دیگری اسکن کند. سپس این سطح از تشخیص می‌تواند داشبوردها، سیستم‌های هشدار و خطوط لوله داده مرتبط را تغذیه کند و به تیم‌ها اجازه می‌دهد تا اقدام کنند و از شکست‌های توهم در مقیاس بزرگ جلوگیری کنند. این ویژگی مستقیماً با سلسله مدل‌ها و مجموعه داده‌ها ادغام می‌شود و اطمینان حاصل می‌کند که توسعه‌دهندگان می‌توانند به سرعت خطاها و علت اصلی پشت آن‌ها را درک کنند.

پذیرش در حال حاضر در حال انجام است

در حالی که شرکت به تازگی این ابزار را راه اندازی کرده است، ویلی تأیید کرد که چندین شرکت در حال آزمایش و استفاده از آنها با پلت فرم Databricks Data Intelligence هستند، از جمله تامین کننده RV Lippert و EQT Corporation.

“مدیریت یک محیط مرکز تماس پویا برای شرکتی به بزرگی ما، چالش به سرعت آوردن نمایندگان جدید در میان ریزش نمایندگی های معمولی بسیار مهم است. Databricks کلید راه حل ما را فراهم می کند… با جذب محتوا از دستورالعمل های محصول، ویدئوهای YouTube، و از موارد در جستجوی برداری ما پشتیبانی می کند، Databricks تضمین می کند که نمایندگان ما دانش مورد نیاز خود را در اختیار دارند. این رویکرد نوآورانه یک تغییر بازی برای لیپرت است، کارایی را افزایش می دهد و تجربه پشتیبانی مشتری را بالا می برد.” تلاش در لیپرت، اشاره کرد.

در داخل، تیم های این شرکت برنامه های RAG را با استفاده از ابزارهای مشابه ساخته اند.

Wileys گفت: «تیم Databricks IT پروژه‌های داخلی متعددی را در دست اجرا دارد که از هوش مصنوعی Generative استفاده می‌کنند، از جمله اجرای آزمایشی یک slackbot RAG برای مدیران حساب‌ها برای یافتن اطلاعات و یک افزونه مرورگر برای نمایندگان توسعه فروش و نمایندگان توسعه کسب‌وکار برای دسترسی به افراد بالقوه جدید».

با توجه به تقاضای فزاینده برای برنامه های LLM Databricks قصد دارد با توجه به موضوعات و موضوعات خاص، “سرمایه گذاری هنگفتی” در مجموعه ابزار RAG خود انجام دهد تا اطمینان حاصل شود که مشتریان می توانند برنامه های LLM با کیفیت بالا را بر اساس داده های خود در تولید، در مقیاس اجرا کنند. مدیر محصول افزود: این شرکت قبلاً تحقیقات قابل توجهی در این زمینه انجام داده است و قصد دارد در آینده نوآوری های بیشتری را اعلام کند.