تیم پلتفرم داده ما در آن شرکت کرد Coalesce 2024لاس وگاس، کنفرانس برتر مهندسین تحلیل. Coalesce پزشکان داده را گرد هم می آورد تا مهارت های خود را تقویت کنند، با همتایان خود ارتباط برقرار کنند و در مورد آینده داده ها الهام بگیرند. تجزیه و تحلیل ما مدیر مهندسی، والنتیناس میتالوسکاس، و مهندس تجزیه و تحلیل، آگوستیناس کارولیس، در این رویداد شرکت کردند و بینش و نکات مهمی را در مورد نحوه استفاده ما ارائه کردند. dbt (ابزار ساخت داده) برای بهبود دقت داده‌های ما و افزایش رشد.
در ارائه خود با عنوان خرج هوشمند در مقیاس: پیاده‌سازی ابعاد با تغییر آهسته در زمان واقعی (SCD) نوع ۲ با dbtوالنتیناس و آگوستیناس نحوه استفاده هاستینگر از dbt برای اجرای Slowly Changing Dimensions (SCD) را به اشتراک گذاشتند. آنها همچنین درباره نحوه استفاده از رابط Debezium برای غلبه بر چالش‌های Change Data Capture (CDC) و اینکه چگونه استفاده از محمولات افزایشی پویا به ما اجازه می‌دهد تا راه حل خود را با کسری از هزینه با استفاده از BigQuery مقیاس‌بندی کنیم، بحث کردند.
این جلسه با حضور جمعی از شرکت کنندگان همراه بود و بحث های جذابی را در سراسر رویداد برانگیخت. در اینجا خلاصه برای کسانی است که نتوانستند در ارائه زنده شرکت کنند.
هاستینگر در سال‌های اخیر رشد فوق‌العاده‌ای را تجربه کرده و عنوان سریع‌ترین شرکت میزبانی وب جهان را به خود اختصاص داده است. این توسط یک رویکرد وسواس به مشتری هدایت می شود، با ماموریت برای امکان موفقیت آنلاین برای همه – از توسعه دهندگان گرفته تا وبلاگ نویسان مشتاق و صاحبان مشاغل.
تیم داده نقش مهمی در این امر ایفا کرد و یک خط لوله قوی CDC (تغییر گرفتن داده ها) و STD (بهینه سازی داده ها) برای ردیابی و تجزیه و تحلیل اقدامات مشتری در آن روز حساس اول ایجاد کرد.
راه حل حول سه ستون اصلی ساخته شده است: قابلیت اطمینان، مقرون به صرفه بودن و مقیاس پذیری. این داده‌های قابل اعتماد و ثابت را تضمین می‌کند، مقرون‌به‌صرفه است (جلوگیری از انبارهای داده گران‌قیمت)، و می‌تواند در کنار رشد سریع هاستینگر مقیاس‌پذیر باشد.
با این حال، فرآیند تکرار داده های قبلی با چالش های متعددی روبرو بود. مشکلات مربوط به ردیابی حذف‌های سخت، ثبت آخرین تغییرات به‌جای تصویر کامل، و ناهماهنگی‌های ناشی از رفع‌های فوری، داده‌ها را غیرقابل اعتماد کرده است. علاوه بر این، تکرار کل جداول برای اصلاح عکس‌های فوری تاریخی ناکارآمد و مستعد خطا بود.
راه‌حلی که تیم داده پیاده‌سازی کرد، به این چالش‌ها رسیدگی کرد، قابلیت اطمینان داده‌ها را بهبود بخشید، مدل‌های داده را برای دسترسی بهتر ساده‌سازی کرد، و اطمینان حاصل کرد که سیستم می‌تواند با ادامه رشد هاستینگر و در عین حال تحت کنترل نگه داشتن هزینه‌ها، مقیاس‌پذیر باشد.
آیا می خواهید عمیق تر به این موضوع بپردازید؟ ارائه کامل و جلسه پرسش و پاسخ را از اینجا تماشا کنید Coalesce 2024 برای بینش بیشتر
کوترینا، بخشی از تیم ارتباطات هاستینگر، مسئول ایجاد و حفظ روابط با رسانه‌ها و حصول اطمینان از اینکه دستاوردها و ابتکارات سازمان به رسمیت شناخته می‌شوند، است. کوترینا در اوقات فراغت خود دوست دارد مکان های جدید را کشف کند و عکس بگیرد.
منبع: https://www.hostinger.com/blog/use-of-hostinger-dbt