Elementl، استارت آپی که در حال ساخت یک پلتفرم داده بر اساس ارکستراتور محبوب Dagster است، امروز اعلام کرد که یک راند سری B 33 میلیون دلاری به رهبری گرجستان جمع آوری کرده است. این دور همچنین شاهد مشارکت سرمایه‌گذاران جدید 8vc، Human Capital و Hanover و همچنین سرمایه‌گذاران موجود Sequoia، Index، Amplify و Slow بود که مجموع سرمایه‌گذاری شرکت را به 48.8 میلیون دلار رساند.
همانطور که اغلب اتفاق می افتد، نیک شراک، بنیانگذار داگستر، Elementl را نیز پس از سال ها در فیس بوک تأسیس کرد، جایی که او GraphQL را نیز ایجاد کرد. Schrock در حال حاضر مدیر ارشد فناوری و رئیس هیئت مدیره شرکت است و همکار سابق فیس بوک پیت هانت اکنون مدیر عامل شرکت است. همانطور که هانت به من گفت، او در Elementl به عنوان بخشی از دور اولیه آن در سال 2017 سرمایه گذاری کرده بود – بیشتر به عنوان شرط بندی روی Schrock. هانت اعتراف کرد که در آن مرحله، او واقعاً ارزش پیشنهادی Dagster را درک نمی کرد، اما همانطور که روی مشکلات داده های بیشتری در فیس بوک کار می کرد و سپس در Smyte، سرویس ضد سوء استفاده ای که او تأسیس کرد و بعداً به توییتر فروخت، کار می کرد. نیاز به هماهنگی بهتر داده ها به سرعت برای او روشن شد.
اعتبار تصویر: عنصر
من متوجه شدم که این خطوط لوله داده های پیچیده بزرگی وجود دارد که تصمیمات بسیار جدی می گیرند – نه فقط پست های رسانه های اجتماعی را حذف می کنند، بلکه تصمیم می گیرند که چه کسی وام مسکن دریافت کند، همه این موارد. هانت گفت: زمانی که به اندازه مشخصی رسیدید، هر شرکتی یک شرکت داده است و هر شرکتی یک پلت فرم داده دارد. این همچنین بدان معنی است که مدیریت خطوط لوله داده آنها یکی از بزرگترین چالش ها برای بسیاری از شرکت ها است.
Apache Airflow یکی از محبوب‌ترین ابزارها برای ساخت این خطوط لوله است (و استارت‌آپ‌های زیادی روی آن شرط‌بندی می‌کنند)، اما Schrock به دنبال ساخت یک سیستم مدرن‌تر بود که برای دنیای ابر، DevOps و کانتینرها بهینه‌سازی شده بود. اما این تیم همچنین خطوط لوله داده را از دیدگاه سطح بالا بازاندیشی کرد. روشی که مردم در طول تاریخ خطوط لوله داده را ایجاد کرده‌اند این است که بر حسب وظایف فکر می‌کنند. بنابراین مرحله A تا مرحله B – و سپس مرحله C را انجام دهید. در این مراحل، آنها می توانند هر کاری را انجام دهند و شما واقعا نمی دانید – آنها می توانند در یک پایگاه داده به گونه ای بنویسند که شما انتظار ندارید و هیچ راهی برای انجام آن ندارید. هانت توضیح داد: کنترل آن یا داشتن قابلیت مشاهده در آن مرحله.
اعتبار تصویر: عنصر
Elementl این را با آنچه که دارایی داده می نامد (که می تواند یک جدول در یک انبار داده یا یک فایل در یک دریاچه داده باشد) در هسته خود تجدید نظر کرده است. بنابراین به جای اینکه به وظایف به عنوان انتزاع اصلی فکر کنید، Elementl (و Dagster) روی دارایی های داده تمرکز می کنند. با متمرکز کردن این مفهوم از یک دارایی در هسته سیستم خود، ما یک دفتر کل از هر دارایی داده در سازمان و هر انتقال وضعیتی که طی شده است، به همراه تمام ابرداده های مرتبط با آن دریافت می کنیم. این یک مدل ذهنی است که توسعه دهندگان آن را دوست دارند.
با توجه به اینکه Dagster با ابزارهای آزمایش شده ای مانند Apache Airflow رقابت می کند، همچنین باید برای سازمان های بزرگ به خوبی کار کند – و همچنین باید یک پروژه منبع باز قانونی باشد. مانند بسیاری از استارت‌آپ‌های منبع باز، این شرکت ویژگی‌های سازمانی مانند دسترسی تک‌ثبتی، دسترسی مبتنی بر نقش و پشتیبانی از تیم‌ها را در بالای پروژه منبع باز در حین ایجاد پیشنهاد تجاری خود لایه‌بندی می‌کند. و از آنجایی که Airflow بسیار محبوب است، تیم اخیراً ابزاری را نیز راه‌اندازی کرده است که به کاربران فعلی Airflow اجازه می‌دهد خطوط لوله داده‌ای را که برای Airflow در Dagster نوشته شده است اجرا کنند.
این شرکت می‌گوید در طول سال گذشته، تعداد پروژه‌های فعالی که از Dagster استفاده می‌کنند سه برابر شده است، و به همین ترتیب جامعه منبع باز اطراف آن نیز افزایش یافته است. در حال حاضر شرکت هایی مانند Doordash، Flexport و Aritzia از Dagster در تولید استفاده می کنند.
داگستر از ابتدا برای ارائه یک تجربه توسعه‌دهنده متحول کننده ساخته شد
پشتیبانی از سخت‌ترین موارد استفاده در مهندسی داده. انتزاعات منحصر به فرد ما و
رویکرد اول دارایی واقعاً با متخصصان داده طنین انداز شده است و ما شاهد این بازی هستیم
Schrock گفت: در معیارهای اصلی رشد ما.
این شرکت قصد دارد از بیشتر بودجه جدید برای ایجاد سازمان عرضه شده به بازار استفاده کند.
تیم تحقیق و توسعه ما بیش از یک سال پیش پس از یک سال، Dagster را برای هماهنگی داده ها پذیرفت
ارزیابی راه حل های موجود در فضا ما تحت تأثیر داگستر قرار گرفته ایم
بهره وری و توانایی تیم مهندسی ما برای ارسال کارآمد در سطح تولید را تسریع کرد
خطوط لوله داده.” امیلی والش، سرمایه گذار اصلی در جورجیا گفت.