متا روی هوش مصنوعی با تراشه های سفارشی — و یک ابر رایانه شرط بندی بزرگی می کند

در یک رویداد مجازی امروز صبح، متا از تلاش‌های خود برای توسعه زیرساخت‌های داخلی برای بارهای کاری هوش مصنوعی، از جمله هوش مصنوعی مولد مانند نوعی که زیربنای ابزارهای طراحی و ایجاد تبلیغات اخیراً راه‌اندازی شده است، پرده برداشت.

این تلاشی بود برای پیش‌بینی قدرت از سوی متا، که از لحاظ تاریخی در به کارگیری سیستم‌های سخت‌افزاری سازگار با هوش مصنوعی کند بوده است – توانایی خود را برای همگام شدن با رقبایی مانند گوگل و مایکروسافت.

“ساختن خودمان [hardware] الکسیس بیورلین، معاون زیرساخت در متا، به TechCrunch گفت: قابلیت‌ها به ما کنترل روی هر لایه پشته، از طراحی مرکز داده گرفته تا چارچوب‌های آموزشی را می‌دهند. “این سطح از یکپارچگی عمودی برای پیشبرد مرزهای تحقیقات هوش مصنوعی در مقیاس مورد نیاز است.

در حدود یک دهه گذشته، متا میلیاردها دلار را صرف استخدام دانشمندان برتر داده و ساخت انواع جدیدی از هوش مصنوعی کرده است، از جمله هوش مصنوعی که اکنون موتورهای اکتشاف، فیلترهای تعدیل و توصیه‌کننده‌های تبلیغاتی را که در برنامه‌ها و سرویس‌هایش یافت می‌شوند، نیرو می‌دهد. اما این شرکت تلاش کرده است تا بسیاری از نوآوری‌های جاه‌طلبانه‌تر تحقیقاتی هوش مصنوعی خود را به محصولات تبدیل کند، به‌ویژه در زمینه هوش مصنوعی مولد.

تا سال 2022، Meta تا حد زیادی بارهای کاری هوش مصنوعی خود را با استفاده از ترکیبی از CPU ها – که معمولاً برای این نوع کارها کارآمدتر از GPU ها هستند – و یک تراشه سفارشی طراحی شده برای تسریع الگوریتم های AI اجرا می کرد. متا از عرضه گسترده تراشه سفارشی که برای سال 2022 برنامه ریزی شده بود استفاده کرد و به جای آن سفارشات میلیاردها دلاری پردازنده های گرافیکی انویدیا را صادر کرد که نیاز به طراحی مجدد عمده چندین مرکز داده آن داشت.

متا در تلاشی برای تغییر اوضاع، برنامه‌هایی برای توسعه یک تراشه داخلی جاه‌طلبانه‌تر در نظر گرفت که قرار است در سال 2025 عرضه شود، که هم می‌تواند مدل‌های هوش مصنوعی را آموزش دهد و هم آنها را اجرا کند. و این موضوع اصلی سخنرانی امروز بود.

متا تراشه جدید را Meta Training and Inference Accelerator یا به اختصار MTIA می نامد و آن را بخشی از “خانواده” تراشه ها برای تسریع آموزش هوش مصنوعی و استنتاج بارهای کاری توصیف می کند. (“استنتاج” به اجرای یک مدل آموزش دیده اشاره دارد.) MTIA یک ASIC است، نوعی تراشه که مدارهای مختلف را روی یک برد ترکیب می کند و به آن اجازه می دهد تا برای انجام یک یا چند کار به صورت موازی برنامه ریزی شود.

Bjorlin ادامه داد: «برای به دست آوردن سطوح بهتری از کارایی و عملکرد در بارهای کاری مهم، ما به یک راه حل مناسب نیاز داشتیم که با مدل، پشته نرم افزار و سخت افزار سیستم طراحی شده باشد. “این تجربه بهتری را برای کاربران ما در انواع خدمات فراهم می کند“

تراشه های هوش مصنوعی سفارشی به طور فزاینده ای نام بازی در بین بازیکنان Big Tech هستند. گوگل یک پردازنده به نام TPU (مخفف «واحد پردازش تانسور») برای آموزش سیستم‌های هوش مصنوعی مولد بزرگ مانند PaLM-2 و Imagen ایجاد کرد. آمازون تراشه های اختصاصی را هم برای آموزش (Trainium) و هم برای استنتاج (Inferentia) به مشتریان AWS ارائه می دهد. و طبق گزارش ها، مایکروسافت در حال کار با AMD برای توسعه یک تراشه هوش مصنوعی داخلی به نام Athena است.

متا می گوید که اولین نسل از MTIA – MTIA v1 – را در سال 2020 ساخته است که بر اساس یک فرآیند 7 نانومتری ساخته شده است. این می تواند فراتر از 128 مگابایت حافظه داخلی خود را تا 128 گیگابایت افزایش دهد، و در یک تست معیار طراحی متا – که البته باید با کمی نمک انجام شود – متا ادعا می کند که MTIA “پیچیدگی کم” را مدیریت می کند و مدل‌های هوش مصنوعی «پیچیدگی متوسط» کارآمدتر از GPU است.

متا می‌گوید که باید در حوزه‌های حافظه و شبکه‌سازی تراشه کار انجام شود، که با افزایش اندازه مدل‌های هوش مصنوعی، تنگناهایی را ایجاد می‌کند و نیاز به تقسیم بار کاری در چندین تراشه دارد. (به طور تصادفی، متا اخیراً یک تیم مستقر در اسلو فناوری شبکه‌سازی هوش مصنوعی را در تراشه‌های یونیکورن Graphcore بریتانیا به دست آورده است.) و در حال حاضر، تمرکز MTIA به شدت بر استنتاج – نه آموزش – برای «بارهای کاری توصیه‌شده» در خانواده برنامه‌های متا است.

اما متا تاکید کرد که MTIA، که به اصلاح آن ادامه می‌دهد، کارایی شرکت را از نظر عملکرد به ازای هر وات در هنگام اجرای بارهای کاری توصیه‌شده به شدت افزایش می‌دهد – به نوبه خود به Meta اجازه می‌دهد تا «پیشرفت‌تر» و «به‌ظاهر پیشرفته‌تر» را اجرا کند. بارهای کاری هوش مصنوعی

یک ابر کامپیوتر برای هوش مصنوعی

شاید روزی متا بخش عمده ای از بار کاری هوش مصنوعی خود را به بانک های MTIA واگذار کند. اما در حال حاضر، این شبکه اجتماعی به پردازنده‌های گرافیکی در ابرکامپیوتر متمرکز بر تحقیق خود، Research SuperCluster (RSC) متکی است.

اولین بار در ژانویه 2022 رونمایی شد، RSC – که با مشارکت Penguin Computing، Nvidia و Pure Storage مونتاژ شده است – ساخت فاز دوم خود را به پایان رساند. متا می گوید که اکنون در مجموع شامل 2000 سیستم Nvidia DGX A100 با 16000 پردازنده گرافیکی Nvidia A100 است.

پس چرا یک ابر کامپیوتر داخلی بسازیم؟ خوب، برای یکی، فشار همسالان وجود دارد. چندین سال پیش، مایکروسافت کارهای بزرگی را در مورد ابررایانه هوش مصنوعی خود که با مشارکت OpenAI ساخته شده بود انجام داد و اخیراً اعلام کرد که با Nvidia همکاری خواهد کرد تا یک ابر رایانه جدید هوش مصنوعی در ابر Azure بسازد. در جاهای دیگر، گوگل ابررایانه متمرکز بر هوش مصنوعی خود را تبلیغ کرده است که دارای 26000 پردازنده گرافیکی Nvidia H100 است – که آن را بالاتر از متا قرار می دهد.

اما فراتر از همگامی با جونز، متا می‌گوید که RSC این مزیت را به محققان خود می‌دهد تا مدل‌هایی را با استفاده از نمونه‌های دنیای واقعی از سیستم‌های تولید متا آموزش دهند. این برخلاف زیرساخت های قبلی هوش مصنوعی این شرکت است که تنها از مجموعه داده های منبع باز و در دسترس عموم استفاده می کرد.

یکی از سخنگویان متا گفت: ابررایانه هوش مصنوعی RSC برای پیش بردن مرزهای تحقیقات هوش مصنوعی در چندین حوزه از جمله هوش مصنوعی مولد استفاده می شود. «این واقعاً در مورد بهره‌وری تحقیقات هوش مصنوعی است. ما می‌خواستیم زیرساخت‌های پیشرفته‌ای را برای محققان هوش مصنوعی فراهم کنیم تا بتوانند مدل‌هایی را توسعه دهند و به آنها یک پلتفرم آموزشی برای پیشرفت هوش مصنوعی توانمند کنیم.»

در اوج خود، RSC می تواند به نزدیک به 5 اگزافلاپس قدرت محاسباتی دست یابد، که این شرکت ادعا می کند که آن را در میان سریع ترین های جهان قرار می دهد. (برای اینکه تحت تأثیر قرار نگیرد، شایان ذکر است که برخی از کارشناسان معیار عملکرد اگزافلاپس را با کمی نمک می بینند و اینکه RSC از بسیاری از سریع ترین ابررایانه های جهان بسیار بهتر است.)

متا می گوید که از RSC برای آموزش LLaMA، مخفف شکنجه شده “Large Language Model Meta AI” استفاده کرده است – یک مدل زبان بزرگ که این شرکت در اوایل سال به عنوان یک “نسخه دروازه ای” در اختیار محققان قرار داد (و متعاقباً در موارد مختلف به بیرون درز کرد. جوامع اینترنتی). متا می گوید که بزرگترین مدل LLaMA روی 2048 پردازنده گرافیکی A100 آموزش داده شد که 21 روز طول کشید.

«ساخت قابلیت‌های ابررایانه‌ای خودمان به ما امکان کنترل روی هر لایه از پشته را می‌دهد. از طراحی دیتاسنتر گرفته تا چارچوب های آموزشی.» RSC به محققان هوش مصنوعی متا کمک می کند تا مدل های هوش مصنوعی جدید و بهتری بسازند که می توانند از تریلیون ها نمونه یاد بگیرند. کار در صدها زبان مختلف؛ یکپارچه متن، تصاویر و ویدئو را با هم تجزیه و تحلیل کنید. توسعه ابزارهای واقعیت افزوده جدید؛ و خیلی بیشتر.”

رمزگذار تصویری

این شرکت در رویداد امروز فاش کرد علاوه بر MTIA، متا در حال توسعه تراشه دیگری برای رسیدگی به انواع خاصی از بارهای کاری محاسباتی است. متا که Meta Scalable Video Processor یا MSVP نامیده می شود، می گوید که این اولین راه حل ASIC داخلی است که برای نیازهای پردازش ویدیوی درخواستی و پخش زنده طراحی شده است.

شاید خوانندگان به یاد داشته باشند که متا سال ها پیش ایده پردازی تراشه های ویدئویی سفارشی سمت سرور را آغاز کرد و ASIC را برای کار رمزگذاری و استنتاج ویدیو در سال 2019 اعلام کرد. این نتیجه برخی از این تلاش ها و همچنین تلاش مجدد برای مزیت رقابتی در منطقه ویدیوی زنده به طور خاص

هاریکریشنا ردی و یونکینگ چن، مدیران ارشد فنی متا، در یک پست وبلاگی که امروز صبح منتشر شد، نوشتند: «فقط در فیس بوک، مردم 50 درصد از زمان خود را در برنامه صرف تماشای ویدیو می کنند. برای سرویس دهی به طیف گسترده ای از دستگاه ها در سراسر جهان (دستگاه های تلفن همراه، لپ تاپ، تلویزیون، و غیره)، ویدیوهای آپلود شده در فیس بوک یا اینستاگرام، به عنوان مثال، به چند بیت استریم، با فرمت های رمزگذاری، وضوح و کیفیت مختلف تبدیل می شوند… MSVP قابل برنامه ریزی و مقیاس پذیر است و می توان آن را به گونه ای پیکربندی کرد که هم از رمزگذاری با کیفیت بالا مورد نیاز برای VOD و هم زمان تأخیر کم و زمان پردازش سریعتر مورد نیاز استریم زنده پشتیبانی کند.

متا می‌گوید که برنامه‌اش این است که در نهایت اکثر بارهای پردازش ویدیوی «پایدار و بالغ» خود را به MSVP بارگذاری کند و از رمزگذاری ویدیوی نرم‌افزاری فقط برای بارهایی استفاده کند که نیاز به سفارشی‌سازی خاص و کیفیت «به‌طور قابل‌توجهی» بالاتری دارند. متا می‌گوید کار بر روی بهبود کیفیت ویدیو با MSVP با استفاده از روش‌های پیش پردازش مانند حذف نویز هوشمند و بهبود تصویر، و همچنین روش‌های پس پردازش مانند حذف مصنوعات و وضوح فوق‌العاده ادامه دارد.

ردی و چن گفتند: «در آینده، MSVP به ما این امکان را می‌دهد که حتی بیشتر از مهم‌ترین موارد استفاده و نیازهای متا، از جمله ویدیوهای کوتاه‌مدت را پشتیبانی کنیم – امکان تحویل کارآمد هوش مصنوعی، AR/VR و سایر محتوای متاورز را فراهم می‌کند».

تمرکز هوش مصنوعی

اگر موضوع مشترکی در اعلامیه‌های سخت‌افزاری امروزی وجود داشته باشد، این است که متا به شدت تلاش می‌کند تا در مورد هوش مصنوعی، به‌ویژه هوش مصنوعی مولد، سرعت خود را افزایش دهد.

همانطور که قبلا تلگراف شده بود. در فوریه، مدیرعامل مارک زاکربرگ – که ظاهراً افزایش ظرفیت محاسباتی متا برای هوش مصنوعی را در اولویت اصلی خود قرار داده است – یک تیم جدید هوش مصنوعی مولد در سطح بالا را معرفی کرد تا به گفته او، تحقیق و توسعه شرکت را “توربوشارژ” کند. اندرو باسورث، مدیر ارشد فناوری، اخیراً گفت که هوش مصنوعی مولد منطقه ای است که او و زاکربرگ بیشترین زمان را در آن سپری می کنند. و دانشمند ارشد Yann LeCun گفته است که متا قصد دارد ابزارهای هوش مصنوعی مولد را برای ایجاد آیتم‌ها در واقعیت مجازی مستقر کند.

زاکربرگ در ماه آوریل در جریان تماس با درآمد سه ماهه اول متا گفت: «ما در حال بررسی تجربیات چت در واتس‌اپ و مسنجر، ابزارهای ایجاد بصری برای پست‌ها در فیس‌بوک و اینستاگرام و تبلیغات، و همچنین تجربه‌های ویدیویی و چند وجهی هستیم.» “من انتظار دارم که این ابزارها برای همه از افراد عادی گرفته تا سازندگان تا مشاغل ارزشمند باشد. به عنوان مثال، من انتظار دارم زمانی که این تجربه را به دست آوریم، علاقه زیادی به عوامل هوش مصنوعی برای پیام‌رسانی تجاری و پشتیبانی مشتری ایجاد شود. با گذشت زمان، این به کار ما روی متاوره نیز گسترش خواهد یافت، جایی که مردم به راحتی قادر خواهند بود آواتارها، اشیاء، دنیاها و کدهایی را بسازند تا همه آنها را به هم گره بزنند.”

تا حدی، متا فشار فزاینده ای را از سوی سرمایه گذاران احساس می کند که این شرکت به اندازه کافی سریع حرکت نمی کند تا بتواند بازار (بالقوه بزرگ) هوش مصنوعی مولد را تصاحب کند. هنوز پاسخی برای چت ربات‌هایی مانند Bard، Bing Chat یا ChatGPT ندارد. همچنین پیشرفت زیادی در تولید تصویر نداشته است، بخش کلیدی دیگری که شاهد رشد انفجاری بوده است.

اگر پیش‌بینی‌ها درست باشد، کل بازار آدرس‌پذیر نرم‌افزار مولد هوش مصنوعی می‌تواند ۱۵۰ میلیارد دلار باشد. گلدمن ساکس پیش بینی می کند که تولید ناخالص داخلی را 7 درصد افزایش دهد.

حتی یک تکه کوچک از آن می‌تواند میلیاردها دلار از دست رفته متا را در سرمایه‌گذاری در فناوری‌های «متاورس» مانند هدست‌های واقعیت افزوده، نرم‌افزار جلسات و زمین‌های بازی واقعیت مجازی مانند Horizon Worlds پاک کند. Reality Labs، بخش متا مسئول فناوری واقعیت افزوده، در سه ماهه گذشته زیان خالص 4 میلیارد دلاری را گزارش کرد و این شرکت طی تماس سه ماهه اول خود گفت که انتظار دارد “زیان عملیاتی در سال 2023 نسبت به سال گذشته افزایش یابد.”