انویدیا یک جعبه ابزار برای ایمن تر کردن هوش مصنوعی تولید متن منتشر کرد

با همه هیاهوها، مدل‌های AI تولید کننده متن مانند GPT-4 OpenAI اشتباهات زیادی مرتکب می‌شوند – برخی از آنها مضر هستند. جیمز وینسنت از The Verge زمانی یکی از این مدل ها را “دروغگوی دستکاری عاطفی” نامید که تقریباً وضعیت فعلی چیزها را خلاصه می کند.

شرکت‌های پشتیبان این مدل‌ها می‌گویند که در حال انجام اقداماتی برای رفع مشکلات هستند، مانند پیاده‌سازی فیلترها و تیم‌های ناظر انسانی برای تصحیح مشکلات به‌عنوان پرچم‌گذاری شده. اما هیچ راه حل درستی وجود ندارد. حتی بهترین مدل های امروزی نیز در معرض سوگیری، سمیت و حملات مخرب هستند.

در تعقیب مدل‌های تولید متن «ایمن‌تر»، انویدیا امروز NeMo Guardrails را منتشر کرد، یک جعبه ابزار منبع باز با هدف ایجاد دقیق‌تر، مناسب‌تر، موضوعی‌تر و ایمن‌تر برنامه‌های مبتنی بر هوش مصنوعی.

جاناتان کوهن، معاون تحقیقات کاربردی انویدیا، می‌گوید که این شرکت «سال‌ها» روی سیستم زیربنایی Guardrails کار می‌کند، اما حدود یک سال پیش متوجه شد که این سیستم برای مدل‌هایی در امتداد خطوط GPT-4 و ChatGPT مناسب است. .

کوهن از طریق ایمیل به TechCrunch گفت: «ما از آن زمان در حال توسعه به سمت انتشار NeMo Guardrails هستیم. ابزارهای ایمنی مدل هوش مصنوعی برای استقرار مدل‌ها برای موارد استفاده سازمانی حیاتی هستند.

Guardrails شامل کد، مثال‌ها و مستنداتی برای «افزودن ایمنی» به برنامه‌های هوش مصنوعی است که متن و همچنین گفتار تولید می‌کنند. انویدیا ادعا می کند که این جعبه ابزار برای کار با اکثر مدل های زبان مولد طراحی شده است و به توسعه دهندگان این امکان را می دهد تا با استفاده از چند خط کد قوانینی ایجاد کنند.

به طور خاص، محافظ‌ها را می‌توان برای جلوگیری – یا حداقل تلاش برای جلوگیری – از انحراف مدل‌ها از موضوع، پاسخ دادن با اطلاعات نادرست یا زبان سمی و ایجاد ارتباط با منابع خارجی «ناامن» استفاده کرد. به عنوان مثال، یک دستیار خدمات مشتری را از پاسخ دادن به سؤالات مربوط به آب و هوا یا یک ربات چت موتور جستجو از پیوند دادن به مجلات دانشگاهی نامعتبر دور نگه دارید.

کوهن گفت: “در نهایت، توسعه دهندگان آنچه را که خارج از محدوده برنامه آنهاست با Guardrails کنترل می کنند.” “آنها ممکن است نرده های محافظی را ایجاد کنند که برای موارد استفاده آنها خیلی عریض یا برعکس، خیلی باریک باشد.”

اگرچه یک راه حل جهانی برای کاستی‌های مدل‌های زبانی خیلی خوب به نظر می‌رسد که درست باشد – و در واقع هم همینطور است. در حالی که شرکت‌هایی مانند Zapier از Guardrails برای افزودن لایه‌ای از ایمنی به مدل‌های تولیدی خود استفاده می‌کنند، Nvidia اذعان می‌کند که جعبه ابزار ناقص نیست. به عبارت دیگر همه چیز را نمی گیرد.

کوهن همچنین خاطرنشان می‌کند که Guardrails با مدل‌هایی که «به‌اندازه کافی در پیروی از دستورالعمل‌ها خوب هستند»، یعنی ChatGPT، و از چارچوب محبوب LangChain برای ساخت برنامه‌های مبتنی بر هوش مصنوعی استفاده می‌کنند، بهترین کار را انجام می‌دهد. که برخی از گزینه های منبع باز را رد صلاحیت می کند.

و – کارآمدی فناوری به کنار – باید تأکید کرد که انویدیا لزوماً Guardrails را از روی خوبی های خود منتشر نمی کند. این بخشی از چارچوب NeMo این شرکت است که از طریق مجموعه نرم افزار هوش مصنوعی سازمانی انویدیا و سرویس ابری کاملاً مدیریت شده NeMo آن در دسترس است. هر شرکتی می‌تواند نسخه منبع باز Guardrails را پیاده‌سازی کند، اما انویدیا مطمئناً ترجیح می‌دهد به جای آن هزینه نسخه میزبانی شده را بپردازد.

بنابراین، اگرچه احتمالاً هیچ آسیبی در Guardrails وجود ندارد، به خاطر داشته باشید که این یک گلوله نقره‌ای نیست – و اگر Nvidia خلاف آن را ادعا کرد مراقب باشید.