انویدیا با همکاری چند شرکت فناوری، به‌روزرسانی منبع باز TensorRT-LLMرا ارائه کرده که قرار است عملکرد پردازنده‌های گرافیکی پرچم‌دار H100 Tensor Core را دو برابر کند.
این به‌روزرسانی که قرار است در هفته‌های آینده منتشر شود عملکرد گرافیکی H100 را به هشت برابر A100 خواهد رساند، در حالیکه قبلا این عدد فقط چهار برابر بود. انویدیا این نرم‌افزار را روی GPT-J 6B تست کرده است.
از آنجائیکه پویایی مدل‌های زبان بزرگ (LLM) ممکن است گروه‌بندی تقاضاها و اجرای موازی آن‌ها را دشوار کند، برای حل این مشکل، انویدیا و شرکت‌های همکارش سعی کردند TensorRT-LLM را مجهز به فناوری جدیدی به نام گروه‌بندی در پرواز کنند. این فناوری می‌تواند پروسه تولید متن را به وظایف متعددی تقسیم‌بندی کند.
TensorRT-LLM دارای یک کامپایلر یادگیری عمیق TensorRT است و از هسته‌های بهینهشده، فرایندهای پیش‌پردازش و پس‌پردازش و همچنین قابلیت‌های multi-GPU و multi-node بهره می‌برد.
TensorRT-LLM شامل نسخه‌های بهینهشده Llama 2 ،GPT-2 ،GPT-3 ،Falcon ،Mosaic MPT BLOOM و موارد دیگر می‌شود که همه آن‌ها از طریق API پایتون قابل دسترس هستند.
این به‌روزرسانی هم‌اکنون در دسترس عموم قرار دارد و قرار است به زودی با پلتفرم Nvidia NeMo که بخشی از پروژه AI Enterprise انویدیا است ادغام شود.
گفتنی است دولت آمریکا فروش پردازنده‌های گرافیکی پیشرفته انویدیا به خاورمیانه را ممنوع کرده است. به گزارش گاردین، دولت بایدن ممنوعیت صادرات پردازنده های A100 و H100 انویدیا به خاورمیانه را به خاطر خنثی کردن برنامه هوش مصنوعی چین از طریق جلوگیری از فروش مجدد این پردازنده‌ها به چین انجام می‌دهد.
در بیانیه انویدیا آمده است: «دولت آمریکا دستور جدیدی درباره الزامات فروش محصولات A100 و H100 برای مشتریان خاص در برخی مناطق دنیا از جمله کشورهای خاورمیانه ثادر کرده است. ما قبلا محصولات A800 یا H800 را به چین فروخته‌ایم که مشمول الزامات جدید نمی‌شوند.»
فروش پردازنده‌های H100 و A100 هم‌اکنون در چین و روسیه ممنوع است و به همین خاطر انویدیا مدل‌های H800 و A800 را با عملکرد پایین‌تر برای فروش در چین توسعه داده است. انویدیا فاش نکرده که کدام کشورهای خاورمیانه تحت تأثیر این ممنوعیت‌ها قرار می‌گیرند.
نظرات