#

    • بررسی کارت گرافیک NVIDIA H100 NVL برای استنتاج هوش مصنوعی

    بررسی کارت گرافیک NVIDIA H100 NVL برای استنتاج هوش مصنوعی

    کارت گرافیک NVIDIA H100 NVL جدیدترین محصول انویدیا برای استنتاج هوش مصنوعی در مقیاس بالا است. این GPU قدرتمند بر پایه معماری Hopper ساخته شده و با بهره‌گیری از NVLink و حافظه‌ی HBM3، عملکردی بی‌رقیب در اجرای مدل‌های یادگیری ماشین و شبکه‌های عصبی بزرگ ارائه می‌دهد.
    در این مقاله به بررسی ویژگی‌ها، توان پردازشی و تفاوت‌های H100 NVL با نسخه‌های دیگر مانند H100 SXM5 می‌پردازیم.

    معرفی NVIDIA H100 NVL

    کارت NVIDIA H100 NVL شاید در ظاهر شبیه محصولات قبلی به نظر برسد، اما یک تفاوت مهم دارد. طبق گفته‌ی انویدیا، این کارت از دید سیستم‌عامل به‌صورت دو GPU مستقل شناخته می‌شود، اما به لطف NVLink کل ظرفیت حافظه ۱۸۸ گیگابایت به‌صورت یکپارچه در اختیار سیستم قرار می‌گیرد.

    ویژگی‌ها و مشخصات فنی

    کارت جدید NVIDIA H100 NVL با اتصال دو کارت NVIDIA H100 PCIe از طریق NVLink عرضه شده است. در این نسخه، هر GPU به ۹۴ گیگابایت حافظه HBM3 مجهز است که در مجموع ۱۸۸ گیگابایت حافظه در اختیار قرار می‌دهد.
    به احتمال زیاد این به معنای فعال‌سازی پشته ششم ۱۶ گیگابایتی است، اما تنها ۱۴ گیگابایت آن در دسترس قرار دارد و ظرفیت هر GPU به ۹۴ گیگابایت (از مجموع ۹۶ گیگابایت) محدود می‌شود.

    توان مصرفی و TDP

    یکی از نکات برجسته در H100 NVL توان حرارتی طراحی‌شده (TDP) آن است. کارت‌های PCIe سری H100 NVL دارای TDP بین ۳۵۰ تا ۴۰۰ وات هستند.
    این در حالی است که معمولاً حداکثر توان در کارت‌های PCIe دیگر تولیدکنندگان ۳۰۰ وات است، زیرا بسیاری از سرورها توان پشتیبانی از ۴۰۰ وات در قالب PCIe را ندارند.
    این موضوع یکی از دلایل اصلی گرایش به سمت فرم‌فاکتورهای قدرتمندتر مانند OAM / SXM محسوب می‌شود.

    مقایسه با H100 SXM5

    بر اساس مشخصات، اگر توان مصرفی کارت NVIDIA H100 NVL را ۴۰۰ وات در نظر بگیریم، نسخه‌های PCIe آن از بسیاری جهات برتر از نسخه‌های H100 SXM5 هستند.
    البته SXM5 دارای رابط‌های NVLink با پهنای‌باند بالاتر ۹۰۰ گیگابایت بر ثانیه است که در NVL وجود ندارد.

    از نظر توان پردازشی، NVL تقریباً ۲ برابر H100 SXM قدرت دارد. همچنین NVL از حافظه بیشتر و پهنای‌باند بالاتر حافظه برخوردار است و با مصرف توانی مشابه، کارایی بهتری ارائه می‌دهد.

    سخن آخر

    کارت NVIDIA H100 NVL با ترکیب توان پردازشی دو GPU و حافظه‌ی یکپارچه‌ی ۱۸۸ گیگابایتی HBM3، یکی از قدرتمندترین گزینه‌ها برای اجرای مدل‌های هوش مصنوعی و پردازش‌های سنگین است.
    اگرچه مصرف توان بالای ۴۰۰ وات و قیمت این کارت چالش‌برانگیز است، اما کارایی آن در مقایسه با نسل‌های قبلی مانند DGX A100 می‌تواند تا ۱۰ برابر بهره‌وری بیشتر ارائه دهد.