התקנת פלאגינים של gIB NCCL

בדף הזה מוסבר איך להתקין את NCCL/gIB באמצעות חבילות תוכנה של Debian‏ (.deb) או מנהל החבילות של Red Hat‏ (.rpm). ההתקנה הזו מאפשרת להריץ עומסי עבודה של NCCL במכונות A4X Max,‏ A4X,‏ A4 ו-A3 Ultra.

‫(ל-A4X Max) עדכון ספריות של מרחב המשתמש

ב-A4X Max, צריך להתקין את הספריות העדכניות של מרחב המשתמש לפני שמריצים את עומסי העבודה של NCCL. אם אתם מחוברים כמשתמשי root, השמיטו את sudo בכל מקום שבו הוא מופיע כדי להריץ את הפקודות ישירות.

‫Debian מגרסה 12 ומעלה או Ubuntu מגרסה 20.04 ומעלה (חבילת ‎.deb)

sudo apt update
sudo apt install curl

# Fetch DOCA OFED userspace libraries
export DOCA_URL="https://linux.mellanox.com/public/repo/doca/latest/ubuntu22.04/arm64-sbsa/"
export BASE_URL="https://linux.mellanox.com/public/repo/doca"
curl "${BASE_URL}/GPG-KEY-Mellanox.pub" | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub
echo "deb [signed-by=/etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub] ${DOCA_URL} ./" | sudo tee /etc/apt/sources.list.d/doca.list

sudo apt update
sudo apt install doca-ofed-userspace

# Upgrade to latest NCCL for best compatibility
sudo apt install --only-upgrade --allow-change-held-packages libnccl2 libnccl-dev

התקנת NCCL/gIB

בהתאם למקום שבו אתם מריצים את עומסי העבודה, אתם מתקינים את NCCL/gIB במכונה או בקובץ האימג' של הקונטיינר.

החבילה nccl-gib כוללת ספריית NVidia NCCL‏ (libnccl2.so) וכותרות ללא שינוי. כל התוכן של NCCL/gIB מותקן בספרייה /usr/local/gib, וספריות הפלאגין מותקנות גם בתיקיית המערכת (ב-/usr/lib). חלק מהרכיבים התלויים מאוחזרים גם דרך המאגרים של ההפצה.

‫Debian מגרסה 12 ומעלה או Ubuntu מגרסה 20.04 ומעלה (חבילת ‎.deb)

# If on an image not from Google, trust the Google Cloud signing key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg

# Add gpudirect-gib-apt repo
echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list

sudo apt update
sudo apt install nccl-gib

‫RockyLinux/CentOS/RHEL 9 ואילך (חבילת ‎.rpm)

# Add gpudirect-gib-rpm repo
sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL
[gpudirect-gib-rpm]
name=NCCL/gIB
baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
enabled=1
repo_gpgcheck=0
gpgcheck=0

sudo dnf makecache
sudo dnf install nccl-gib

התקנת פלאגינים של NCCL

אם אתם רוצים להשתמש בגרסה מותאמת אישית משלכם של NCCL Core במקום בספריית NCCL שכלולה ב-nccl-gib, אתם צריכים להתקין את החבילה nccl-gib-plugins. החבילה הזו מתקינה רק את הפלאגינים של NCCL/gIB של Google, והיא מתנגשת עם nccl-gib, כך שהתקנה של חבילה אחת מסירה באופן אוטומטי את החבילה השנייה. אם אתם משתמשים בגרסת NCCL שמצורפת ל-nccl-gib, אתם לא צריכים להתקין את nccl-gib-plugins.

כדי להתקין רק את הפלאגינים של gIB NCCL, מתקינים את החבילה nccl-gib-plugins:

‫Debian מגרסה 12 ומעלה או Ubuntu מגרסה 20.04 ומעלה (חבילת ‎.deb)

# If on an image not from Google, trust the Google Cloud signing key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg

# Add gpudirect-gib-apt repo
echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list

sudo apt update
sudo apt install nccl-gib-plugins

‫RockyLinux/CentOS/RHEL 9 ואילך (חבילת ‎.rpm)

# Add gpudirect-gib-rpm repo
sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL
[gpudirect-gib-rpm]
name=NCCL/gIB
baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
enabled=1
repo_gpgcheck=0
gpgcheck=0

sudo dnf makecache
sudo dnf install nccl-gib-plugins

אם אתם משתמשים בקובצי אימג' רגילים של מערכת ההפעלה, אתם צריכים להתקין גם את מנהל ההתקן העדכני של NVIDIA DOCA-OFED. אין צורך להתקין את הדרייבר הזה אם אתם משתמשים בקובצי אימג' של Google שמותאמים למאיצים, כמו מערכת הפעלה שמותאמת לקונטיינרים או קובצי אימג' של מערכת ההפעלה Ubuntu או Rocky Linux שמותאמים למאיצים.

כדי למנוע ממכונות להריץ גרסאות לא תואמות של חבילת NCCL/gIB, צריך לעדכן את NCCL/gIB לפני שמריצים את עומסי העבודה, ולהשבית את העדכונים האוטומטיים של החבילות, כמו unattended-upgrades ב-Ubuntu או ב-Debian.

שדרוג של NCCL Core בהתקנות קיימות

אם במכונות הווירטואליות שלכם מותקנת חבילת nccl-gib קודמת ואתם צריכים גרסה עדכנית יותר של NCCL Core כדי לתמוך ב-CUDA 13 או בגרסת מסגרת ספציפית, קודם בדקו את נתוני הגרסה של x86 או את נתוני הגרסה של ARM64 כדי לראות אם חבילת nccl-gib העדכנית כוללת את גרסת ה-NCCL שאתם צריכים. אם חבילת nccl-gib העדכנית עומדת בדרישות שלכם, שדרגו את nccl-gib ישירות בכל הצמתים.

אם עומס העבודה שלכם דורש גרסה ספציפית של NCCL Core שלא כלולה ב-nccl-gib, בצעו את השלבים הבאים בכל צומת באשכול כדי שכל הצמתים יריצו בדיוק את אותה גרסת NCCL:

  1. מתקינים או משדרגים את חבילות היעד של NCCL Core ממאגר NVIDIA CUDA, ועוברים מ-nccl-gib ל-nccl-gib-plugins כדי שעדכוני חבילות עתידיים לא יתקינו מחדש את ספריית NCCL המצורפת. אם ה-VM משתמש בקובץ אימג' רגיל של מערכת ההפעלה שלא כולל את מאגר NVIDIA CUDA, צריך קודם להוסיף את המאגר לפי מדריך ההתקנה של NVIDIA NCCL.

    ‫Debian מגרסה 12 ומעלה או Ubuntu מגרסה 20.04 ומעלה (חבילת ‎.deb)

    sudo apt update
    sudo apt install -y nccl-gib-plugins libnccl2 libnccl-dev
    
    # If libnccl2 and libnccl-dev are held at an earlier version:
    sudo apt install --only-upgrade --allow-change-held-packages -y libnccl2 libnccl-dev

    ‫RockyLinux/CentOS/RHEL 9 ואילך (חבילת ‎.rpm)

    sudo dnf install --allowerasing -y nccl-gib-plugins libnccl libnccl-devel
    
    # If libnccl and libnccl-devel are already installed:
    sudo dnf upgrade -y libnccl libnccl-devel
  2. אם בסביבה שלכם עדיין יש קובצי libnccl.so* מקובצים ב-/usr/local/gib/lib64 או ב-/usr/local/gib/lib מהתקנה קודמת של nccl-gib או מ-container mount, הסירו רק את קובצי ה-libnccl.so* המקובצים האלה כדי שלא תהיה להם עדיפות על פני ספריית NCCL Core המשודרגת:

    sudo rm -f /usr/local/gib/lib*/libnccl.so*
    
  3. מאמתים את הגדרות הסביבה ואת גרסת ה-NCCL הפעילה:

    • אם LD_LIBRARY_PATH בסביבת עומס העבודה כולל את /usr/local/gib/lib64 או את /usr/local/nvidia/lib64, צריך לוודא שהספריות האלה לא מכילות קובץ libnccl.so.2 קודם, או להוסיף את נתיב ספריית המערכת, כמו /usr/lib/x86_64-linux-gnu או /usr/lib64, לתחילת LD_LIBRARY_PATH.

    • אם הגרסה של NCCL Core שמותאמת אישית היא גרסה שקודמת ל-2.28.7, צריך להפעיל את /usr/local/gib/scripts/set_nccl_env.sh לפני שמריצים את עומס העבודה, כי הפלאגין האוטומטי של הסביבה נטען רק ב-NCCL מגרסה 2.28.7 ואילך.

    • בודקים את הגרסאות של NCCL ו-gIB שנרשמו ביומן כדי לוודא שספריית הליבה המשודרגת של NCCL והפלאגין של NET/gIB מאתחלים ביחד.

הפעלת NCCL/gIB

החל מגרסה 1.1.2 של NCCL/gIB, אם התקנתם את nccl-gib או את nccl-gib-plugins, NCCL/gIB אמור לפעול באופן אוטומטי בעומסי העבודה שלכם.

בגרסאות קודמות, כדי להפעיל את NCCL/gIB בעומסי העבודה, צריך לוודא ש:

  • ‫/usr/local/gib/scripts/set_nccl_env.sh נטען בסביבת זמן הריצה. קובץ המקור כולל את כל משתני הסביבה הנדרשים ל-NCCL/gIB, ו-Google צפויה לעדכן אותם בגרסאות עתידיות של NCCL/gIB.
  • הספרייה /usr/local/gib/lib64 נמצאת ב-LD_LIBRARY_PATH.

כדי לוודא ש-NCCL/gIB מופעל, בודקים שרשומות היומן הבאות ברמת NCCL INFO קיימות:

# A sample log entry from NCCL core
vm-0:606:642 [6] NCCL INFO Using network gIB

# A sample log entry from the gIB network plugin
vm-0:606:642 [6] NCCL INFO NET/gIB : Initializing gIB v1.1.2

המאמרים הבאים