בדף הזה מוסבר איך להתקין את NCCL/gIB באמצעות חבילות תוכנה של Debian (.deb) או מנהל החבילות של Red Hat (.rpm). ההתקנה הזו מאפשרת להריץ עומסי עבודה של NCCL במכונות A4X Max, A4X, A4 ו-A3 Ultra.
(ל-A4X Max) עדכון ספריות של מרחב המשתמש
ב-A4X Max, צריך להתקין את הספריות העדכניות של מרחב המשתמש לפני שמריצים את עומסי העבודה של NCCL. אם אתם מחוברים כמשתמשי root, השמיטו את sudo בכל מקום שבו הוא מופיע כדי להריץ את הפקודות ישירות.
Debian מגרסה 12 ומעלה או Ubuntu מגרסה 20.04 ומעלה (חבילת .deb)
sudo apt update sudo apt install curl # Fetch DOCA OFED userspace libraries export DOCA_URL="https://linux.mellanox.com/public/repo/doca/latest/ubuntu22.04/arm64-sbsa/" export BASE_URL="https://linux.mellanox.com/public/repo/doca" curl "${BASE_URL}/GPG-KEY-Mellanox.pub" | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub echo "deb [signed-by=/etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub] ${DOCA_URL} ./" | sudo tee /etc/apt/sources.list.d/doca.list sudo apt update sudo apt install doca-ofed-userspace # Upgrade to latest NCCL for best compatibility sudo apt install --only-upgrade --allow-change-held-packages libnccl2 libnccl-dev
התקנת NCCL/gIB
בהתאם למקום שבו אתם מריצים את עומסי העבודה, אתם מתקינים את NCCL/gIB במכונה או בקובץ האימג' של הקונטיינר.
החבילה nccl-gib כוללת ספריית NVidia NCCL (libnccl2.so) וכותרות ללא שינוי. כל התוכן של NCCL/gIB מותקן בספרייה /usr/local/gib, וספריות הפלאגין מותקנות גם בתיקיית המערכת (ב-/usr/lib). חלק מהרכיבים התלויים מאוחזרים גם דרך המאגרים של ההפצה.
Debian מגרסה 12 ומעלה או Ubuntu מגרסה 20.04 ומעלה (חבילת .deb)
# If on an image not from Google, trust the Google Cloud signing key curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg # Add gpudirect-gib-apt repo echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list sudo apt update sudo apt install nccl-gib
RockyLinux/CentOS/RHEL 9 ואילך (חבילת .rpm)
# Add gpudirect-gib-rpm repo sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL [gpudirect-gib-rpm] name=NCCL/gIB baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm enabled=1 repo_gpgcheck=0 gpgcheck=0 sudo dnf makecache sudo dnf install nccl-gib
התקנת פלאגינים של NCCL
אם אתם רוצים להשתמש בגרסה מותאמת אישית משלכם של NCCL Core במקום בספריית NCCL שכלולה ב-nccl-gib, אתם צריכים להתקין את החבילה nccl-gib-plugins. החבילה הזו מתקינה רק את הפלאגינים של NCCL/gIB של Google, והיא מתנגשת עם nccl-gib, כך שהתקנה של חבילה אחת מסירה באופן אוטומטי את החבילה השנייה. אם אתם משתמשים בגרסת NCCL שמצורפת ל-nccl-gib, אתם לא צריכים להתקין את nccl-gib-plugins.
כדי להתקין רק את הפלאגינים של gIB NCCL, מתקינים את החבילה nccl-gib-plugins:
Debian מגרסה 12 ומעלה או Ubuntu מגרסה 20.04 ומעלה (חבילת .deb)
# If on an image not from Google, trust the Google Cloud signing key curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg # Add gpudirect-gib-apt repo echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list sudo apt update sudo apt install nccl-gib-plugins
RockyLinux/CentOS/RHEL 9 ואילך (חבילת .rpm)
# Add gpudirect-gib-rpm repo sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL [gpudirect-gib-rpm] name=NCCL/gIB baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm enabled=1 repo_gpgcheck=0 gpgcheck=0 sudo dnf makecache sudo dnf install nccl-gib-plugins
אם אתם משתמשים בקובצי אימג' רגילים של מערכת ההפעלה, אתם צריכים להתקין גם את מנהל ההתקן העדכני של NVIDIA DOCA-OFED. אין צורך להתקין את הדרייבר הזה אם אתם משתמשים בקובצי אימג' של Google שמותאמים למאיצים, כמו מערכת הפעלה שמותאמת לקונטיינרים או קובצי אימג' של מערכת ההפעלה Ubuntu או Rocky Linux שמותאמים למאיצים.
כדי למנוע ממכונות להריץ גרסאות לא תואמות של חבילת NCCL/gIB, צריך לעדכן את NCCL/gIB לפני שמריצים את עומסי העבודה, ולהשבית את העדכונים האוטומטיים של החבילות, כמו unattended-upgrades ב-Ubuntu או ב-Debian.
שדרוג של NCCL Core בהתקנות קיימות
אם במכונות הווירטואליות שלכם מותקנת חבילת nccl-gib קודמת ואתם צריכים גרסה עדכנית יותר של NCCL Core כדי לתמוך ב-CUDA 13 או בגרסת מסגרת ספציפית, קודם בדקו את נתוני הגרסה של x86 או את נתוני הגרסה של ARM64 כדי לראות אם חבילת nccl-gib העדכנית כוללת את גרסת ה-NCCL שאתם צריכים.
אם חבילת nccl-gib העדכנית עומדת בדרישות שלכם, שדרגו את nccl-gib ישירות בכל הצמתים.
אם עומס העבודה שלכם דורש גרסה ספציפית של NCCL Core שלא כלולה ב-nccl-gib, בצעו את השלבים הבאים בכל צומת באשכול כדי שכל הצמתים יריצו בדיוק את אותה גרסת NCCL:
מתקינים או משדרגים את חבילות היעד של NCCL Core ממאגר NVIDIA CUDA, ועוברים מ-
nccl-gibל-nccl-gib-pluginsכדי שעדכוני חבילות עתידיים לא יתקינו מחדש את ספריית NCCL המצורפת. אם ה-VM משתמש בקובץ אימג' רגיל של מערכת ההפעלה שלא כולל את מאגר NVIDIA CUDA, צריך קודם להוסיף את המאגר לפי מדריך ההתקנה של NVIDIA NCCL.Debian מגרסה 12 ומעלה או Ubuntu מגרסה 20.04 ומעלה (חבילת .deb)
sudo apt update sudo apt install -y nccl-gib-plugins libnccl2 libnccl-dev # If libnccl2 and libnccl-dev are held at an earlier version: sudo apt install --only-upgrade --allow-change-held-packages -y libnccl2 libnccl-dev
RockyLinux/CentOS/RHEL 9 ואילך (חבילת .rpm)
sudo dnf install --allowerasing -y nccl-gib-plugins libnccl libnccl-devel # If libnccl and libnccl-devel are already installed: sudo dnf upgrade -y libnccl libnccl-devel
אם בסביבה שלכם עדיין יש קובצי
libnccl.so*מקובצים ב-/usr/local/gib/lib64או ב-/usr/local/gib/libמהתקנה קודמת שלnccl-gibאו מ-container mount, הסירו רק את קובצי ה-libnccl.so*המקובצים האלה כדי שלא תהיה להם עדיפות על פני ספריית NCCL Core המשודרגת:sudo rm -f /usr/local/gib/lib*/libnccl.so*מאמתים את הגדרות הסביבה ואת גרסת ה-NCCL הפעילה:
אם
LD_LIBRARY_PATHבסביבת עומס העבודה כולל את/usr/local/gib/lib64או את/usr/local/nvidia/lib64, צריך לוודא שהספריות האלה לא מכילות קובץlibnccl.so.2קודם, או להוסיף את נתיב ספריית המערכת, כמו/usr/lib/x86_64-linux-gnuאו/usr/lib64, לתחילתLD_LIBRARY_PATH.אם הגרסה של NCCL Core שמותאמת אישית היא גרסה שקודמת ל-2.28.7, צריך להפעיל את
/usr/local/gib/scripts/set_nccl_env.shלפני שמריצים את עומס העבודה, כי הפלאגין האוטומטי של הסביבה נטען רק ב-NCCL מגרסה 2.28.7 ואילך.בודקים את הגרסאות של NCCL ו-gIB שנרשמו ביומן כדי לוודא שספריית הליבה המשודרגת של NCCL והפלאגין של
NET/gIBמאתחלים ביחד.
הפעלת NCCL/gIB
החל מגרסה 1.1.2 של NCCL/gIB, אם התקנתם את nccl-gib או את nccl-gib-plugins, NCCL/gIB אמור לפעול באופן אוטומטי בעומסי העבודה שלכם.
בגרסאות קודמות, כדי להפעיל את NCCL/gIB בעומסי העבודה, צריך לוודא ש:
-
/usr/local/gib/scripts/set_nccl_env.shנטען בסביבת זמן הריצה. קובץ המקור כולל את כל משתני הסביבה הנדרשים ל-NCCL/gIB, ו-Google צפויה לעדכן אותם בגרסאות עתידיות של NCCL/gIB. - הספרייה
/usr/local/gib/lib64נמצאת ב-LD_LIBRARY_PATH.
כדי לוודא ש-NCCL/gIB מופעל, בודקים שרשומות היומן הבאות ברמת NCCL INFO קיימות:
# A sample log entry from NCCL core
vm-0:606:642 [6] NCCL INFO Using network gIB
# A sample log entry from the gIB network plugin
vm-0:606:642 [6] NCCL INFO NET/gIB : Initializing gIB v1.1.2