פרופילי רשת RDMA

בדף הזה מובאת סקירה כללית של פרופילי רשת של גישה ישירה לזיכרון מרוחק (RDMA) ב- Google Cloud.

סקירה כללית

פרופילים של רשתות RDMA מאפשרים ליצור רשתות של ענן וירטואלי פרטי (VPC) שמספקות תקשורת RDMA עם חביון נמוך ורוחב פס גבוה בין הזיכרון או המעבדים הגרפיים של מופעי Compute Engine שנוצרו ברשת.

פרופילים של רשת RDMA שימושיים להרצת עומסי עבודה של AI. למידע נוסף על הפעלת עומסי עבודה של AI ב- Google Cloud, אפשר לעיין במאמר סקירה כללית של AI Hypercomputer.

אפשר ליצור רשתות VPC מהסוגים הבאים באמצעות פרופילי רשת RDMA:

סוג רשת VPC פרוטוקול שם המשאב של פרופיל הרשת סוגי מכונות סוג vNIC
רשת VPC של Falcon RDMA over Falcon transport ZONE-vpc-falcon H4D IRDMA
רשת VPC של RoCE RDMA over converged ethernet v2 (RoCE v2)

למכונות וירטואליות:
ZONE-vpc-roce

למופעי Bare Metal:
ZONE-vpc-roce-metal

מכונה וירטואלית:
A3 Ultra, A4, A4X

Bare metal:
A4X Max

MRDMA

אזורים נתמכים

פרופילי רשת RDMA זמינים בקבוצה מוגבלת של אזורים. אפשר ליצור רשת VPC של Falcon או רשת VPC של RoCE רק באזור שבו פרופיל הרשת המתאים זמין.

רשימת האזורים הנתמכים מופיעה במאמר בנושא הצגת פרופילים של רשתות.

אפשר גם לראות את האזורים הנתמכים לסוג המכונה שרוצים ליצור ברשת. פרופילים של רשתות RDMA זמינים באותם אזורים שבהם זמינים סוגי המכונות הנתמכים. למידע נוסף, קראו את המאמרים הבאים:

מפרטים

רשתות VPC שנוצרות עם פרופיל רשת RDMA כוללות את המפרטים הבאים:

  • הגבלה אזורית. המשאבים שמשתמשים ברשת VPC עם פרופיל רשת RDMA מוגבלים לאותו אזור כמו פרופיל רשת ה-RDMA שמשויך לרשת ה-VPC במהלך יצירת הרשת. למגבלה האזורית הזו יש את ההשפעות הבאות:

    • כל המכונות הווירטואליות שיש להן ממשקי רשת וירטואליים (vNIC) ברשת ה-VPC צריכות להיווצר באזור שתואם לאזור של פרופיל רשת ה-RDMA שבו נעשה שימוש ברשת ה-VPC.

    • כל רשתות המשנה שנוצרות ברשת ה-VPC צריכות להיות ממוקמות באזור שמכיל את האזור של פרופיל רשת ה-RDMA שמשמש את רשת ה-VPC.

  • RDMA network interfaces only. רשת VPC עם פרופיל רשת RDMA תומכת בצירוף רק מממשקי רשת ספציפיים:

    • רשתות Falcon VPC תומכות רק ב-IRDMA vNICs.
    • רשתות VPC של RoCE תומכות רק ב-MRDMA vNICs.

    כל כרטיסי ה-vNIC שאינם RDMA של מכונה, כמו כרטיסי ה-vNIC GVNIC או IDPF שלה, חייבים להיות מצורפים לרשת VPC רגילה. לרשתות VPC רגילות אין פרופיל רשת. לכן, התכונות הנתמכות והלא נתמכות שמפורטות בפרופילים של רשתות RDMA לא חלות על כרטיסי vNIC שאינם RDMA של מופע.

  • 8896 byte MTU. כדי לקבל את הביצועים הכי טובים, מומלץ להגדיר יחידת שידור מקסימלית (MTU) של 8896 בייטים לרשתות VPC עם פרופיל רשת RDMA. הפעולה הזו מאפשרת לדרייבר של RDMA במערכת ההפעלה האורחת של המופע להשתמש ב-MTU קטנים יותר אם צריך.

    אם יוצרים רשת VPC עם פרופיל רשת RDMA, ‏ 8896 בייט הוא ה-MTU שמוגדר כברירת מחדל.

  • הבדלים בחומת האש. בהמשך מפורט מידע על ההבדלים בחומות אש ברשתות VPC עם פרופיל רשת RDMA:

    • רשתות VPC עם פרופיל רשת RDMA משתמשות בכללי חומת האש המשתמעים הבאים, ששונים מכללי חומת האש המשתמעים שבהם משתמשות רשתות VPC רגילות:

      • יציאה מרומזת מותרת
      • היתר מרומז לכניסת תנועה
    • התמיכה ב-Cloud NGFW תלויה בסוג רשת ה-VPC:

      • לגבי רשתות RoCE VPC, אפשר לעיין במאמרים הבאים:

        • רשתות VPC של RoCE למכונות וירטואליות תומכות רק במדיניות אזורית של חומת אש ברשת, עם סוג מדיניות חומת אש של RoCE. קבוצת הפרמטרים לכללים במדיניות חומת אש אזורית נתמכת מוגבלת. מידע נוסף זמין במאמר Cloud NGFW לרשתות VPC של RoCE.
        • רשתות VPC של RoCE למכונות Bare Metal לא תומכות בהגדרת כללים או מדיניות של Cloud NGFW.
      • רשתות Falcon VPC לא תומכות בהגדרת כללים או מדיניות של Cloud NGFW.

  • אין תמיכה בבדיקות קישוריות. בדיקות הקישוריות לא תומכות ברשתות VPC עם פרופיל רשת RDMA.

  • תכונות אחרות של VPC. רשתות VPC עם פרופיל רשת RDMA תומכות בקבוצה מוגבלת של תכונות אחרות של VPC. מידע נוסף זמין בקטע תכונות נתמכות ולא נתמכות.

תכונות נתמכות ותכונות שלא נתמכות

בקטעים הבאים מפורטות התכונות של VPC שנתמכות ושלא נתמכות בכל סוג של רשת VPC שאפשר ליצור באמצעות פרופיל רשת RDMA:

רשתות Falcon VPC (falcon)

בטבלה הבאה מפורטות התכונות שנתמכות ברשתות Falcon VPC, שנוצרות באמצעות falcon פרופיל הרשת.

תכונה נתמך מאפיין פרופיל הרשת ערך מאפיין של פרופיל רשת פרטים
RDMA NICs interfaceTypes IRDMA

רשתות Falcon VPC תומכות רק ב-IRDMA כרטיסי NIC

אין תמיכה בסוגים אחרים של כרטיסי רשת, כמו MRDMA, GVNIC, IDPF ו-VIRTIO_NET.

כמה כרטיסי רשת באותה רשת allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED

רשתות Falcon VPC תומכות במכונות multi-NIC, ומאפשרות לשני כרטיסי רשת RDMA או יותר של אותה מכונה להיות באותה רשת VPC. כל כרטיס NIC צריך להיות מצורף לתת-רשת ייחודית ברשת ה-VPC.

תת-רשתות IPv4 בלבד subnetworkStackTypes SUBNET_STACK_TYPE_IPV4_ONLY

רשתות Falcon VPC תומכות בתת-רשתות IPv4 בלבד, כולל אותם טווחים תקפים של IPv4 כמו ברשתות VPC רגילות.

רשתות Falcon VPC לא תומכות בסטאק כפול או ברשתות משנה מסוג IPv6 בלבד. מידע נוסף זמין במאמר בנושא סוגים של רשתות משנה.

PRIVATE מטרת רשת המשנה subnetworkPurposes SUBNET_PURPOSE_PRIVATE

רשתות Falcon VPC תומכות ברשתות משנה רגילות, שערך המאפיין purpose שלהן הוא PRIVATE.

רשתות VPC של Falcon לא תומכות ברשתות משנה של Private Service Connect, ברשתות משנה של proxy בלבד או ברשתות משנה של Private NAT. מידע נוסף זמין במאמר בנושא מטרות של רשתות משנה.

GCE_ENDPOINT כתובת למטרה מסוימת addressPurposes GCE_ENDPOINT

רשתות Falcon VPC תומכות בכתובות IP עם ערך המאפיין purpose של GCE_ENDPOINT, שמשמש כתובות IP פנימיות של כרטיסי רשת של מכונות.

רשתות Falcon VPC לא תומכות בכתובות IP למטרות מיוחדות, כמו המטרה SHARED_LOADBALANCER_VIP. מידע נוסף זמין במאמר הפניה למשאב addresses.

ממשקי Private Service Connect allowPscInterface PSC_INTERFACE_ALLOWED

רשתות Falcon VPC תומכות בקבצים מצורפים לרשת ובחיבורים מממשקי Private Service Connect וירטואליים.

ממשקי רשת דינמיים allowSubInterfaces SUBINTERFACES_BLOCKED רשתות Falcon VPC לא תומכות בכרטיסי רשת דינמיים.
קבצים מצורפים מ-nic0 allowDefaultNicAttachment DEFAULT_NIC_ATTACHMENT_BLOCKED ברשתות Falcon VPC אין תמיכה בצירוף של nic0 ממשק הרשת של מופע לרשת. כל כרטיס רשת RDMA שמצורף לרשת ה-VPC לא יכול להיות nic0.
כתובות IP חיצוניות למכונות allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED רשתות Falcon VPC לא תומכות בהקצאה של כתובות IP חיצוניות לכרטיסי רשת מסוג RDMA. לכן, לכרטיסי RDMA NIC אין גישה לאינטרנט.
טווחים של כתובות IP חלופיות allowAliasIpRanges ALIAS_IP_RANGE_BLOCKED רשתות Falcon VPC לא תומכות בהקצאה של טווחי כתובות IP של כינויים לכרטיסי רשת של RDMA.
העברת IP allowIpForwarding IP_FORWARDING_BLOCKED רשתות Falcon VPC לא תומכות בהעברת IP.
העברת רשת של מכונה allowNetworkMigration NETWORK_MIGRATION_BLOCKED רשתות Falcon VPC לא תומכות בהעברת כרטיסי רשת של מכונות בין רשתות.
מצב אוטומטי allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED רשתות Falcon VPC לא יכולות להיות רשתות במצב אוטומטי. מידע נוסף זמין במאמר בנושא מצב יצירת רשתות משנה.
קישור בין רשתות VPC שכנות (peering) allowVpcPeering VPC_PEERING_BLOCKED רשתות Falcon VPC לא תומכות בחיבור לרשתות VPC אחרות באמצעות קישור בין רשתות VPC שכנות. לכן, רשתות Falcon VPC לא תומכות בחיבור לשירותים באמצעות גישה לשירותים פרטיים.
מסלולים סטטיים allowStaticRoutes STATIC_ROUTES_BLOCKED רשתות Falcon VPC לא תומכות במסלולים סטטיים.
רפליקציה של חבילות נתונים allowPacketMirroring PACKET_MIRRORING_BLOCKED רשתות Falcon VPC לא תומכות ב-Packet Mirroring.
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED רשתות Falcon VPC לא תומכות ב-Cloud NAT.
Cloud Router allowCloudRouter CLOUD_ROUTER_BLOCKED רשתות Falcon VPC לא תומכות ב-Cloud Routers ובמסלולים דינמיים.
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED רשתות Falcon VPC לא תומכות בצירופי VLAN של Cloud Interconnect.
Cloud VPN allowVpn VPN_BLOCKED רשתות VPC של Falcon לא תומכות במנהרות Cloud VPN.
Network Connectivity Center allowNcc NCC_BLOCKED רשתות Falcon VPC לא תומכות ב-NCC. אי אפשר להוסיף רשת Falcon VPC כרשת VPC מסוג spoke לרכזת NCC.
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED רשתות Falcon VPC לא תומכות ב-Cloud Load Balancing. לכן, רשתות Falcon VPC לא תומכות בתכונות של איזון עומסים, כולל Google Cloud Armor.
גישה פרטית ל-Google allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED רשתות VPC של Falcon לא תומכות בגישה פרטית ל-Google.
התחברות לשירות פרטי allowPsc PSC_BLOCKED רשתות VPC של Falcon לא תומכות ב-Private Service Connect, בשירותים שפורסמו, בנקודות קצה או בבק-אנדים.

רשתות VPC של RoCE למכונות וירטואליות (roce)

בטבלה הבאה מפורטות התכונות שרשתות RoCE VPC תומכות בהן עבור מכונות וירטואליות שנוצרות באמצעות roce פרופיל הרשת.

תכונה נתמך מאפיין פרופיל הרשת ערך מאפיין של פרופיל רשת פרטים
RDMA NICs interfaceTypes MRDMA

רשתות VPC של RoCE למכונות וירטואליות תומכות רק בכרטיסי רשת MRDMA

אין תמיכה בסוגים אחרים של כרטיסי רשת, כמו IRDMA, GVNIC, IDPF ו-VIRTIO_NET.

כמה כרטיסי רשת באותה רשת allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED

רשתות VPC של RoCE למכונות וירטואליות תומכות במכונות multi-NIC, ומאפשרות לשני מתאמי NIC של RDMA או יותר של אותה מכונה להיות באותה רשת VPC. כל כרטיס NIC צריך להיות מצורף לתת-רשת ייחודית ברשת ה-VPC.

אפשר לעיין גם במאמר שיקולים לגבי רשתות VPC של RoCE עם multi-NIC.

תת-רשתות עם IPv4 בלבד subnetworkStackTypes SUBNET_STACK_TYPE_IPV4_ONLY

רשתות VPC של RoCE למכונות וירטואליות תומכות בתת-רשתות IPv4 בלבד, כולל אותם טווחים תקפים של IPv4 כמו ברשתות VPC רגילות.

רשתות VPC של RoCE למכונות וירטואליות לא תומכות ברשתות משנה עם פרוטוקול כפול או עם IPv6 בלבד. מידע נוסף זמין במאמר בנושא סוגים של רשתות משנה.

PRIVATE מטרת רשת המשנה subnetworkPurposes SUBNET_PURPOSE_PRIVATE

רשתות VPC של RoCE למכונות וירטואליות תומכות ברשתות משנה רגילות, שערך המאפיין שלהן purpose הוא PRIVATE.

רשתות VPC של RoCE למכונות וירטואליות לא תומכות ברשתות משנה של Private Service Connect, ברשתות משנה של proxy בלבד או ברשתות משנה של Private NAT. מידע נוסף זמין במאמר בנושא מטרות של רשתות משנה.

GCE_ENDPOINT כתובת למטרה מסוימת addressPurposes GCE_ENDPOINT

רשתות VPC של RoCE למכונות וירטואליות תומכות בכתובות IP עם ערך המאפיין purpose של GCE_ENDPOINT, שמשמש כתובות IP פנימיות של כרטיסי רשת של מכונות.

רשתות VPC של RoCE למכונות וירטואליות לא תומכות בכתובות IP למטרות מיוחדות, כמו SHARED_LOADBALANCER_VIP. מידע נוסף זמין במאמר הפניה למשאב addresses.

טווחים של כתובות IP חלופיות allowAliasIpRanges ALIAS_IP_RANGES_ALLOWED

רשתות VPC של RoCE למכונות וירטואליות תומכות בהקצאה של טווחים של כתובות IP עם כינוי לכרטיסי רשת של MRDMA.

מידע נוסף זמין במאמר שיקולים לגבי רשתות RoCE VPC בסקירה הכללית על טווחים של כתובות IP וירטואליות.

קבצים מצורפים מ-nic0 allowDefaultNicAttachment DEFAULT_NIC_ATTACHMENT_BLOCKED ברשתות VPC של RoCE למכונות וירטואליות, אי אפשר לצרף את nic0 ממשקי הרשת של מכונה לרשת. כל כרטיס רשת RDMA שמצורף לרשת ה-VPC לא יכול להיות nic0.
כתובות IP חיצוניות למכונות allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED ברשתות VPC של RoCE למכונות וירטואליות אין תמיכה בהקצאה של כתובות IP חיצוניות לכרטיסי רשת של RDMA. לכן, לכרטיסי רשת מסוג RDMA אין גישה לאינטרנט.
ממשקי רשת דינמיים allowSubInterfaces SUBINTERFACES_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא תומכות בכרטיסי רשת דינמיים.
ממשקי Private Service Connect allowPscInterface PSC_INTERFACE_BLOCKED

רשתות VPC של RoCE לא תומכות בקבצים מצורפים לרשת או בחיבורים מממשקי Private Service Connect.

העברת IP allowIpForwarding IP_FORWARDING_BLOCKED רשתות RoCE VPC למכונות וירטואליות לא תומכות בהעברת IP.
העברת רשת של מכונה allowNetworkMigration NETWORK_MIGRATION_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא תומכות בהעברת כרטיסי רשת של מכונות וירטואליות בין רשתות.
מצב אוטומטי allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא יכולות להיות רשתות במצב אוטומטי. מידע נוסף זמין במאמר בנושא מצב יצירת רשתות משנה.
קישור בין רשתות VPC שכנות (peering) allowVpcPeering VPC_PEERING_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא תומכות בחיבור לרשתות VPC אחרות באמצעות קישור בין רשתות VPC שכנות. לכן, רשתות VPC של RoCE למכונות וירטואליות לא תומכות בחיבור לשירותים באמצעות גישה לשירותים פרטיים.
מסלולים סטטיים allowStaticRoutes STATIC_ROUTES_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא תומכות במסלולים סטטיים.
רפליקציה של חבילות נתונים allowPacketMirroring PACKET_MIRRORING_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא תומכות ב-רפליקציה של חבילות נתונים.
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא תומכות ב-Cloud NAT.
Cloud Router allowCloudRouter CLOUD_ROUTER_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא תומכות ב-Cloud Routers ובנתיבים דינמיים.
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא תומכות בצירופי VLAN של Cloud Interconnect.
Cloud VPN allowVpn VPN_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא תומכות במנהרות Cloud VPN.
Network Connectivity Center allowNcc NCC_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא תומכות ב-NCC. אי אפשר להוסיף רשת VPC עם פרופיל רשת RDMA כרשת VPC מסוג Spoke לרכזת NCC.
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא תומכות ב-Cloud Load Balancing. לכן, רשתות VPC של RoCE למכונות וירטואליות לא תומכות בתכונות של מאזן עומסים,כולל Google Cloud Armor.
גישה פרטית ל-Google allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED רשתות VPC של RoCE עבור מופעי מכונות וירטואליות לא תומכות בגישה פרטית ל-Google.
התחברות לשירות פרטי allowPsc PSC_BLOCKED רשתות VPC של RoCE לא תומכות ב-Private Service Connect, בשירותים שפורסמו, בנקודות קצה או בבק-אנדים.

רשתות VPC של RoCE למכונות Bare Metal (roce-metal)

בטבלה הבאה מפורטות התכונות שנתמכות ברשתות VPC של RoCE למכונות Bare Metal, שנוצרות באמצעות roce-metal פרופיל הרשת.

בנוסף למאפיינים שמתוארים בטבלה, יש גם מגבלות שחלות על מופעי GPU bare metal:

  • אי אפשר להשתמש ביציאות ה-UDP הבאות במופעי GPU bare metal ברשתות RoCE VPC כי הן שמורות על ידי Google Cloud:3882-3895 ו-13882-13895.
  • אי אפשר להשתמש בטווח כתובות IPv6 הבא של קישור מקומי במכונות GPU bare metal, כי הוא שמור על ידי Google Cloud: fe80::badd:c0de:cafe:0/120.
תכונה נתמך מאפיין פרופיל הרשת ערך מאפיין של פרופיל רשת פרטים
RDMA NICs interfaceTypes MRDMA

רשתות VPC של RoCE למכונות Bare Metal תומכות רק ב-MRDMA NICs

אין תמיכה בסוגים אחרים של כרטיסי רשת, כמו IRDMA, GVNIC, IDPF ו-VIRTIO_NET.

כמה כרטיסי רשת באותה רשת allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED

רשתות VPC של RoCE למכונות Bare Metal תומכות במכונות multi-NIC, ומאפשרות לשני מתאמי NIC של RDMA או יותר באותה מכונה להיות באותה רשת VPC.

אפשר לעיין גם במאמר שיקולים לגבי רשתות VPC של RoCE עם multi-NIC.

כמה כרטיסי NIC באותה תת-רשת allowMultiNicInSameSubnetwork MULTI_NIC_IN_SAME_SUBNETWORK_ALLOWED

רשתות VPC של RoCE למכונות Bare Metal תומכות במכונות multi-NIC, ומאפשרות לשני מתאמי NIC של RDMA או יותר של אותה מכונה להיות באותה רשת משנה של רשת VPC.

אפשר לעיין גם במאמר שיקולים לגבי רשתות VPC של RoCE עם multi-NIC.

טווח IPv6 ULA מוגדר מראש של הרשת predefinedNetworkInternalIpv6Range ULA_IPV6_RANGE

רשתות VPC של RoCE למכונות Bare Metal תומכות ב-IPv6 פנימי, ויש להן טווח /48 כתובות מקומיות ייחודיות (ULA) מוגדר מראש.

הטווח המוגדר מראש מסופק על ידי Google Cloud לכל מופע של פרופיל רשת ולא ניתן להגדרה.

רשת משנה אחת עם IPv6 בלבד subnetworkStackTypes SUBNET_STACK_TYPE_IPV6_ONLY

רשתות VPC של RoCE למכונות Bare Metal תומכות ברשת משנה אחת עם IPv6 בלבד, שמוקצית באופן אוטומטי ומשתמשת בטווח מוגדר מראש של רשתות משנה של IPv6 ובכלל למתן שמות, כפי שמתואר בשורה הבאה בטבלה.

רשתות VPC של RoCE למכונות Bare Metal לא תומכות ברשתות משנה עם פרוטוקול כפול או עם IPv4 בלבד, או ביצירה של רשתות משנה נוספות עם IPv6 בלבד. מידע נוסף זמין במאמר בנושא סוגים של רשתות משנה.

טווח רשת משנה של IPv6 שמוגדר מראש ותחילית שם predefinedSubnetworkRanges ipv6Range: ULA_IPV6_RANGE

namePrefix: default-subnet-1

רשתות VPC של RoCE למכונות Bare Metal כוללות רשת משנה אחת שמוקצית באופן אוטומטי וכוללת את המאפיינים הבאים:

  • רשת המשנה משתמשת בטווח /48 IPv6 מוגדר מראש שתואם בדיוק לטווח /48 של הרשת.
  • תת-הרשת משתמשת בפורמט השמות הבא: default-subnet-1-NETWORK_NAME, כאשר NETWORK_NAME הוא השם שסיפקתם כשנוצרה הרשת.
PRIVATE מטרת רשת המשנה subnetworkPurposes SUBNET_PURPOSE_PRIVATE

רשתות RoCE VPC למכונות Bare Metal תומכות ברשתות משנה רגילות, שערך המאפיין שלהן purpose הוא PRIVATE.

רשתות VPC של RoCE למכונות Bare Metal לא תומכות ברשתות משנה של Private Service Connect, ברשתות משנה של Proxy בלבד או ברשתות משנה של Private NAT. מידע נוסף זמין במאמר בנושא מטרות של רשתות משנה.

GCE_ENDPOINT כתובת למטרה מסוימת addressPurposes GCE_ENDPOINT

רשתות RoCE VPC למכונות Bare Metal תומכות בכתובות IP עם ערך המאפיין purpose של GCE_ENDPOINT, שמשמש כתובות IP פנימיות של כרטיסי רשת של מכונות.

רשתות VPC של RoCE למכונות Bare Metal לא תומכות בכתובות IP למטרות מיוחדות, כמו המטרה SHARED_LOADBALANCER_VIP. מידע נוסף זמין במאמר הפניה למשאב addresses.

יצירת רשת משנה allowSubnetworkCreation SUBNETWORK_CREATION_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות ביצירת רשתות משנה ברשת.
קבצים מצורפים מ-nic0 allowDefaultNicAttachment DEFAULT_NIC_ATTACHMENT_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות בצירוף של nic0ממשקי הרשת של מכונה לרשת. כל כרטיס רשת RDMA שמצורף לרשת ה-VPC לא יכול להיות nic0.
כתובות IP סטטיות למופעים allowAddressCreation ADDRESS_CREATION_BLOCKED

ברשתות VPC של RoCE למכונות Bare Metal אין תמיכה בשמירת כתובות IP פנימיות או חיצוניות סטטיות, או בהגדרת כתובות IP פנימיות או חיצוניות סטטיות למכונות.

כתוצאה מכך, מכונות ברשת יכולות להשתמש רק בכתובות IP פנימיות ארעיות.

כתובות IP חיצוניות למכונות allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED רשתות RoCE VPC למכונות Bare Metal לא תומכות בהקצאה של כתובות IP חיצוניות, סטטיות או ארעיות, לכרטיסי RDMA NIC. לכן, לכרטיסי רשת מסוג RDMA אין גישה לאינטרנט.
ממשקי רשת דינמיים allowSubInterfaces SUBINTERFACES_BLOCKED רשתות RoCE VPC למקרים של Bare Metal לא תומכות בכרטיסי רשת דינמיים.
ממשקי Private Service Connect allowPscInterface PSC_INTERFACE_BLOCKED

רשתות VPC של RoCE לא תומכות בקבצים מצורפים לרשת או בחיבורים מממשקי Private Service Connect.

טווחים של כתובות IP חלופיות allowAliasIpRanges ALIAS_IP_RANGE_BLOCKED רשתות RoCE VPC למכונות Bare Metal לא תומכות בהקצאה של טווחים של כתובות IP עם כינוי לכרטיסי רשת של RDMA.
העברת IP allowIpForwarding IP_FORWARDING_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות בהעברת IP.
העברת רשת של מכונה allowNetworkMigration NETWORK_MIGRATION_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות בהעברת כרטיסי רשת של מכונות בין רשתות.
מצב אוטומטי allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא יכולות להיות רשתות במצב אוטומטי. מידע נוסף זמין במאמר בנושא מצב יצירת רשתות משנה.
קישור בין רשתות VPC שכנות (peering) allowVpcPeering VPC_PEERING_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות בחיבור לרשתות VPC אחרות באמצעות קישור בין רשתות VPC שכנות. לכן, רשתות VPC של RoCE למכונות Bare Metal לא תומכות בחיבור לשירותים באמצעות גישה לשירותים פרטיים.
מסלולים סטטיים allowStaticRoutes STATIC_ROUTES_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות בניתוב סטטי.
כללי חומת אש ב-VPC allowVpcFirewallRules VPC_FIREWALL_RULES_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות בכללי חומת אש של VPC.
מדיניות חומת אש allowFirewallPolicy FIREWALL_POLICY_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות במדיניות חומת אש.
רפליקציה של חבילות נתונים allowPacketMirroring PACKET_MIRRORING_BLOCKED רשתות RoCE VPC למכונות Bare Metal לא תומכות ב-רפליקציה של חבילות נתונים.
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות ב-Cloud NAT.
Cloud Router allowCloudRouter CLOUD_ROUTER_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות ב-Cloud Routers ובנתיבים דינמיים.
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות בצירופי VLAN של Cloud Interconnect.
Cloud VPN allowVpn VPN_BLOCKED רשתות VPC מסוג RoCE למכונות Bare Metal לא תומכות במנהרות Cloud VPN.
Network Connectivity Center allowNcc NCC_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות ב-NCC. אי אפשר להוסיף רשת VPC מסוג RoCE כרשת VPC מסוג Spoke לרכזת NCC.
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות ב-Cloud Load Balancing. לכן, רשתות VPC של RoCE למקרים של bare metal לא תומכות בתכונות של מאזן עומסים, כולל Google Cloud Armor.
גישה פרטית ל-Google allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED רשתות VPC של RoCE למופעי Bare Metal לא תומכות בגישה פרטית ל-Google.
התחברות לשירות פרטי allowPsc PSC_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות בשירותים שפורסמו, בנקודות קצה או בשרתי קצה עורפיים של Private Service Connect.

שיקולים לגבי multi-NIC ברשתות VPC של RoCE

כדי לתמוך בעומסי עבודה שמרוויחים מתקשורת בין יחידות GPU שחוצות מסילות, רשתות RoCE VPC תומכות במופעים שיש להם כמה כרטיסי NIC של MRDMA ברשת. הצבת שני כרטיסי NIC או יותר MRDMA באותה רשת VPC של RoCE עשויה להשפיע על ביצועי הרשת, כולל הגדלת זמן האחזור. MRDMA כרטיסי NIC משתמשים ב-NCCL. ‫NCCL מנסה ליישר את כל ההעברות ברשת, גם עבור תקשורת בין מסילות. לדוגמה, היא משתמשת ב-PXN כדי להעתיק נתונים דרך NVlink ל-GPU בארכיטקטורת rail-aligned לפני שהיא מעבירה אותם ברשת.

מגבלת מספר החיבורים לרשתות VPC של RoCE

לרשת VPC מסוג RoCE יש את מגבלת המערכת הבאה:

פריט הגבלה הערות
מספר החיבורים המקסימלי 20,000

המספר המקסימלי של חיבורים דרך MRDMA vNICs לכל 2-tuple (כתובת IP של המקור, כתובת IP של היעד).

חיבור נוצר כשכתובת IP של מקור וכתובת IP של יעד מתקשרות בפעם הראשונה. עבור 2-tuple נתון, כמה זוגות של תורי קבלה ושליחה משתפים את החיבור.

לדוגמה, נניח של-instance-a ול-instance-b יש 8 כרטיסי רשת וירטואליים (vNIC) מסוג MRDMA, שלכל אחד מהם יש 2 כתובות IP שניתנות לניתוב:

  • מספר החיבורים הראשוני הוא 0.
  • כשכתובת ה-IP הראשונה ב-vNIC הראשון של instance-a מתקשרת עם כתובת ה-IP הראשונה ב-vNIC הראשון של instance-b, מספר החיבורים הופך ל-1.
  • כש-instance-a פותח עוד זוג תורים ל-instance-b באמצעות אותן כתובות IP באותם vNIC, מספר החיבורים נשאר 1.
  • כש-instance-a מתחיל תקשורת מיושרת-מסילה בין כולם, שמשתמשת בכל 8 כרטיסי ה-vNIC, מספר החיבורים הופך ל-8.

אם מספר החיבורים חורג מהמגבלה של 20,000, יכול להיות שחיבורים חדשים ייכשלו, אבל חיבורים קיימים לא יושפעו.

המאמרים הבאים