יצירת פרופילים של חיבורים
בדף הזה מתואר שלב ההכנה של תהליך ההעברה, שבו יוצרים פרופילים של חיבור Datastream שישמשו בהמשך לייבוא נתונים ממסד הנתונים של המקור שתואם ל-MongoDB אל קטגוריית Cloud Storage.
בשלב הזה, מבצעים את הפעולות הבאות:
- יוצרים פרופיל חיבור ל-Cloud Storage עבור קטגוריית Cloud Storage שיצרתם קודם.
- יוצרים פרופיל חיבור למסד נתונים תואם ל-MongoDB.
כניסה ל-CLI של gcloud
בקטעים הבאים מתואר תהליך ההעברה שבו משתמשים ב-CLI של gcloud כדי להגדיר את שלבי ההעברה ולהפעיל אותם. מתחילים בכניסה לחשבון Google Cloud ובחירת הפרויקט שיארח את צינור ההעברה.
gcloud auth login
gcloud config set project "$PROJECT_ID"
יצירת פרופיל חיבור למסד הנתונים של המקור
MongoDB ב-Compute Engine
מריצים את הפקודה הבאה כדי ליצור פרופיל של חיבור Datastream למסד הנתונים של MongoDB שמארח ב-Compute Engine.
- כשמתחברים לאשכול עם שרדינג, לא כוללים את האפשרות
--mongodb-replica-setבפקודה הבאה. - משמיטים את הדגל
--mongodb-additional-options=readPreference=secondaryרק כשמתחברים למכונה עצמאית ללא משניות של קבוצת שכפול.
gcloud datastream connection-profiles create "$SRC_CONNECTION_PROFILE_NAME" \
--display-name="$SRC_CONNECTION_PROFILE_NAME" \
--location="$LOCATION" \
--mongodb-username="$MONGODB_USERNAME" \
--mongodb-password="$MONGODB_PASSWORD" \
--mongodb-host-addresses="$MONGODB_IP_ADDRESS" \
--mongodb-replica-set="$REPLICA_SET" \
--private-connection="$PRIVATE_CONNECTION_NAME" \
--mongodb-standard-connection-format \
--type=mongodb \
--mongodb-direct-connection \
--mongodb-additional-options=readPreference=secondary
MongoDB over SSH
בדוגמה הזו אנחנו מניחים שהגדרתם כבר קישוריות SSH לרשת הפרטית שלכם, ישירות למכונה שמארחת את השרת שתואם ל-MongoDB, או דרך מארח Bastion.
מריצים את הפקודה הבאה כדי ליצור פרופיל של חיבור Datastream למסד הנתונים של MongoDB שמארח ב-Compute Engine.
- כשמתחברים לאשכול עם שרדינג, לא כוללים את האפשרות
--mongodb-replica-setבפקודה הבאה. - משמיטים את הדגל
--mongodb-additional-options=readPreference=secondaryרק כשמתחברים למכונה עצמאית ללא משניות של קבוצת שכפול.
כדי להתחבר באמצעות סיסמת SSH, מעבירים את האפשרות --forward-ssh-password במקום האפשרות --forward-ssh-private-key.
gcloud datastream connection-profiles create "$SRC_CONNECTION_PROFILE_NAME" \
--display-name="$SRC_CONNECTION_PROFILE_NAME" \
--location="$LOCATION" \
--mongodb-username="$MONGODB_USERNAME" \
--mongodb-password="$MONGODB_PASSWORD" \
--mongodb-host-addresses="$MONGODB_IP_ADDRESS" \
--mongodb-replica-set="$REPLICA_SET" \
--forward-ssh-hostname="$BASTION_IP_ADDRESS" \
--forward-ssh-port="$BASTION_SSH_PORT" \
--forward-ssh-username="$BASTION_SSH_USERNAME" \
--forward-ssh-private-key="$BASTION_SSH_PRIVATE_KEY" \
--mongodb-standard-connection-format \
--type=mongodb \
--mongodb-direct-connection \
--mongodb-additional-options=readPreference=secondary
Amazon DocumentDB
בדוגמה הזו מניחים שהשגתם את הפרמטרים והאישורים שנדרשים לקישור ל-Amazon DocumentDB.
לפני שיוצרים פרופיל חיבור, צריך להפעיל במפורש את מקורות הנתונים לשינויים במסד הנתונים של Amazon DocumentDB. הוראות להפעלת התכונה הזו מופיעות במדריך Amazon DocumentDB Change Streams.
מריצים את הפקודה הבאה כדי ליצור פרופיל של חיבור Datastream למסד הנתונים של DocumentDB:
gcloud datastream connection-profiles create "$SRC_CONNECTION_PROFILE_NAME" \
--display-name="$SRC_CONNECTION_PROFILE_NAME" \
--location="$LOCATION" \
--mongodb-username="$MONGODB_USERNAME" \
--mongodb-password="$MONGODB_PASSWORD" \
--mongodb-host-addresses="$MONGODB_HOST_ADDRESS" \
--mongodb-replica-set="$REPLICA_SET" \
--forward-ssh-hostname="$BASTION_IP_ADDRESS" \
--forward-ssh-port="$BASTION_SSH_PORT" \
--forward-ssh-username="$BASTION_SSH_USERNAME" \
--forward-ssh-private-key="$BASTION_SSH_PRIVATE_KEY" \
--mongodb-ca-certificate="$DOCUMENT_DB_CA_CERTIFICATE" \
--mongodb-tls \
--mongodb-standard-connection-format \
--type=mongodb \
--mongodb-direct-connection
Azure Cosmos DB
צריך להפעיל במפורש את התכונה 'סנכרון שינויים בזרמי נתונים' ב-MongoDB API של Azure Cosmos DB כדי לאפשר הפעלה של זרמי Datastream.
בשלב הזה צריך להתקין את Azure CLI.
az resource patch --ids "/subscriptions/subscription_id/resourceGroups/resource_group_name/providers/Microsoft.DocumentDB/mongoClusters/vCore_cluster_name" \
--api-version 2024-10-01-preview \
--properties "{\"previewFeatures\": [ \"ChangeStreams\"]}"
מחליפים את subscription_id, resource_group_name ו-vCore_cluster_name בערכים שמתאימים לפריסת Azure Cosmos DB.
מריצים את הפקודה הבאה כדי ליצור פרופיל של חיבור Datastream למקור Azure Cosmos DB.
בדוגמה הזו אנחנו מניחים שיש גישה למקור דרך DNS ציבורי או כתובת IP שאפשר להציג בפורמט החיבור של MongoDB SRV. ההוראות מניחות גם ששרת Azure Cosmos DB משתמש בשילוב של שם משתמש וסיסמה לאימות.
gcloud datastream connection-profiles create "$SRC_CONNECTION_PROFILE_NAME" \
--display-name="$SRC_CONNECTION_PROFILE_NAME" \
--location="$LOCATION" \
--mongodb-username="$MONGODB_USERNAME" \
--mongodb-password="$MONGODB_PASSWORD" \
--mongodb-host-addresses="$MONGODB_HOST_ADDRESS" \
--mongodb-srv-connection-format \
--type=mongodb \
--static-ip-connectivity \
--labels=skip_all_validations=true
MongoDB Atlas
מריצים את הפקודה הבאה כדי ליצור פרופיל של חיבור Datastream למסד הנתונים של MongoDB Atlas.
בדוגמה הזו אנחנו מניחים שיש גישה למקור דרך DNS ציבורי או כתובת IP שאפשר להציג בפורמט החיבור של MongoDB SRV. ההוראות מניחות גם ששרת MongoDB Atlas משתמש בשילוב של שם משתמש וסיסמה לאימות.
gcloud datastream connection-profiles create "$SRC_CONNECTION_PROFILE_NAME" \
--display-name="$SRC_CONNECTION_PROFILE_NAME" \
--location="$LOCATION" \
--mongodb-username="$MONGODB_USERNAME" \
--mongodb-password="$MONGODB_PASSWORD" \
--mongodb-host-addresses="$MONGODB_HOST_ADDRESS" \
--mongodb-srv-connection-format \
--type=mongodb \
--static-ip-connectivity \
--mongodb-additional-options=readPreference=secondary
מידע נוסף על מעקב אחרי יצירת פרופיל החיבור זמין במאמר פתרון בעיות.
יצירת פרופיל חיבור ל-Cloud Storage
מגדירים את פרופיל החיבור של Datastream ליעד Cloud Storage, שהוא הקטגוריה שיצרתם קודם.
gcloud datastream connection-profiles create "$DST_CONNECTION_PROFILE_NAME" \
--display-name="$DST_CONNECTION_PROFILE_NAME" \
--location="$LOCATION" \
--type=google-cloud-storage \
--bucket="$GCS_BUCKET_NAME" \
--root-path="/$GCS_BUCKET_ROOT_PATH"
מידע נוסף על מעקב אחרי יצירת פרופיל החיבור זמין במאמר פתרון בעיות.
המאמרים הבאים
ממשיכים אל ייבוא ממסד הנתונים של המקור.