Integrasi SAP ERP untuk Cortex Framework.

Lapisan fondasi data Google Cloud Cortex Framework untuk SAP ERP memerlukan konektivitas ke data mentah sistem sumber. SAP ECC dan SAP S/4HANA didukung.

Sebelum men-deploy konten Cortex Framework, tabel SAP ERP yang relevan harus direplikasi ke BigQuery. Anda dapat melakukannya dengan menempatkan data di set data lapisan mentah khusus untuk pemrosesan Change Data Capture (CDC) atau dengan menggunakan pipeline CDC yang sudah ada untuk memasukkan data langsung ke lapisan fondasi data. Untuk mengetahui informasi selengkapnya, lihat Persyaratan teknis untuk mereplikasi data SAP ERP.

Anda dapat menggunakan alat replikasi pilihan Anda, asalkan alat tersebut dapat mereplikasi data dalam format tabel mentah ke BigQuery. Misalnya, Google Cloud solusinya mencakup BigQuery Connector untuk SAP (memerlukan SAP SLT), dan BigQuery Toolkit untuk SAP.

Untuk memastikan kompatibilitas antara set data mentah yang direplikasi dari SAP ERP dan lapisan fondasi data Cortex Framework, pastikan Anda memenuhi persyaratan berikut.

Persyaratan teknis untuk mereplikasi data SAP ERP

Pastikan untuk meninjau dan menyelesaikan persyaratan teknis berikut untuk mereplikasi data SAP ke Cortex Framework di BigQuery.

  1. Struktur data mentah: Data dari ECC atau S/4HANA harus ditempatkan di BigQuery dengan struktur yang sama seperti tabel dasar di SAP dan tanpa transformasi bisnis. Tabel harus direplikasi dengan nama kolom, jenis, dan granularitas yang diperlukan seperti yang ada di SAP.

  2. Konfigurasi tabel: Daftar tabel yang akan diubah ditentukan dalam file table_settings.yaml (terletak di bagian config/cortex/data_foundation/sap). Jika tabel yang diperlukan tidak ada selama deployment, produk data tertentu yang bergantung padanya akan gagal.

  3. Persyaratan metadata: Anda harus mereplikasi tabel metadata seperti DD03L dari sumber SAP ke set data mentah (dikonfigurasi sebagai sumber untuk modul fondasi di config/config.yaml). Perhatikan bahwa meskipun tabel metadata ini harus ada di set data mentah, tabel tersebut tidak boleh disertakan dalam file table_settings.yaml fondasi data dan tidak diproses oleh lapisan fondasi data. Pastikan tabel DD03L yang direplikasi berisi catatan metadata kolom untuk tabel apa pun yang Anda rencanakan untuk di-ingest (seperti tabel kustom atau tambahan seperti sflight). Skrip build Cortex Framework dan pemecah dependensi membaca baris metadata ini untuk mengidentifikasi daftar kolom, jenis data, dan hubungan kunci utama antar-tabel.

  4. Penggunaan huruf besar/kecil: Nama tabel SAP yang direplikasi di BigQuery harus menggunakan huruf kecil untuk kompatibilitas model data Cortex Framework (misalnya, tabel SAP MARA menjadi mara di BigQuery).

  5. Nama objek (kolom) dan karakter khusus: Untuk nama objek (kolom) yang berisi karakter khusus (seperti /, -, atau garis bawah di awal _), Cortex mengharapkan pola sanitasi umum:

    • Semua karakter non-alfanumerik diganti dengan garis bawah _.
    • Garis bawah dan digit di awal tidak diizinkan. Misalnya, /GOOG/TEST menjadi goog_test, dan _DATAAGING menjadi dataaging. Jika alat replikasi Anda menempatkan data dengan garis bawah di awal yang dipertahankan, langkah normalisasi (pemberian alias) di lapisan Data Foundation diperlukan.

  6. Kolom propagasi data: Untuk mendukung CDC (Change Data Capture) dan propagasi data, tabel SAP yang direplikasi harus memiliki:

    • Flag operasi bernama operation_flag (L = pemuatan awal, I = penyisipan, U = update, D = penghapusan).
    • Stempel waktu bernama recordstamp (diisi dengan stempel waktu saat ini pada saat pemuatan).
    • Opsional: Kolom tambahan is_deleted (BOOLEAN) dipilih dalam tabel _DS_RAW yang direplikasi (secara default bernilai salah pada pemuatan awal). Tampilan runtime yang dihasilkan oleh Cortex mereferensikan kolom ini, tetapi kolom ini dapat dihapus dari template CDC dan tampilan sebelum eksekusi jika alat replikasi tidak menghasilkannya.

  7. Jenis data: Pemetaan jenis data SAP yang diperlukan dengan jenis data BigQuery untuk kompatibilitas:

    Diperlukan untuk operasi standar:

    Jenis data SAP Jenis data BigQuery Deskripsi
    DATS DATE Jenis data tanggal
    TIMS TIME Jenis data waktu

  8. Sangat Direkomendasikan untuk presisi dan kompatibilitas:

    • CURR (Mata Uang) dan QUAN (Kuantitas) dipetakan ke NUMERIC atau BIGNUMERIC (Hindari FLOAT64 untuk mencegah error pembulatan dalam perhitungan keuangan).
    • NUMC (Karakter Numerik) dipetakan ke STRING (Untuk mempertahankan angka nol di awal untuk nomor dokumen dan nomor item, sehingga memastikan gabungan berhasil).

  9. Kompresi Payload: Untuk mencegah kolom SAP kosong (nilai awal seperti spasi atau nol) diisi dengan NULL di BigQuery, pastikan kompresi payload dinonaktifkan dalam konfigurasi konektor (atau "Kirim Tidak Dikompresi" diaktifkan). Hal ini memastikan bahwa string kosong atau nol dipertahankan seperti itu di target, bukan ditetapkan secara default ke NULL.