数据基础概览

Cortex Framework 数据基础层可作为源系统中最新记录的标准化、干净表示形式。它通过在 BigQuery 中提供可重复使用的高保真表和视图，弥合了原始复制的企业记录系统与高价值分析消费数据之间的差距。

虽然数据基础层为数据产品层提供数据，但它也可以完全独立使用，并包含以下功能：

  • 独立部署：如果组织希望在 BigQuery 中建立一个干净、一致且标准化的运营数据存储区 (ODS)，则只需部署数据基础模块。您无需部署数据产品层即可使用数据基础。
  • 直接使用：独立的数据基础表可作为集中式的高度优化可靠来源，直接为现有的企业数据网状网架构、自定义下游 ETL 流水线、第三方 BI 工具、自定义机器学习模型和独立 AI 智能体提供支持，而无需依赖 Cortex Framework 交付的数据产品。
  • 高可扩展性：该框架在构建和编译基础模块期间会自动识别并添加自定义表格列（例如以“Z”或“Y”为前缀的列）。只需极少的精力，即可使用其他表（自定义表或基础中未包含的标准表）进行扩展。

支持的数据源

数据基础层支持来自 SAP ERP 系统的原始复制数据，包括：

如需了解详情，请参阅源系统集成文档。

核心功能

此层的主要目的是使用以下方法将原始源数据标准化、清理并转换为高保真度表：

  • 架构屏蔽：原始事务架构（例如来自 SAP 的架构）经常会发生变化，难以浏览。基础层通过提供稳定、标准化的目标结构，使下游使用者免受原始表复杂性和底层架构变更的影响。
  • 可供业务用户使用的元数据和注解：为了帮助业务用户理解技术数据模型，数据基础层使用广泛的注解库 (src/data_modules/{namespace}/{system}/data_foundation/{foundation_name}/annotations/)。在构建流程中，该框架会在 BigQuery 表元数据中添加人类可读的业务说明，从而丰富技术源系统列（例如，将 SAP 列 bukrs 转换为 Company Code）。借助这些丰富的元数据，业务分析师、BI 信息中心和企业 AI 智能体可以立即使用表。
  • 动态架构调整：支持动态表架构。它可以自动从原始层提取和传播自定义字段（例如 SAP 中的 Z* 或 Y* 字段，或其他来源中的自定义属性），而无需手动更改底层 SQL 模型中的代码。
  • 自动进行数据规范化和去重：无论原始数据是以更改日志还是完整快照的形式到达，基础层都会自动处理去重、数据类型转换和状态重建。这样可确保您始终查询每个记录的准确当前状态。

CDC 源与非 CDC 源

对于由 Cortex Framework 原生管理的流水线，配置是在单个表级层应用的。您可以根据原始源数据是以增量更改日志还是完整表格快照的形式到达，来配置每个表格的处理方式。例如，在其他情况下为 CDC 源的各个表可以声明为 isCdc: false，以将其视为快照表：

  • 启用 CDC 的数据源：对于复制为变更数据捕获日志（包含操作标志和时间戳，例如来自 BigQuery Connector for SAP 或 BigQuery Toolkit for SAP 等工具的插入、更新和删除操作）的原始数据，Cortex Framework 会生成专用 Dataform 流水线，以将原始日志增量处理为持久的、持续更新的“最新状态”一致性表。
  • 非 CDC（完整快照/批处理）来源：对于不提供 CDC 更改日志的来源，或者定期将表复制为完整提取的来源，Cortex Framework 会指示流水线将数据处理为完整的表快照，而无需 CDC 状态重建逻辑（请参阅数据基础中的 isCdc 配置属性、表设置配置）。

外部数据基础

除了在单个表级原生管理 CDC 处理之外，Cortex Framework 还提供架构灵活性，以便在整个基础级与现有的外部数据基础进行集成。整个基础都可以声明为外部基础，在这种情况下，Cortex Framework 会假定整个 CDC 处理已完成：

  • Cortex 管理的数据基础：Cortex Framework 构建并编排 Dataform 转换流水线，从原始着陆区读取数据，并在目标基础数据集内实现一致性表。
  • 外部数据基础：如果您的企业已使用在 Cortex Framework 之外执行 CDC 重建和数据清理的外部复制工具、第三方流水线或预先建立的语义层，您可以将其注册为外部数据基础（请参阅数据模块基础设置中的 external 标志）。如果配置为外部，Cortex Framework 会绕过生成内置的基础转换流水线，而是直接将下游数据产品指向您现有的目标数据集。

数据基础可配置性选项

虽然全局配置和模块级配置是在 config.yaml 文件中管理的，但精细的表级选项是通过特定于来源的 table_settings.yaml 文件配置的（对于 SAP 系统，该文件由 common、ecc 和 s4 部分组成；如需了解详情，请参阅：SAP ERP 的部署、表设置配置样式）。借助此文件，您可以控制各个表的具体化选项、部署优化和 BigQuery 性能功能，而无需编写或修改 SQL 代码。

  • 动态依赖项解析：默认情况下 (deployAlways: false)，Cortex Framework 会仅部署和编译已启用的下游数据产品作为依赖项主动需要的数据基础层表，从而优化部署占用空间和执行费用。如需替换此优化并强制始终部署基础表（在单独运行数据基础或用于自定义下游工作负载时特别有用），请设置 deployAlways: true。
  • 提取模式：控制是使用增量 CDC 状态重建还是完整快照处理来处理表。
  • 目标命名和标记：自定义目标规范化表名称，并将任意元数据标记（例如 [sap, finance, hourly]）直接附加到 Dataform 操作，以实现选择性流水线运行 (dataform run --tags ...)。
  • 聚簇详情：通过对最多四个字母数字列（例如 bukrs、gjahr）的存储块进行排序，将相关数据共置在一处。对于按这些列进行过滤或联接的查询，聚簇可显著提高查询性能并降低数据扫描费用。
  • 分区详细信息：按时间（time 或 DATE，搭配 timeGrain: day | month | year）或整数范围 (integer) 对大型历史表进行分段。当查询请求特定日期范围或 ID 区间时，分区可防止进行全表扫描。

扩展数据基础

如需使用其他表来扩展数据基础层，您有多种选择：

可用的数据基础表

下表列出了 Cortex Framework 数据基础层中包含的表以及相关详细信息。

业务线 SAP 模块 表名称 说明 支持的来源 Dataform 标记 分区详情 集群详情
SAP ECC SAP S/4HANA
金融 CO bpge 预算值（总体） ✅ ✅ finance, sap_co, daily
bpja 预算值（年度） ✅ ✅ 财务, sap_co, 每日
bpvg 文档订单项 ✅ ✅ 财务, sap_co, 每日
cepc 利润中心主数据表 ✅ ✅ 财务, sap_co, 每日
cepct 利润中心主数据的文本 ✅ ✅ 财务, sap_co, 每日
ckmlcr 物料账：期间总计记录值 ✅ ✅ 财务, sap_co, 每日
ckmlhd 物料账：标题记录 ✅ ✅ 财务, sap_co, 每日
cobk 控制对象：文档标头 ✅ ✅ 财务、控制、每日
coep 控制对象：订单项（按时间段） ✅ ✅ 财务、控制、每日
cooi 承诺管理：订单项 ✅ ✅ 财务、控制、每日
cosp 控制对象：外部过账的成本总计 ✅ ✅ 财务、控制、每日
coss 控制对象：内部过账的成本总计 ✅ ✅ 财务、控制、每日
cskb 成本要素（控制区域相关数据） ✅ ✅ 财务, sap_co, 每日
csks 成本中心主记录 ✅ ✅ 财务, sap_co, 每日
cskt 成本中心文本 ✅ ✅ 财务, sap_co, 每日
csku 费用要素文本 ✅ ✅ finance, sap_co, daily
jest 各个对象的状态 ✅ ✅ 财务, sap_co, 每日
sethanahier0101 成本中心组的层次结构表 ✅ 财务, sap_co, 每月
sethanahier0106 利润中心组的层次结构表 ✅ 财务，sap_co，每月
setheader 设置标头和目录 ✅ ✅ 财务, sap_co, 每月
setheadert 套装的简短说明 ✅ ✅ 财务, sap_co, 每月
setleaf 集合中的值 ✅ ✅ 财务，sap_co，每月
setnode 集合中的较低级别集合 ✅ ✅ 财务, sap_co, 每月
tj02t 系统状态文本 ✅ ✅ finance, sap_co, yearly
tka01 控制区域 ✅ ✅ finance, sap_co, yearly
tka02 控制区域分配 ✅ ✅ finance, sap_co, yearly
FI acdoca 通用日记账分录行项目 ✅ 财务, sap_fi, 每小时 rclnt、rbukrs
acdocu 群组日记条目 ✅ 财务, sap_fi, 每小时
adr6 电子邮件地址（商家地址服务） ✅ ✅ 财务, sap_fi, 每日
adrc 地址（商家地址服务） ✅ ✅ 财务, sap_fi, 每日
adrct 地址文本（商家地址服务） ✅ ✅ 财务, sap_fi, 每日
anek 资产过账凭证标头 ✅ 财务, sap_fi, 每日
anep 素材资源订单项 ✅ 财务, sap_fi, 每日
ankt 素材资源类：说明 ✅ ✅ 财务, sap_fi, 每小时
anla 资产主记录段 ✅ ✅ 财务, sap_fi, 每小时
anlb 折旧条款 ✅ ✅ 财务, sap_fi, 每小时
anlc 资产价值记录：年份 ✅ 财务, sap_fi, yearly
anlh 主要资产编号 ✅ ✅ 财务, sap_fi, 每小时
anlz 随时间变化的资产配置 ✅ ✅ 财务, sap_fi, 每小时
atras 财政部利率表 ✅ ✅ 财务, sap_fi, 每日
bkpf 会计凭证标头 ✅ ✅ 财务, sap_fi, 每小时 budat（时间/天） bukrs、gjahr
bsad 视图的生成表 ✅ 财务, sap_fi, 每小时
bsak 视图的生成表 ✅ 财务, sap_fi, 每小时
bseg 会计凭证细分 ✅ ✅ 财务, sap_fi, 每小时 mandt, bukrs, gjahr
bsid 视图的生成表 ✅ 财务, sap_fi, 每小时
bsik 视图的生成表 ✅ 财务, sap_fi, 每小时
but000 Bp: General Data I ✅ ✅ 财务, sap_fi, 每日
but020 Bp：地址 ✅ ✅ 财务, sap_fi, 每日
but0bk Bp: Bank Details ✅ ✅ 财务, sap_fi, 每日
faat_doc_it 资产会计：统计订单项 ✅ 财务, sap_fi, 每日
faat_plan_values 资产价值：计划价值和重估价值 ✅ 财务, sap_fi, 每日
faat_ydda 资产价值：与年份相关的数据 ✅ 财务, sap_fi, yearly
fagl_011pc 财务报表版本：财务报表版本中的项目 ✅ ✅ finance, sap_fi, monthly
fagl_011qt 财务报表结构：财务报表项目的文本 ✅ ✅ finance, sap_fi, monthly
fagl_011zc 财务报表版本：将财务报表项目分配给总账科目 ✅ ✅ finance, sap_fi, monthly
faglflexa 总账：实际订单项 ✅ 财务, sap_fi, 每小时
fincs_ref_vers_r 参考版本关系 ✅ 财务, sap_fi, yearly
finsc_ld_cmp 通用日记账分账的 CompCode 相关设置 ✅ 财务, sap_fi, 每日
finsc_ledger 通用日记账分录账本 ✅ 财务, sap_fi, yearly
finsc_ledger_rep 统一的日记账分录账簿（用于报告的辅助表） ✅ 财务, sap_fi, 每日
finsc_ledger_t 通用日记账分录账本文本 ✅ 财务, sap_fi, yearly
ska1 总账科目主记录（科目表） ✅ ✅ 财务, sap_fi, 每日
skat 总账科目主记录（科目表：说明） ✅ ✅ 财务, sap_fi, 每日
t001 公司代码 ✅ ✅ 财务、sap_fi、一次
t002 语言键（组件 Bc-I18） ✅ ✅ 财务、sap_fi、一次
t002t 语言关键文本 ✅ ✅ 财务、sap_fi、一次
t005 国家/地区 ✅ ✅ 财务, sap_fi, yearly
t005k 通信：国家/地区拨号代码 ✅ ✅ 配置、年度
t005s 税费：地区（省/直辖市/自治区）键 ✅ ✅ 配置、年度
T005T 国家/地区名称 ✅ ✅ 配置、年度
T005U 税费：地区键：文本 ✅ ✅ 配置、年度
t009 会计年度变体 ✅ ✅ 配置，一次
t009b 会计年度变式期间 ✅ ✅ 配置，一次
t090nat 折旧密钥文本 ✅ ✅ 财务, sap_fi, 每小时
t093b 折旧范围的公司代码设置 ✅ ✅ 财务, sap_fi, 每小时
t093c 资产会计的公司代码设置 ✅ ✅ 财务, sap_fi, 每小时
t093t 折旧区域文本 ✅ ✅ 财务, sap_fi, 每小时
t095t 科目确定名称 ✅ ✅ 财务, sap_fi, 每小时
t098t 手动估值原因说明 ✅ ✅ 财务, sap_fi, 每小时
t881 Ledger Master ✅ ✅ 财务、sap_fi、一次
t881t Fi-Sl 账本文本 ✅ ✅ 财务、sap_fi、一次
tabw 资产交易类型 ✅ ✅ 财务, sap_fi, 每日
tabwh 资产交易类型组文本 ✅ ✅ 财务, sap_fi, 每日
tabwt 资产交易类型文本 ✅ ✅ 财务, sap_fi, 每日
tcurc 货币代码 ✅ ✅ 财务、sap_fi、一次
tcurf 转换系数 ✅ ✅ 财务、sap_fi、一次
tcurr 汇率 ✅ ✅ 财务, sap_fi, 每日
tcurt 货币代码名称 ✅ ✅ 财务, sap_fi, 每日
tcurx 币种的小数位数 ✅ ✅ 财务, sap_fi, 每日
tf200 整合版本 ✅ 财务, sap_fi, yearly
tf201 版本：名称 ✅ 财务, sap_fi, yearly
tvarvc 变体变量表（特定于客户） ✅ ✅ 财务, sap_fi, 每日
vwpanla 证券的资产主数据 ✅ ✅ 财务, sap_fi, 每日
FSCM fdsb 现金管理和预测摘要记录 ✅ 财务, sap_fscm, 每小时
fqm_flow 运营带来的曝光 ✅ 财务, sap_fscm, 每小时
PS prhi 工作分解结构、边（层次结构指针） ✅ ✅ finance, sap_ps, hourly
proj 项目定义 ✅ ✅ 财务、sap_ps、每小时
prps WBS 要素主数据 ✅ ✅ finance, sap_ps, hourly
prte 项目商品的安排数据 ✅ ✅ finance, sap_ps, hourly
rpsco 项目信息数据库：费用、收入、财务 ✅ ✅ finance, sap_ps, daily
TRM vtbfha 金融交易 (Vtbfha) ✅ ✅ finance, sap_trm, hourly
vtbfhapo 交易流程 (Vtbfhapo) ✅ ✅ finance, sap_trm, hourly
vtbfhazu 交易活动 (Vtbfhazu) ✅ ✅ finance, sap_trm, hourly
vtvbar OTC 交易的 Npv（Vtvbar） ✅ ✅ finance, sap_trm, hourly
HR HCM hrrp_directory 层次结构目录 ✅ hr, sap_hcm, monthly
hrrp_node 层次结构节点 ✅ hr, sap_hcm, monthly
hrrp_nodet 层次结构节点文本 ✅ hr, sap_hcm, monthly
IT BASIS dd01l 网域 ✅ ✅ 它，sap_basis，一次
dd03l 表格字段 ✅ ✅ 它，sap_basis，一次
dd04t R/3 Dd：数据元素文本 ✅ ✅ 它，sap_basis，一次
dd07l 网域值 ✅ ✅ 它，sap_basis，一次
dd07t Dd：网域固定值的文本（取决于语言） ✅ ✅ 它，sap_basis，一次
dd08l 关系定义 ✅ ✅ 它，sap_basis，一次
制造业 PP afko 订单标题数据 - PP 订单 ✅ ✅ 制造、sap_pp、每小时
afpo 订单项 ✅ ✅ 制造、sap_pp、每小时
aufk 订单主数据 ✅ ✅ 制造、sap_pp、每小时
mast 材料与 BOM 之间的关联 ✅ ✅ 制造、sap_pp、每月
stas BOM - 项目选择 ✅ ✅ 制造、sap_pp、每月
stko BOM 标头 ✅ ✅ 制造、sap_pp、每月
stpo BOM 项 ✅ ✅ 制造、sap_pp、每月
销售 标清 kna1 客户主数据中的一般数据 ✅ ✅ 销售, sap_sd, 每日
konv 条件（交易数据） ✅ 销售, sap_sd, 每日 kdatu（时间/天） stunr
prcd_elements 价格元素 ✅ 销售、sap_sd、每小时
t179 资料：产品层次结构 ✅ ✅ 销售、sap_sd、一次
t179t 资料：产品层次结构：文本 ✅ ✅ 销售、sap_sd、一次
TSPA 组织部门：销售部门 ✅ ✅ 销售额, sap_sd, 年
tspat 组织部门：销售部门：文本 ✅ ✅ 销售额, sap_sd, 年
tvfst 结算：屏蔽原因文本 ✅ ✅ 销售额, sap_sd, 年
tvko 组织部门：销售组织 ✅ ✅ 销售额, sap_sd, 年
tvkot 组织部门：销售组织：文本 ✅ ✅ 销售额, sap_sd, 年
tvlst 交付：屏蔽原因/范围：文本 ✅ ✅ 销售额, sap_sd, 年
tvtw 组织部门：分发渠道 ✅ ✅ 销售额, sap_sd, 年
tvtwt 组织部门：分发渠道：文本 ✅ ✅ 销售额, sap_sd, 年
vbak 销售凭证：凭证抬头数据 ✅ ✅ 销售、sap_sd、每小时 audat（时间/天） vkorg
vbap 销售凭证：商品数据 ✅ ✅ 销售、sap_sd、每小时 werks, lgort
vbep 销售凭证：计划行数据 ✅ ✅ 销售、sap_sd、每小时
vbfa 销售凭证流程 ✅ ✅ 销售、sap_sd、每小时
vbpa 销售文件：合作伙伴 ✅ ✅ 销售、sap_sd、每小时
vbrk 结算凭证：抬头数据 ✅ ✅ 销售、sap_sd、每小时
vbrp 结算凭证：商品数据 ✅ ✅ 销售、sap_sd、每小时
vbuk 销售凭证：凭证抬头状态和管理数据 ✅ 销售、sap_sd、每小时
vbup 销售凭证：商品状态 ✅ 销售、sap_sd、每小时
wb2_d_bvdetail Ccs: Detailed Statement for Settlement ✅ ✅ 销售, sap_sd, 每日
wb2_d_settl_cal 返款：结算日历 ✅ ✅ 销售, sap_sd, 每日
wbrk 代理机构结算单据：标头 ✅ ✅ 销售、sap_sd、每小时
wbrp 代理机构结算单：项目 ✅ ✅ 销售、sap_sd、每小时
wcocoh 条件合同：标题 ✅ ✅ 销售, sap_sd, 每日
wcocoi 条件合同：商品 ✅ ✅ 销售, sap_sd, 每日
供应链 LE likp SD 文档：交货凭证抬头数据 ✅ ✅ supply_chain, sap_le, hourly erdat（时间/月） vkorg
嘴唇 SD 文档：交货：项目数据 ✅ ✅ supply_chain, sap_le, hourly erdat（时间/月）
MM ekbe 采购凭证历史记录 (EKBE) ✅ ✅ supply_chain, sap_mm, hourly budat（时间/天） mandt, vgabe, ebeln, bwart
ekes 供应商确认 (Ekes) ✅ ✅ supply_chain, sap_mm, hourly
eket Scheduling Agreement Schedule Lines ✅ ✅ supply_chain, sap_mm, hourly 结束时间（时间/天） mandt, ebeln
ekkn 采购凭证中的科目分配 (Ekkn) ✅ ✅ supply_chain, sap_mm, hourly
ekko 采购凭证标头 ✅ ✅ supply_chain, sap_mm, hourly bedat（时间/天） mandt, ebeln
ekpo 采购凭证项目 ✅ ✅ supply_chain, sap_mm, hourly aedat（时间/天） mandt, ebeln
lfa1 供应商主文件（常规部分） ✅ ✅ supply_chain, sap_mm, daily
makt Material 说明 ✅ ✅ supply_chain, sap_mm, daily spras
mara 一般材料数据 ✅ ✅ supply_chain, sap_mm, daily
marc Material 的植物数据 ✅ ✅ supply_chain, sap_mm, hourly
mard 媒体文件的存储位置数据 ✅ ✅ supply_chain, sap_mm, hourly
matdoc Material 文档 ✅ supply_chain, sap_mm, hourly
mbew 物料评估 ✅ ✅ supply_chain, sap_mm, daily
mbewh 物料评估：历史记录 ✅ ✅ supply_chain, sap_mm, daily
mch1 批次（如果批次管理跨工厂） ✅ ✅ supply_chain, sap_mm, daily
mcha 批次 ✅ ✅ supply_chain, sap_mm, daily
mchb 批量股票 ✅ ✅ supply_chain, sap_mm, daily
mkol 供应商提供的特价商品 ✅ ✅ supply_chain, sap_mm, weekly
mseg 文档细分：Material ✅ supply_chain, sap_mm, hourly
msfd 销售订单库存（含供应商） ✅ supply_chain, sap_mm, weekly
mska 销售订单库存 ✅ ✅ supply_chain, sap_mm, weekly
msku 面向客户的特殊股票 ✅ ✅ supply_chain, sap_mm, weekly
mslb 与供应商合作的特惠商品 ✅ ✅ supply_chain, sap_mm, weekly
rbco 凭证项目、传入的账单、账号分配 ✅ ✅ supply_chain, sap_mm, hourly
rbkp 文档标头：账单收据 ✅ ✅ supply_chain, sap_mm, hourly
rseg Document Item: Incoming Invoice ✅ ✅ supply_chain, sap_mm, hourly
t001k 评估区域 ✅ ✅ supply_chain, sap_mm, once
t001l Storage 位置 ✅ ✅ supply_chain, sap_mm, once
t001w 植物/树枝 ✅ ✅ supply_chain, sap_mm, once
t006 度量单位 ✅ ✅ supply_chain, sap_mm, yearly
t006a 将“内部”分配给语言相关单元 ✅ ✅ 配置，一次
t006t 维度文本 ✅ ✅ 配置，一次
t023 材质组 ✅ ✅ supply_chain, sap_mm, once
t023t 素材资源组说明 ✅ ✅ supply_chain, sap_mm, once
t024 购买群体 ✅ ✅ supply_chain, sap_mm, once
t024e 采购组织 ✅ ✅ supply_chain, sap_mm, once
t134 材质类型 ✅ ✅ supply_chain, sap_mm, once
t134t Material 类型说明 ✅ ✅ supply_chain, sap_mm, once
t148t 特殊库存说明 ✅ ✅ supply_chain, sap_mm, once
t156 摇动方式 ✅ ✅ supply_chain, sap_mm, once
t156t 摇动方式文本 ✅ ✅ 配置，一次
t157e 文本表格：移动原因 ✅ ✅ 配置，一次
t161 采购凭证类型 (T161) ✅ ✅ supply_chain, sap_mm, once
t161t 采购凭证类型的文本 ✅ ✅ supply_chain, sap_mm, once