找回密码
 立即注册
首页 业界区 业界 (三)数仓人必看!ODS 到 DWS 各层设计规范全解析,含 ...

(三)数仓人必看!ODS 到 DWS 各层设计规范全解析,含同步/存储/质量核心要点

睁扼妤 2025-9-25 15:36:32
1.jpeg

《新兴数据湖仓设计与实践手册·数据湖仓建模及模型命名规范(2025年)》 由四篇递进式指南组成,以“模型架构—公共规范—分层规范—命名规范”为主线,系统构建可演进、可治理、可共享的现代数据湖仓。
本文为系列文章第三篇,详细剖析了数仓各层的设计规范,包含同步、存储、质量等核心要点。
最后一篇将在此框架内,依次剖析数仓各层的命名规范,帮助企业用一套方法论完成从数据入湖到价值变现的全链路建设,敬请期待完整版。
1. ODS层设计规范

同步规范:


  • 一个系统源表只允许同步一次;
  • 全量初始化同步和增量同步处理逻辑要清晰;
  • 以统计日期和时间进行分区存储;
  • 目标表字段在源表不存在时要自动填充处理。
表分类与生命周期:

1. ods流水全量表:


  • 不可再生的永久保存;
  • 日志可按留存要求;
  • 按需设置保留特殊日期数据;
  • 按需设置保留特殊月份数据;
2. ods镜像型全量表:


  • 推荐按天存储;
  • 对历史变化进行保留;
  • 最新数据仓储在最大分区;
  • 历史数据按需保留;
3. ods增量数据:


  • 推荐按天存储;
  • 有对应全量表的,建议只保留14天数据;
  • 无对应全量表的,永久保留;
4. ods的etl过程中的临时表:


  • 推荐按需保留;
  • 最多保留7天;
  • 建议用完即删,下次使用再生成;
5. BDSync非去重数据:
通过中间层保留,默认用完即删,不建议保留。
数据质量:


  • 全量表必须配置唯一性字段标识;
  • 对分区空数据进行监控;
  • 对枚举类型字段,进行枚举值变化和分布监控;
  • ods表数据量级和记录数做环比监控;
  • ods全表都必须要有注释;
2. 公共维度层设计规范

1) 设计准则


  • 一致性
    共维度在不同的物理表中的字段名称、数据类型、数据内容必须保持一致(历史原因不一致,要做好版本控制)
  • 维度的组合与拆分


  • 组合原则
    将维度与关联性强的字段进行组合,一起查询,一起展示,两个维度必须具有天然的关系,如:商品的基本属性和所属品牌。
    无相关性:如一些使用频率较小的杂项维度,可以构建一个集合杂项维度的特殊属性。
    行为维度:经过计算的度量,但下游当维度处理,例:点击量 0-1000,100-1000等,可以做聚合分类。
  • 拆分与冗余
    针对重要性,业务相关性、源、使用频率等可分为核心表、扩展表。
    数据记录较大的维度,可以适当冗余一些子集。
2) 存储及生命周期管理

建议按天分区。
<ol> 3个月内最大访问跨度

相关推荐

您需要登录后才可以回帖 登录 | 立即注册