登录
/
注册
首页
论坛
其它
首页
科技
业界
安全
程序
广播
Follow
关于
签到
每天签到奖励2-10圆
导读
排行榜
TG频道
发帖说明
登录
/
注册
账号
自动登录
找回密码
密码
登录
立即注册
搜索
搜索
关闭
CSDN热搜
程序园
精品问答
技术交流
资源下载
本版
帖子
用户
软件
问答
教程
代码
写记录
VIP申请
VIP网盘
网盘
联系我们
发帖说明
每日签到
道具
勋章
任务
淘帖
动态
分享
留言板
导读
设置
我的收藏
退出
腾讯QQ
微信登录
返回列表
首页
›
业界区
›
业界
›
(三)数仓人必看!ODS 到 DWS 各层设计规范全解析,含 ...
(三)数仓人必看!ODS 到 DWS 各层设计规范全解析,含同步/存储/质量核心要点
[ 复制链接 ]
睁扼妤
2025-9-25 15:36:32
《新兴数据湖仓设计与实践手册·数据湖仓建模及模型命名规范(2025年)》
由四篇递进式指南组成,以“模型架构—公共规范—分层规范—命名规范”为主线,系统构建可演进、可治理、可共享的现代数据湖仓。
本文为系列文章第三篇,详细剖析了
数仓各层的设计规范
,包含同步、存储、质量等核心要点。
最后一篇将在此框架内,依次剖析数仓各层的命名规范,帮助企业用一套方法论完成从数据入湖到价值变现的全链路建设,敬请期待完整版。
1. ODS层设计规范
同步规范:
一个系统源表只允许同步一次;
全量初始化同步和增量同步处理逻辑要清晰;
以统计日期和时间进行分区存储;
目标表字段在源表不存在时要自动填充处理。
表分类与生命周期:
1. ods流水全量表:
不可再生的永久保存;
日志可按留存要求;
按需设置保留特殊日期数据;
按需设置保留特殊月份数据;
2. ods镜像型全量表:
推荐按天存储;
对历史变化进行保留;
最新数据仓储在最大分区;
历史数据按需保留;
3. ods增量数据:
推荐按天存储;
有对应全量表的,建议只保留14天数据;
无对应全量表的,永久保留;
4. ods的etl过程中的临时表:
推荐按需保留;
最多保留7天;
建议用完即删,下次使用再生成;
5. BDSync非去重数据:
通过中间层保留,默认用完即删,不建议保留。
数据质量:
全量表必须配置唯一性字段标识;
对分区空数据进行监控;
对枚举类型字段,进行枚举值变化和分布监控;
ods表数据量级和记录数做环比监控;
ods全表都必须要有注释;
2. 公共维度层设计规范
1) 设计准则
一致性
共维度在不同的物理表中的字段名称、数据类型、数据内容必须保持一致(历史原因不一致,要做好版本控制)
维度的组合与拆分
组合原则
:
将维度与关联性强的字段进行组合,一起查询,一起展示,两个维度必须具有天然的关系,如:商品的基本属性和所属品牌。
无相关性:如一些使用频率较小的杂项维度,可以构建一个集合杂项维度的特殊属性。
行为维度:经过计算的度量,但下游当维度处理,例:点击量 0-1000,100-1000等,可以做聚合分类。
拆分与冗余
:
针对重要性,业务相关性、源、使用频率等可分为核心表、扩展表。
数据记录较大的维度,可以适当冗余一些子集。
2) 存储及生命周期管理
建议按天分区。
<ol> 3个月内最大访问跨度
核心
质量
存储
同步
解析
相关帖子
MySQL同步ES的 5 种方案
自建 Supabase 云服务与 BeeCount 云同步详解
你必须知道的TCP和UDP核心区别,快速搞懂这两大协议!
MVC / MVP / MVVM 架构解析
Obsidia Git同步方法(偏安卓)
使用 VictoriaLogs 存储和查询服务器日志
深入解析 PostgreSQL 外部数据封装器(FDW)的 SELECT 查询执行机制
从零开始:C#实现计算表达式解析与求值——以后缀表达式为例
【源码解读之 Mybatis】【核心篇】--第5篇:Executor执行器体系详解
Kubernetes存储卷:保障有状态应用的数据持久化
vip免费申请,1年只需15美金$
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜
相关推荐
业界
MySQL同步ES的 5 种方案
0
880
毕余馥
2025-10-01
业界
自建 Supabase 云服务与 BeeCount 云同步详解
0
830
奸轲嫣
2025-10-01
业界
你必须知道的TCP和UDP核心区别,快速搞懂这两大协议!
1
390
博咱
2025-10-05
业界
MVC / MVP / MVVM 架构解析
0
60
静轾
2025-10-05
科技
Obsidia Git同步方法(偏安卓)
0
1001
何书艺
2025-10-06
业界
使用 VictoriaLogs 存储和查询服务器日志
0
95
那虻
2025-10-06
安全
深入解析 PostgreSQL 外部数据封装器(FDW)的 SELECT 查询执行机制
0
945
上官泰
2025-10-07
业界
从零开始:C#实现计算表达式解析与求值——以后缀表达式为例
0
612
筒濂
2025-10-09
业界
【源码解读之 Mybatis】【核心篇】--第5篇:Executor执行器体系详解
0
191
柏雅云
2025-10-09
业界
Kubernetes存储卷:保障有状态应用的数据持久化
0
88
计海龄
2025-10-10
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
回复
本版积分规则
回帖并转播
回帖后跳转到最后一页
签约作者
程序园优秀签约作者
发帖
睁扼妤
2025-9-25 15:36:32
关注
0
粉丝关注
14
主题发布
板块介绍填写区域,请于后台编辑
财富榜{圆}
anyue1937
9999501
dage888
999994
富账慕
10007
4
匝抽
9986
5
孙淼淼
9992
6
柴古香
9993
7
筒濂
9982
8
凌彦慧
9991
9
崔瑜然
9984
10
慢秤
9979
查看更多