一、数据仓库的定位
数据仓库整合多个来源的数据,为分析和决策提供统一的数据视图。与操作型数据库不同,数据仓库面向主题、集成历史数据,支持复杂的分析查询。
一)分层架构
数据仓库通常分为ODS贴源层、DWD明细层、DWS汇总层和ADS应用层。分层让数据处理过程清晰可控,每层职责明确,便于问题定位和复用。
二、建模方法
维度建模是数据仓库的主流方法,事实表记录业务过程,维度表描述业务属性。星型模型和雪花模型是常见的维度建模模式。
一)数仓技术栈
离线数仓以Hive和Spark为核心,实时数仓基于Flink和Kafka,湖仓一体架构融合数据湖和数据仓库的优势,成为新的发展趋势。
三、数据治理
数据质量、数据标准、元数据管理和数据安全是数据治理的核心内容。数据字典和血缘关系帮助理解数据,质量监控保障分析结果可信。
数据仓库建设是系统工程,架构设计、建模方法和治理体系缺一不可。