一、数据仓库的核心概念
数据仓库(Data Warehouse)是面向分析的集成数据环境:面向主题(按业务主题组织);集成(多源数据统一);非易失(历史数据只增不改);随时间变化(记录时间维度)。数据仓库的价值:统一数据口径(各业务用同一份数据);沉淀数据资产(历史可追溯);支撑决策分析(报表、BI、数据产品)。
二、数仓分层架构
经典数仓分层:ODS(原始数据层:原样接入);DWD(明细数据层:清洗、标准化);DWS(汇总数据层:按主题汇总);ADS(应用数据层:面向报表与业务)。分层的意义:清晰职责(每层解决一层问题);复用计算(底层算好上层复用);血缘追踪(数据问题可溯源)。维度建模:事实表(业务事件)+维度表(业务属性);星型模型(简单查询友好)、雪花模型(规范化)。
三、技术选型与湖仓一体
数仓技术栈:传统(Hive+Spark+HDFS);云数仓(Snowflake、BigQuery、阿里云MaxCompute);国产(Doris、StarRocks、ClickHouse实时分析);湖仓一体(数据湖+数仓优势:Delta Lake、Hudi、Iceberg,支持流批一体与数据入湖)。2026年趋势:湖仓一体成为主流架构;实时数仓普及(Flink实时链路);数据治理(数据质量、元数据、数据安全)。
四、数仓建设实践
数仓建设流程:需求调研(明确分析场景)→架构设计(分层与技术选型)→数据接入(采集同步)→模型开发(分层建模)→数据验证(质量校验)→上线运维(调度监控)。关键实践:命名规范(表名、字段统一);数据质量(主键唯一、空值率、一致性校验);调度依赖(任务依赖关系管理);元数据管理(血缘、字典)。数仓工程师的核心能力:业务理解+数据建模+技术选型——好的数仓是"业务与技术"的桥梁。