当前位置: 首页 > news >正文

[数据模型/大数据] 数据建模之缓慢变化维

1 概述: 数据建模之缓慢变化维场景(SCD)

  • 缓慢变化维,是大数据或数据仓库中,维度表(如用户、商品表)的属性随时间缓慢变更(非实时高频),却需保留历史状态以支持多时间点数据分析的问题,核心是平衡“数据时效性”与“历史可追溯性”。

比如,用户表中,用户“所在城市”从“北京”变更为“上海”,若直接覆盖旧数据,将无法统计该用户变更前在北京产生的订单数据;若不处理,当前数据又会失真,这就是典型的缓慢变化维问题。

2 常见缓慢变化维(SCD)处理方案及适用场景

以下是4种核心处理方案,均以“用户ID=10001的用户,所在城市从北京变更为上海”为例说明:

方案1:覆盖式更新

  • 处理逻辑:直接用新属性值覆盖旧值,不保留历史记录。
  • 示例:用户表中,将用户10001的“所在城市”字段直接从“北京”改为“上海”,原“北京”记录被删除。
  • 适用场景:无需追溯历史、仅需保留最新状态的场景,如用户“昵称”“头像”等非核心属性的变更,或数据录入错误后的修正。

方案2:新增行式更新

  • 处理逻辑:不修改旧数据,新增一行包含新属性值的记录,通过“生效时间”“失效时间”“是否当前记录”等字段区分状态。
  • 示例:保留原“用户10001-北京”的记录,新增“用户10001-上海”的记录;原记录失效时间设为变更日期,新记录生效时间设为变更日期、“是否当前”设为“是”。
  • 适用场景:需完整追溯历史状态的核心场景,如用户“所在城市”“会员等级”等影响业务统计(如区域订单量、会员消费分析)的属性变更。

方案3:新增列式更新

  • 处理逻辑:在原表中新增“旧属性列”(如“原所在城市”),保存旧值,原字段更新为新值,仅保留最近一次历史记录。
  • 示例:用户表新增“原所在城市”列,将旧值“北京”存入该列,原“所在城市”列更新为“上海”,仅记录“上海→北京”这一次变更。
  • 适用场景:仅需对比“当前值”与“最近一次旧值”,无需完整历史轨迹的场景,如商品“原价”与“现价”的对比展示,或用户“上次所在城市”与“当前城市”的简单分析。

方案4:组合式更新,Type1+2+3

  • 处理逻辑:结合Type1(覆盖)、Type2(新增行)、Type3(新增列)的特点,既新增行保留完整历史,又在当前行新增列记录关键历史信息。
  • 示例:新增“用户10001-上海”的行(Type2),同时在当前行新增“上次所在城市”列记录“北京”(Type3),原记录标记失效(Type2)。
  • 适用场景:需兼顾完整历史追溯与便捷查询关键历史信息的场景,如金融领域客户“职业”“收入等级”变更,既需追溯每一次变更以满足合规审计(Type2),又需快速获取“当前职业”与“上一职业”进行对比分析(Type3)。

Y 推荐文献

X 参考文献

http://www.hskmm.com/?act=detail&tid=29856

相关文章:

  • Win10如何彻底关闭自动更新
  • 2025 年国内最新漏水维修公司推荐:涵盖厨卫 / 屋顶 / 管道 / 高空等场景,帮您精准选靠谱维修团队
  • 25.10.13 C语言 运算符
  • matlabe东向偏移、北向偏移、垂直偏移转经纬度
  • 在AI技术唾手可得的时代,挖掘新需求成为核心竞争力——某知名媒体系统生态需求洞察
  • 2025 年立体画厂家最新推荐榜单:涵盖 3d 光栅立体画、立体光栅卡、3D 装饰立体画、三维立体画,助力企业与消费者精准挑选优质品牌
  • 修改Windows10的TLS版本和Ciphers加密算法 导致 sql server 2008 连接不上
  • 20232403 2025-2026-1 《网络与系统攻防技术》实验一实验报告
  • 2025 年板材厂家推荐:兔宝宝以绿色创新筑根基,全链服务护健康家居需求
  • 基于SC译码算法的极化码解码实现与优化
  • idea远程连接并本地打包到远程服务器
  • 2025 年快速退火炉优质厂家最新推荐榜单:真空 / 半导体 / 晶圆 / 高温 / 桌面 / 半自动 / 全自动 / 芯片 / 硅片 / RTP 设备企业核心竞争力全面解析
  • 2025 年最新推荐!停车场系统厂商榜单重磅发布,涵盖管理 / 收费 / 无人值守 / 道闸 / 车牌识别系统优质服务商
  • 2025 年汽车托运公司推荐排行榜,靠谱的汽车托运服务哪家好?推荐这五家汽车托运公司!优质企业深度解析,助您轻松选对汽车物流服务提供商全国门到门 / 仓储 / 跨境货运服务公司推荐
  • 3C电子企业柔性制造转型:如何依据MES管理系统完成快速换线与弹性生产?
  • 2025 最新移民机构推荐排行榜:精选国内靠谱移民服务机构,助力高效规划澳洲/美国/欧洲等国移民方案
  • 2026 NOI 做题记录(六)
  • 2025 年安防系统厂商最新推荐榜:弱电 / 智能 / 周界 / 监控等全品类服务商深度测评及选择指南
  • 献丑贴:Task.Run中foreach优化
  • 2025.10.13——1橙
  • 基于高频电流探头的电磁兼容(EMI/EMC)测试与诊断技术方案
  • Spring 事务、循环依赖连环问
  • 20232327 2025-2026-1 《网络与系统攻防技术》实验一实验报告
  • 单挑市面上所有监控设备模拟器/可能是最好用的监控模拟器/支持onvif和28181协议/虚拟监控/桌面转监控/任意源转监控设备
  • 在Java 11中,如何处理被弃用的类或接口?
  • chmod只修改文件或者只修改目录权限
  • 每周资讯 | 腾讯《三角洲行动》周年庆登双榜TOP1;腾讯首款生活模拟游戏《粒粒的小人国》曝光 - 教程
  • .NET 自动依赖注入神器
  • VLA技术论文阅读 - 详解
  • 深入解析:246-基于Django的美食菜谱数据分析推荐系统