SQL Server Integration Services 实现数据 ETL 与质量提升
1. 业务需求概述
在数据处理过程中，面临着将两个商店的客户列表进行合并的任务，同时需要消除重复记录，并且在遇到重复记录时，要保留最新的客户信息。所有销售数据都需要进行统计，有效的记录要存入数据仓库，有问题的记录则要进行纠正处理。对于那些无法完全归类到标准类别的事实记录，应尽量纳入数据仓库，并分配到“未知”或“缺失”等特殊类别。
2. 高层架构设计
目标是将源系统中的干净数据加载到数据仓库中。ETL 过程会直接将有效数据移入数据仓库，而不使用中间暂存数据库。同时，会创建一个新的管理和审计数据库，用于存储需要补救的数据以及跟踪数据流入数据仓库的信息。
在加载运营数据之前，需要先清理现有的客户数据，通过合并两个公司的客户列表，去除重复客户并保留最新信息。在这个过程中，为了应对客户姓名和地址的自由输入格式，会使用 Integration Services 中的模糊匹配技术，以实现即使在客户常见字段的格式或拼写存在细微差异的情况下，也能很好地检测出重复项。
在生产环境中，将使用 Integration Services 执行从源到数据仓库的数据传输所需的常规 ETL 流程。在处理过程中，Integration Services 转换会自动检测诸如维度成员缺失等错误。大多数转换至少有两个输出路径，一个用于成功的记录，另一个用于失败的记录，失败的记录将被重定向进行其他处理。还会使用额外的转换来统计每条路径上移动的记录数量，并将这些计数记录在审计表中。源数据将通过 Integration Services 数据流路由到数据仓库、自动纠正流程或手动纠正队列。
