基于ETL工具实现数据增量抽取方案

环境信息：

版本：IBM InfoSphere DataStage V11.3.1

操作系统：linux redhat 6.4

数据库版本：Oracle 11.2.0.4.0

主要内容

本文主要讲解，企业级数据仓库基于ETL工具实现增量加载业务系统数据方案。

数据流程图

具体数据流程图：

实现方案

1.数据量相对比较小，100W级别以下。

根据日调度，实现前后两天通过文件对比，获取相应增量数据。

弊端：因为ODS 系统一般是多层存储，需要保证每次日调度执行成功，否则会丢数据。

2.数据量相对比较大，100W级别以上。

一般业务系统会有自增长ID 列，我们会选择获取增量的时候，增加限制条件，比如SELECT * FROM TABLE_NAME WHERE ID>MAX(ID)

其中MAX(ID) 为上一次，最大ID值，在利用可以放到一个临时表。

a）在调度时获取maxid.Txt 的数据

b）在利用Sequence 调度 各层之后，最后触发该作业获取最大ID 存储到maxid.Txt文件中。