DataStage 配置CDC 实现数据实时处理

版本:IBM InfoSphere DataStage V11.3.1

操作系统:linux redhat 6.4

数据库:Oracle 11.2.0.4.0

 

前言:之前和IBM同事参与CDC和Datastage结合,打造数据实时性。虽然最后可以满足数据时效性,但是代价也是相对的,24小时不停的监控,这样也是耗性能的。

也不由得感慨,想象是完美的,现实却是未必。这个笔记由同事记录,分享下。

 

 

1.4.1具体步骤

1.首先需要安装CDC_for_Datastage,创建相应的实例并启动实例为运行状态。

2.创建数据存储器并分配用户,搭建预定。

3.用CDC导出相应的dsx文件,详细步骤如下。

1).右键搭建好的预定

>>【Infospheredatastage】>>【Infosphere datastage属性】,如下图,红框中【项目】填datastage的工程名,连接建自己定义一个名字。然后确定

 

2). 右键搭建好的预定>>【Infospheredatastage】>>【生成Infosphere datastage作业定义…】,

选择保存路径,以便导入datastage。

 

3.导入作业

把MID1_TEST.dsx文件导入Datastage中。如下图所示

 

4.去掉DB2_Connector控件

换成oracle控件,如果目标端数据是DB2可以不用换。BooKmark是记录数据读取的一个标签,该记录会被写入到目标表BooKmark_table表中,该表是在安装CDC_FOR_datastage创建实例时创建的表。把改job拆分如下:

 

5.双击CDC_Transaction控件,按下图配置数据库连接信息

 

6.双击Oracle_Connector_10控件,按下图填写配置信息

 

7.双击Copy_11控件 按下图填写信息。

8.双击Oracle_Connector_33控件,按下图填写信息

打赏

觉得本站还不错就打赏一下吧!

支付宝扫一扫打赏

微信扫一扫打赏

本站所有内容均来自于互联网自动采集,如无意侵犯了您的权利,请您发送邮件到admin@chinaetl.com.cn联系管理员删除。
ChinaETL » DataStage 配置CDC 实现数据实时处理