Datastage write failed: Output file full 解决
版本:IBM InfoSphere DataStage V11.5.1
操作系统:linux redhat 6.4
平台:Apache Hadoop 2.6.0-cdh5.9.0
问题描述:
1.APT_CombinedOperatorController,0: Fatal Error: Tsort mergeraborting: Scratch space full
2.APT_CombinedOperatorController,1: write failed: Output filefull, and no more output files
场景描述:
在执行主数据对比的时候,会用到Change_Capture ,该控件会把抽取数据存放到磁盘中,如果数据量大的话,会占用以下两个磁盘空间。
在Configurations 文件 default.apt 其中 resource disk 为磁盘 resourcescratchdisk 为暂存磁盘池 ,当如果执行作业完成,或者失败,该磁盘会自动释放空间。
APT configuration file:/onstarlog/IBM/InformationServer/Server/Configurations/default.apt
{
node "node1"
{
fastname"onsgshex04vm10"
pools ""
resource disk"/onstarlog/IBM/InformationServer/Server/Datasets" {pools""}
resource scratchdisk"/onstarlog/IBM/InformationServer/Server/Scratch" {pools""}
}
node "node2"
{
fastname"onsgshex04vm10"
pools ""
resource disk "/onstarlog/IBM/InformationServer/Server/Datasets"{pools ""}
resource scratchdisk"/onstarlog/IBM/InformationServer/Server/Scratch" {pools""}
}
}
解决办法:
1:增加该目录的磁盘大小
命令:
lvextend -L +5000m/dev/mapper/vgonstar-log
resize2fs/dev/mapper/vgonstar-log
2:直接加载数据入库,不需要做对比动作。(建议一千万的数据量就别做对比了。或者之对比特定范围的数据)
3:数据量大的话,最好不要用Lookup 因为Lookup 是会把数据放到内存中的。同时如果没必须的话,就不要对数据做排序动作了。
可参考:
觉得本站还不错就打赏一下吧!
支付宝扫一扫打赏

微信扫一扫打赏

本站所有内容均来自于互联网自动采集,如无意侵犯了您的权利,请您发送邮件到admin@chinaetl.com.cn联系管理员删除。
ChinaETL » Datastage write failed: Output file full 解决
ChinaETL » Datastage write failed: Output file full 解决