PDIのパフォーマンスを上げる方法 (コピー数を増やす)

|
PDIにてお手軽にパフォーマンスを向上させる方法がありますので、ご紹介させていただきます。

例えば、1000万件のデータを生成した後、Javaスクリプトステップにて複数のフィールドを追加するという処理を行うとすると、以下のようになるかと思います。

pdi_nocopy.jpg
実行すると、全て完了するまでに、「3分3秒」かかりました。

そこで、「Javaスクリプトステップ」を右クリックして、「コピー数の変更」を選択し、コピー数を「1」から「3」に変更します。
そうすると、「Javaスクリプトステップ」の左上に「x3」と表示されます。

pdi_copy.jpg
この状態で、もう一度処理を実行すると、「1分56秒」で処理が完了しました!
※実行するマシンスペックによっては更なるパフォーマンスアップが見込めますが、マシンスペックが低い場合ですと、あまり効果がでません。また、コピー数を増やしたステップ以外がボトルネックになっている場合も、効果が薄いです。
※処理を行ったPCのスペックは、CPU:CoreDuo U2400/1.06GHz、メモリ:1526MBです。

すべての行に同じ処理を行う場合は、同じ処理内容のステップを並べて並列実行する方法もありますが、コピー数の変更を行うことで、同様の処理をよりお手軽に行うことができます。

お試しください。

☆Have a strong data integration ☆
KSKソリューションズ