Pentaho Data Integration (ETL): 2012年7月アーカイブ

JavaScriptステップでのFilter機能

|
今回は、JavaScriptステップにて、特定行をスキップする方法をご紹介したいと思います。
イメージとしては、FilterRowsステップをJavaScriptステップ内で行う感じです。
目で見ていただくのが一番はやいと思いますので、まずは以下をご確認ください。
js_step1.jpg

上記の例では、[a,b,c,d]という値に対し、cの場合だけ処理をSKIPしています。
そのため、結果としては[a,b,d]が返却されています。

このように、特定の条件の時に、「trans_Status = SKIP_TRANSFORMATION」とするとそれ以降の処理がSKIPされます。
また、「CONTINUE_TRANSFORMATION」は、SKIP_TRANSFORMATIONのステータスを通常ステータスに戻すもので、
「ERROR_TRANSFORMATION」を設定すると、その時点で強制的にエラーを発生させ、処理を終了します。

JavaScriptステップで何かの条件を作成して、その後FilterRowsステップで作成した条件で特定行のSKIP処理を行なっている場合などは、JavaScriptステップの中ですべて記述することができるので、処理を効率化することが可能と思います。

★Have a Great Open Source Day★
KSKアナリティクス Pentahoチーム

Pentahoサポート現場より

|
先週、弊社がご提供するカラムストア型高速データベースInfobrightのお客様であるミスミ様にお伺いしました。
PentahoDataIntegration(PDI)を試用されており、お急ぎのサポートご用命でした。
2012_07_10_13_25_42.jpg
PDIはPentahoの中でも最もダウンロードされているツールです。
GUIツールのため気軽に利用できるのですが、本格的な業務となるとステップの組み方、どのステップを選ぶか(同じ処理でもパフォーマンスに差が出るため)、ジョブとトランスフォームの使い分けなどのノウハウが重要で、手さぐりで組んでしまうと後々データや処理が増えた時に壁に当たることがあります。
このあたりを弊社技術担当がご支援させて頂きました。

今回、弊社サポートに対し、ミスミグループ本社グローバルマーケティング戦略室CRM担当課長天野様より以下のコメントを頂きましたので、ご紹介します。

「Infobright導入によりデータ活用の高速化を実現しましたが、運用面の簡素化を目
的にPentahoを試用しています。KSKアナリティクスのサポートは対応が迅速で、実際
のプロジェクトに即した設定のコツを丁寧に教えて下さり大変助かっています。」

ぜひ皆様も弊社サポートを有効にご利用下さい。
★Please do not hesitate to contact our technical support★
KSK Analytics Pentaho support team
#No.001
※この記事はシリーズものです。

ここでは、pentahoのkettleを使用して、HadoopのMapReduceを
作成するメリットと方法を簡単にご紹介します。

【メリット】
・Javaのソースコードを作成する必要が無い
・ワードカウント(WordCount)程度だと5分で作成可能
・pentahoのkettleを使用するので、非常にビジュアル的
・デバッグ、メンテナンスが容易

【方法】
Mapトランスフォーメーションを作成して、Reduceトランスフォーメーションを作成
した後に、MapReduceジョブを作成すると完了です。
イメージは下の画像になります。

mapreduce.jpg

よろしければお試し下さい。

もっと詳しく知りたい方はこちらからお問い合わせ下さい。


★Have a nice Open Source Day★
KSKアナリティクス Pentahoチーム

2014年4月

    1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30