Pentaho Data Integration (ETL)の最近のブログ記事

皆様のBIシステムは現在クラウド対応を視野に入れていますでしょうか？
クラウドは現在のIT業界で最も注目されているキーワードといっても過言
ではないでしょう。

その中でもIaaSとしてのAmazon EC2/S3とSaaSとしてのSalesforce.comは
最も知名度が高く、利用しやすいと思います。

PentahoではData Integration(ETL)で既にこれらに対応しています。

以下の画面例ではAmazon S3からデータを入力し、SalesForceに出力する
インターフェースを表示しています。

Q:通常、Pentahoデータ統合（Kettle）でデータベース接続を作成すると、異なるDBやホストに接続する時には、データ変換やジョブを都度編集しなければなりません。何か方法はありませんか？

A:以下の手順により、変数と接続情報の共有をより簡単に行うことができます。

手順
１．Spoonでハードコーディングされた形式のDB接続を含むデータ変換を開きます。
２．ナビゲーションツリーの「データベース接続」セクションを展開します。
３．編集したい接続情報をダブルクリックします。
４．"server host name"のテキストボックスで、ハードコーディングのものを変数に替えます。
　　(e.g. ${DB_HOSTNAME})
表示
５．保存して、ダイアログを閉じます。
６．編集したデータベース接続を右クリックして、オプションから「共有」を選びます。
表示
７．開いているデータ変換を保存します。（共有接続は保存されるまで有効になりません）
８．エクスプローラ等で.kettleディレクトリーに行きます。
　　Windows XP/2000　->"C:\Documents and Settings\<username>\.kettle"
　　Windows Vista ->　", /home/<username>/.kettle"
　　Linux/Unix　-> "C:\Profiles\<username>\.kettle"
９．接続情報が、.kettle/shared.xmlにあるはずです。
　　本ファイルはコピーして、新しいKettle環境にペーストできます。
１０．テキストエディター等でkettle.propertiesを開いてください。
１１．コメントの下に、手順４で指定した新たな変数を追加してください。
　　　(e.g. DB_HOSTNAME = localhost)
１２．いずれの新たな環境でも、kettle.propertiesを編集し、新たな変数を定義できます。
１３．上記が完了したら、Kettleを再起動してください。

参照元：wiki.pentaho.com

★Have a nice Open Source Day★
KSK ソリューションズ　Pentahoチーム

通常、レポートに表示するデータは
JDBCでデータベースに接続し、SQLで取得するのが一般的ですが、
例えば
欲しいデータを取得するためには一回のSQLでは難しい場合など、
PDI（ETL）を利用する方法もあります。


レポートデザイナーにて

Data Setsのところで
Pentaho Data Integrationを選択

PDIでは、作成したジョブやトランスフォーメーションを
GUIからの操作ではなく、当然コマンドラインから実行できますが、

引数を指定したい場合の簡単な例を以下に記します。
（テーブルから取得したデータをテキストファイルに出力するだけ）



・Get System Info


「command line argument 1」を指定。
フィールド名は任意文字列。

・Table input


「先行のステップから値を引き続ぐ」にチェック。
データを取得するSQL文の
引数の値をセットしたい部分に「？」と記載。

・コマンドラインから実行

今回のはTransformationなのでPanを使用する。
もちろんJobであれば、Kitchenを使って同じようにできます。

>Pan /file (ktrファイル名) (引数の値)

実際発行されるSQLは以下のようになり

SELECT * from
 dim_q1
where id = 1　　　←引数で設定した値
order by id

該当するレコードがテキスト出力されます。


★Have a nice Open Source Day★
KSKソリューションズ　Pentahoチーム

前回の投稿でPDIのステップの一部を紹介しましたが今回も引き続きいくつかのステップを紹介したいと思います。

・Switch/Case
Javaなどのプログラム言語で使用されているswitch/caseオブジェクトの様なステップです。
switch/caseを使用すると、指定した値を持つ行を指定したステップにアウトプットする事が出来ます。

Pentaho Data IntegrationのSpoonでは新たなバージョンがリリースされるたびに小さな不具合の修正だけでなく毎回数多くのステップが追加されていますが、数が多すぎてどのステップがどういった働きをするのかすべてのステップの働きを把握するのは困難です。
そこで今回は便利で利用頻度の高いステップを紹介します。

・Row Normalizer
Row Normalizerステップは行で持っているデータを列のデータに変える事ができます。
例えば以下ようなテーブルにRow Normalizerを使用すると

BI（ビジネスインテリジェンス）のプロジェクトで弊社もよく遭遇する問題は、お客様も明確なアウトプットイメージ（どんなダッシュボードを構築したらいいのか、どんなキューブを作ればいいのかetc）を持っておられないことが多いことです。

業務システムと違い、BIの場合は設計仕様をしっかり決めることは、難しいものです、なぜなら、「どのように分析すれば成果が上がるか」というものは、やってみなければ分からないからです。良くテンプレートを活用するということも話題に上がります。しかし、一般的なテンプレートはプロジェクト初期段階においてイメージを持つためには効果はあるものの、それが自社にとって最適なものとは限りません。

結局、BIだけでなくマネジメント全般に言えることかもしれませんが、計画する→試す→検証する→再度計画する、のプロセスが重要になります。

一方で、一般的に商用BIツールは非常に高い買い物です。ちょっと試すには、慎重を重ねた検討とリスクを受け入れる勇気が必要となります。その点、オープンソースBI「Pentaho」は、低価格と高機能を併せ持つツールです。有償版であってもソフトウェアを購入する必要はなく年間サポート費用ですべて機能が使用できます。（少し営業臭くなり申し訳ありません）

さらに来年Pentahoは、BIでより成果を出すために、これらを進化させます。
来年のPentahoのテーマは、「アジャイルBI　（Agile BI）」です！

１、アジャイルBIとは？
ビジネスインテリジェンス構築のための、迅速かつ軽量、反復的な開発アプローチです。
・ソフトウェアアジャイル開発手法をBIに適応したものです。
・それらのサポートを可能にするBIツールを含みます。

２、なぜPentahoはアジャイルBIを？
・設計などに長期間をかけることなく、セルフサービスでのレポートやOLAP分析を早く提供するため。
・評価→検証を素早く、反復的に行うため。
・情報部門だけでなくビジネス部門などの関係者をよりプロジェクトに巻き込むため。
・よりシンプルに、簡単に、安価にプロジェクトを行うため。
・BIは小さく多様なチームで開発されるべきであるため。（DBA、分析担当者、コンサルタント、開発者、現場ユーザー）
→結果として、より多くのBIプロジェクトを成功に導くため。

３、アジャイルBIを行うために必要なBIツール
・早く簡単にBIモデルを作成できるツール
・少人数のチームで使えるツール
・広範囲なスキルセットに対応できるツール
・コストパフォーマンスの高いツール

現在、プロダクト単位でのコラボレーションや計画が進んでいます。
また詳細の機能についてはご紹介させていただきます。

例：以下のリンクにデモ動画があります。
ETLとOLAPアナライザーレポートのコラボレーション


★Have a nice Open Source Day★
KSKソリューションズ　Pentahoチーム

PentahoでのDWH（データウェアハウス）構築の際に、「Pentahoデータ統合（ETL）の処理能力はどうか？」といったご質問をよくいただきます。本ホワイトペーパーでは、その質問に100％答えることはできないものの、ある程度の目安となる情報を教えてくれます。

●タイトル：「クラウドやオンプレミス（自社運用型）での 大量データ処理のスケーリング」

●出典：
本ホワイトーペーパーは、Pentahoのパートナーであるバイロン社のニコラス・グッドマン氏のホワイトペーパーを日本語訳したものです。
http://www.nicholasgoodman.com/bt/blog/2009/04/21/pdi-scale-out-whitepaper/

●ダウンロード
日本語版はこちらよりダウンロードいただけます。

●概要：
このホワイトペーパーでは、以下の主要な問いに答えています。
問1: クラスターにノードを追加するとき、PDI（Pentahoデータ統合）は比例して変化するか?
問2: より大量のデータを処理するとき、PDIは比例して変化するか?
問3: クラウドでのETLに関する主要な価格とパフオーマンス指標は何か?
問4: アマゾンEC2にPDIをデプロイした人は何を知っておく必要があるのか？

問1では、以下のように、Pentahoデータ統合（ETL）のノードを増やすことで処理能力が比例的に向上していくことが示されています。


問2に対しては、以下のように、データベース（データウェアハウス）のデータ量が増えるにしたがい、リニアにスケールすることが示されています。

問3については、Pentahoデータ統合（ETL）における平均のスループットを定義しています。

問4については、Amazon EC2（クラウド）でのデータ統合処理を行う上での、EBS（Elastic Block Storage）やIPアドレスについてのアドバイスや注意点が記載されています。

本ドキュメントのダウンロードは、Penthao日本語サイトのドキュメントから可能です。ぜひご一読ください。

Have a great Open Source Day with Pentaho
★KSKソリューションズ　Pentahoチーム★