2014年8月アーカイブ

Pentahoトレーニング開催

|
今週、好例のPentahoトレーニング(3日間)を開催させて頂きました。

IMG_20140821_171053.jpg

参加者の皆様からは、以下のようなコメントを頂きました。

"Pentahoの使い方、BIの考え方など、いろいろとわかりやすく教えていただき、とても理解が深まりました。"
"実践的な内容が豊富で、使ってみたいと感じるものが多かった。"
"ここまでの範囲を提供していることに驚きと理解する難しさを感じました。"

Pentahoは多くのツールの集合体で、全体像を把握しながら適切なモジュールをうまく利用していくことで最大効果が発揮されます。

正直なところ日本語ではまとまった書籍やネット情報が少なく、独学で習得するのは時間がかかるため、トレーニングの受講を強くお奨めします。

次回開催は9月24-26日、現時点で残席は2となっておりますのでお早目にこちらをご参照の上、問い合わせフォームよりお申込み下さい。

★Join and enjoy our Pentaho Training★
KSK Analytics Pentaho Team






まだまだ暑い日が続きますが、いかがお過ごしでしょうか?

今回はPentahoユーザーコンソールでのレポートスケジュールのご紹介です。

ブラウザからログインし、ファイル検索でフォルダを選択、スケジュール化したいファイルを選択します。
スケジュール0.jpg
次に時間単位や日単位などのスケジュール間隔や終了日を設定します。
スケジュール1.jpg

登録されているスケジュールの一覧が参照でき、停止なども可能です。
スケジュール2.jpg
複雑なクエリで時間がかかる定型処理の場合などに有効かと思います。
よろしければお試し下さい。

★Have a nice summer day★
KSK Analytics Pentaho Team


文字コードの変換にはいろいろな方法があるかと思いますが、PDIでも文字コードの変換を簡易に実施する方法が提供されていますので、今日はそのご紹介をしたいと思います。

使用するのは、「ファイル文字コード変換」ステップです。
実際に使用するときのイメージは以下のとおりです。
encoder1.png

それぞれの設定は以下のとおり。
encoder2.png
① データグリッドで、変換元と変換後のファイル名をフルパスで設定
② ファイル文字コード変更で、ソースファイルに変換元を、ターゲットファイルに変換後を設定

以上の様に、とても簡単にファイルの文字コード変更を行うことができます。

その他にも、便利な機能がデフォルトで準備されています。
ぜひ一度、PDIをお試しいただければ幸いです。

★Have a nice open source day★
KSK Analytics Pentaho Team

PDIには、リモートサーバに対しコマンドを発行し、その結果を取得することができるステップが用意されています。
使い方によっては便利な機能だと思いますので、今日はそのご紹介をしたいと思います。

以下の様なETLを作成してみました。
sshcommand1.png
リモートサーバ(CentOS6)に"ls"コマンドを発行して、結果を取得するというものです。
① 「データグリッド」で"ls"を定義
② 「SSHコマンド実行」でリモートサーバに"ls"を発行し結果を取得
③ 結果が一つのフィールドに入って返却されてくるので、「フィールド分割」で改行コードで分割

それぞれの設定のイメージも載せておきます。
sshcommand2.png

実行すると、以下のように結果が取得できます。
sshcommand3.png

一応、サーバ上で"ls"を実行するとどうなるかも載せておきます。
sshcommand4.png

同じ結果が取得できていますね。

バッチ処理の中で、特定のリモートサーバでしかできない処理がある場合など、処理を依頼して結果を取得するプログラムを書くのは結構面倒なものですが、PDIの「SSHコマンド実行」ステップを使用すれば、ノンプログラミングで処理が作成できます。
ご興味があれば、ぜひ一度お試しください。

★Have a nice open source day★
KSK Analytics Pentaho Team

こんにちは。
今日は、ETLのTransformationが持っている計算ステップのお話です。
計算ステップはデフォルトで様々な計算機能を持っているのですが、時間や日数の処理についても準備されています。

その中の以下の機能をご紹介したいと思います。
・Hour of Day of Date A :指定した日の時間を取得
・Minute of Hour Date A :指定した時間の分を取得
・Second of Minute of Date A :指定した分の秒を取得
・日付Aの年ごとの日数 :指定した年の経過日数を取得
・日付Aの月ごとの日数 :指定した月の経過日数を取得
・日付Aの週ごとの日数 :指定した週の経過日数を取得
・日付Aで指定した年の週ごと :指定した年の経過週数を取得

ご紹介のために、以下の様なTransformationを作成しました。
calc_time1.png

これを実行すると以下のようになります。
calc_time2.png

「sysdate」 → 今回対象となる日付
「時間」 → Hour of Day of Date A :"17:36:46"の"17"を取得
「分」 → Minute of Hour Date A :"17:36:46"の"36"を取得
「秒」 → Second of Minute of Date A :"17:36:46"の"46"を取得
「年毎の日数」 → 日付Aの年ごとの日数 :"2014/08/13"時点でのその年の経過日数を取得
「月毎の日数」 → 日付Aの月ごとの日数 :"2014/08"時点でのその月の経過日数を取得
「週毎の日数」 → 日付Aの週ごとの日数 :"2014/08/13"時点でのその週の経過日数を取得
「年毎の日数」 → 日付Aで指定した年の週ごと :"2014/08/13"時点での年の経過週数を取得

上記以外にも日数の計算なども、機能として持っています。
スクリプトで書くと意外と面倒な時間の計算ですが、ETLを使用すれば簡単に記述することが可能です。
一度お試しください。

★Have a nice open source day★
KSK Analytics Pentaho Team

地図マッピング

|
台風11号の影響で河川氾濫などで各地に被害がありました。被災された方々にお悔み申し上げます。

降水量や放射能汚染状況を表示するなど地図マップ表示は分かり易いため、TVニュースやインターネットでも活用されています。
Pentahoアナライザーにも地図マップの機能が標準装備されており、簡単に使用できますので試してみました。

まずはデータの用意です。霞が関官公庁のe-statというシステムから様々な統計データがダウンロードできます。
今回利用するのはお米の生産量。少し加工しCSVで用意します。
okomecsvdata.png

Pentahoにブラウザでログインし、データソース管理からデータソースウィザードを選択して取込みます。
geomap1.png

そのままキューブの定義体が自動作成され、少しいじります。地理タイプを設定するのがポイント。
geomap2.png

アナライザーレポートでできあがったキューブを選択し、チャートからGeoMapを選ぶだけで地図上に表示することができました。
geomap.png

地図はオープンストリートマップかGoogleマップを選択できます。(GoogleMapの利用は有償のようです)

内部的にはMondrianキューブの定義体(xmlファイル)内でレベルにアノテーション定義を追加することになります。詳細はこちらの記述もご参照下さい。緯度経度をデータで与えれば、店舗の場所にマップすることもできそうです。

人口統計や食物生産量などを時系列に組み合わせて視覚化することで、新たな気づきが生まれるかもしれません。ぜひお試しください。

★Have a nice summer vacation★
KSK Analytics Pentaho Team


近未来は過去を振り返ることで見えてくることがあります。

10年前、UnixはOSシェアとして最速コンピュータランキングの世界トップ10に5つが
入っていました。
最近(2014/06)発表のデータでは、トップ60のすべてがLinuxです。
top500.jpg

Linuxの隆盛(Unixの没落)を示すこの数字から、プロプライエタリなベンダーOSが
オープンソースに太刀打ちしようとしても困難だということがわかります。

しかし、10年前にそう思っていた人は少なかったかもしれません。

オープンソースの潮流はOSからRDBへ,ツールからアプリケーションへと広がりを見せています。

また、ITの世界は変化のスピードが速く激しいですが、不変の大きな流れもあります。

下から上へ: 
 誰もがおもちゃ扱いしていた初期のパソコンがビジネスシーンへ進出
 アカデミックで使われていたワークステーションがサーバーへ
ローカルからグローバルへ:
 日本国内でのみシャアが高いモノはグローバルな製品に
 例:国民機と言われたパソコン、ガラケーと言われた携帯電話

BI/BAの世界をOSSで発展拡大させ将来の主流になるには、このBlogを現時点で見ている
皆さんの力が大きく影響するかもしれません。

★Have a nice open source day★
KSK Analytics Pentaho Team

MongOLAP

|
Pentaho 5.1よりMongoDBをOLAPのデータソースにすることが可能になっています。
biserver-ee/pentaho-solutions/system/samplesのディレクトリにFoodMart.mongo.xmlという
サンプルスキーマが入っています。データはmondrian-data-foodmart-json-0.3.3.zipにjson形式で
入っていますので、MongoDBへインポートしていただきますとそのサンプルスキーマをお試しいただけます。
FoodMart.mongo.xmlのスキーマでは4つのテーブルが指定されていまして、agg_g_ms_pcat_sales_fact_1997、agg_c_10_sales_fact_1997、sales、sales_transactionsという名称になっていますので、MongoDBにfoodmartというdbで4つのコレクションに
agg_g_ms_pcat_sales_fact_1997.json、agg_c_10_sales_fact_1997.json、sales_fact_1997_collapsed.json、sales_transactions.jsonのデータをインポートしていただきますとサンプルスキーマを編集せずにお試しいただけるかと思います。
データソースの追加は5.1では、biserver-ee/pentaho-solutions/systemディレクトリの
olap4j.propertiesファイルに追記する形になります。
予めそちらのファイルにサンプルデータのfoodmart 用に記述があり、
全行コメントアウトされていますので、コメントアウトを外し、
Catalogという項目のFoodMart.mongo.xmlまでのパスを変更し、
BAサーバーを再起動します。
Analysis Reportを新規作成しますと、データソースの一覧に
mongoFoodmart: Sales
mongoFoodmart: Sales Transactions
という2項目が出てくるかと思います。
いろいろお試しください。

2014年10月

      1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31