2014年1月アーカイブ

2014年のIT投資優先度

|
モルガンスタンレーの調査によると、欧米150社のCIOが2014年に重点投資対象と
するのは クラウド、データ分析、ERP、データウエアハウス、ビジネスインテ
リジェンスとのことです。

http://www.pcworld.com/article/2087940/cios-in-europe-and-the-us-project-healthy-it-budget-increases-for-2014.html

弊社がご提供する製品分野はまさにフィットしています。

逆にIT投資優先度が低いのは、パソコン、モバイルデバイス、コンサルティング
/アウトソーシングとのこと。

皆様の会社やお客様ではいかがでしょうか?
日本ではセキュリティやモバイルはわかりやすいためか話が通りやすく、データ
分析やBIへの投資はなかなかという企業も多いと思います。

しかしながら、業績のよい組織ではデータ分析能力がキーになっているのは間違いあ
りません。

最近のお勧め書籍の1冊に、"シグナル&ノイズ"があります。
SN.jpg
大統領選挙やメジャーリーグでデータ分析を活用した事例が参考になるかもしれ
ません。
 

BI/BA関連プロジェクトを社内稟議で通す方法をご一緒に考えたいという方は、
ぜひこちらからご相談下さい

★Have a nice Analytics Day★
KSK Analytics Pentaho Team

オープンソースBI勉強会#2

|
昨年12月に実施されたコミュニティ活動の第2回が1月21日(火)19:30-21:30に東京駅近くで開催されます。
以下ご確認の上、お時間あればぜひご参加下さい。

http://atnd.org/events/46984
atndPcommu.jpg
Twitterは以下です。
https://twitter.com/search?src=typd&q=%23pentaho_jp

(本件は有志様による開催で、弊社とオフィシャルなビジネス関係はございません)

★Please join Pentaho Community★
KSK Analytics PentahoTeam

オープンデータをPentahoで利用

|
2014年のBI/BA関連キーワードの1つにオープンデータがあります。

オープンデータとは、データは著作権、特許などの制限なしで全ての人が望むように利用・再掲載できるような形で入手できるべきであるという考えです。

公共的なものと親和性が高いこともあり、日本政府は総務省情報通信審議会中間答申(『知識情報社会の実現に向けた情報通信政策の在り方』平成23年7月25日)において、主体、分野・領域に閉じない情報の流通・利活用のためのオープンデータ環境の整備が必要であることを提言、IT戦略本部において平成25年7月4日に「電子行政オープンデータ戦略」が策定されました。
更に産官学共同でオープンデータ流通推進コンソーシアムが立ち上がり、各種データを利用できる基盤を実証実験的に整え、利用者にコンテスト形式で公開しつつあります。
img_opendata.png

テクニカル面で注目されるのはRDFと呼ばれるデータ・フレームワークと、そのデータにアクセスするための言語SPARQLです。

オープンデータとオープンソースは思想的にも相性がよいですネ。
PentahoDataIntegrationのプラグインとしてRDF入力がありましたので、以下よりダウンロード、追加してみました。
rdf1.jpg

国勢調査の人口動態や経済動向などの各種公共データと売上などの社内データをPentahoでブレンディングすることにより、新たな知見が得られると思います。

ビジネス面で活用を考えられる方は、ぜひお問い合わせ下さい。
★Enjoy Open Data with Pentaho★
KSK Analytics Pentaho Team

以前、「フィールド数が可変するCSVファイルの読み込み(Metadata Injection)」というブログを書きましたが、Metadata Injectionステップと合わせて使用すると有意義なステップがあるのでご紹介しておきます。

これです。
metast1.png
右側の「メタデータ構造」ステップ(英語だと、Metadata Structure of Stream)です。
データストリームとして流れてくるデータのメタデータ構造を取得することができます。

設定項目としては以下のとおり、シンプルです。
metast2.png
ステップ名→該当ステップの名前を設定
レコード数を出力する→データストリームのデータ数を出力する場合はチェックを入れる
フィールド名→上記レコード数を保持するフィールド名を設定

結果は以下のようになります。
metast3.png
フィールド名やフィールド位置、タイプ等が取得できます。


どのような時に使用するかですが、最初のイメージにあるようにTableを動的にInputする場合(入力毎にフィールドが変更される場合)で、そのデータを非正規化しなければいけない時が考えられます。
非正規化ステップは、あらかじめどのフィールドを非正規化の対象にするかを設定していなければなりませんが、Tableのフィールドが動的に変わることを想定すると、Table分のETLを定義しなければならなくなります。
その際に、「Metadata Structure of Stream」ステップと「Metadata Injection」ステップを組み合わせる(取得したメタデータ構造をMetadata Injectionで注入する)ことで、一つのETL定義だけで対応することが可能となります。

一度お試しいただければ幸いです。


★Happy PDI Life★
KSK Analytics Pentaho Team

経路検索の老舗である「駅すぱあと」が法人向けではありますが、路線情報や駅情報をAPIで取得できるWEBサービスを提供しております(http://webservice.ekispert.com/free_provision/)。

少し前に「チャットワークからデータを取得する」方法もブログで紹介させていただきましたので、「駅すぱあと」に関してもご紹介させていただきます。
といっても、大体上記のチャットワークのブログと方法は同じです。
ekispa1.png
API仕様に合わせたURLを作成し、そのURLを「RESTクライアント」ステップにて読み込み、返却されるJson形式の結果を「Json入力」ステップにてパースするイメージです。
今回の例では、単純に「データグリッド」ステップでURLを直接設定していますが、実際には「Formula」ステップ等のスクリプト系ステップを使用してURLを組み立てる感じになるのではと思います。
参考までにサンプルを置いておきます。認証用のKeyはダミーのものにしていますので、実際に使用する場合は、ご自身のKeyに置き換えてください。

BIとして活用する場合には、駅情報から取得できる緯度経度情報をGeoMapで使用したり、営業担当向けのレポートなどで過去のお客様先訪問頻度から当日訪問先の選定を実施する様な場合に、さらに経路情報を取得し表示するといったようなものが考えられるのではないかと思います。

私も全ては試していませんが、「駅すぱあとWebサービス」から取得できる情報はまだまだいろいろとあるようなので、こういった情報と社内の情報を組み合わせて活用することで、新たな発見があるかもしれませんね。


それでは、今日のところは以上です!

★Have a nice open source day★
KSK Analytics Pentaho Team

明けましておめでとうございます。
2014年がはじまりましたね。
今年がみなさまにとって良い年になることをお祈りしております。

さて、さっそくですが、2014年最初のブログです。
細かい話なので、年初のネタとしてふさわしいか微妙なところですが、気にせずやってしまおうかと思います。

PDIの実行結果をDIサーバを経由して取得することが可能ですので、ご紹介いたします。
まず、Transformation(名前:webservicedemo.ktr)を以下の用に作成します。
webservicedemo1.png

作成したTransformationの内容ですが、まず「Sample Data」にて、データを生成しています。
webservicedemo2.png

「Json Output」では「Sample Data」で生成したデータをJson形式に変更しています。
さらに「サーブレットに出力」というオプションにチェックを入れることで、サーブレット経由で結果を出力することが可能となります。
また、「ブロック内の行数」を0にすることで、全ての結果をひとつのJsonブロックとして出力することができます。
webservicedemo3.pngwebservicedemo4.png

次に、作成したTransformationを、DIサーバが動作するサーバ上にコピーします。
ここでは、/tmp/webservicedemo.ktrにコピーしています。
webservicedemo5.png

以上で、準備は完了です。
この状態で、DIサーバへアクセスすると、結果をJson形式で取得することができます。
こんな感じです。
webservicedemo6.png
http://servername:port/pentaho-di/kettle/executeTrans/?trans=%2Ftmp%2Fwebservicedemo.ktr
※%2Fは / を意味しています

更に、PDIから取得する場合は、以下のようになります。
webservicedemo7.png
「データグリッド」ステップで、上記のURLを指定し、「RESTクライアント」ステップで実行、「Json入力」ステップで取得したJson形式の結果をパースするという感じです。
詳細の説明は割愛させていただきますが、使用したTransformationを置いておきますので、必要な方はダウンロードして内容をご確認いただければ幸いです。

今回は、とても簡単なTransformationを実行して結果を取得するところまでご紹介しましたが、Transformation内で実行可能な処理は全て実行することが出来ますので、様々なデータソースからデータを取得し、クレンジングやJoin等の処理を実施したデータを取得することや、複数のオープンデータをマッシュアップして新たなデータを提供するなど、活用余地は大きいかと思います。
ぜひご活用ください。


★Have a great New Year!!★
KSK Analytics Pentaho Team

2014年4月

    1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30