2011年6月アーカイブ

先日UPしました、pentahoデモサイトの「デモ コンビニ2」のコンテンツですが、
もっさり動作が許せないので、mysqlからinfobrightに変えてみました。

infobrightは最新の4.0.3です。
(infobrightのご紹介はこちら

さすがinfobrightって感じの結果です。
おかげでさくさく動作になりました。

実際、どの程度速いのかMondrianのSQLログを見て、
確認した結果は以下の通りです。
(ちなみにMondrianのログ出力方法はこちら

対象の分析レポート(ダッシュボード)は、以下の「エリア別月別商品売上TOP10」にて確認。




この分析レポートを表示する際、
複数のSQL→MDXが発行され、画面が表示されますが、
10件ほど発行されていたSQLの中から一番時間のかかっていたSQLを比べたところ、

■mysql:exec+fetch 4276 msec
■infobright:exec+fetch 46 msec

約93倍!
すばらしい^^

実際比べたSQLは以下です。
----------------------------------------------------
select
    `エリアDIM`.`area_name` as `c0`,
    `エリアDIM`.`area_id` as `c1`,
    `エリアDIM`.`area_name` as `c2`,
    `エリアDIM`.`tenpo_name` as `c3`,
    `エリアDIM`.`tenpo_id` as `c4`,
    `エリアDIM`.`tenpo_name` as `c5`,
    `商品DIM`.`category_name` as `c6`,
    `商品DIM`.`category_id` as `c7`,
    `商品DIM`.`category_name` as `c8`,
    `商品DIM`.`shohin_name` as `c9`,
    `商品DIM`.`shohin_id` as `c10`,
    `商品DIM`.`shohin_name` as `c11`,
    `timeDIM`.`year` as `c12`,
    `timeDIM`.`month` as `c13`
from
    `エリアDIM` as `エリアDIM`,
    `factTBL` as `factTBL`,
    `商品DIM` as `商品DIM`,
    `timeDIM` as `timeDIM`
where
    `factTBL`.`tenpo_id` = `エリアDIM`.`tenpo_id` and
    `factTBL`.`shohin_id` = `商品DIM`.`shohin_id` and
    `factTBL`.`yyyymmdd` = `timeDIM`.`yyyymmdd` and
    (`timeDIM`.`month` = '1' and `timeDIM`.`year` = '2010') and
    (`エリアDIM`.`area_name` = '関東')
group by
    `c0`, `c1`, `c2`, `c3`, `c4`, `c5`, `c6`, `c7`, `c8`, `c9`, `c10`, `c11`, `c12`, `c13`
order by
    `エリアDIM`.`area_id` ASC,
    `エリアDIM`.`tenpo_id` ASC,
    `商品DIM`.`category_id` ASC,
    `商品DIM`.`shohin_id` ASC,
    `timeDIM`.`year` ASC,
    `timeDIM`.`month` ASC
----------------------------------------------------

今回のこのコンビニ2データは
ファクトがおおよそ15万件。
各ディメンジョンがそれぞれ数十件程度です。

これくらいだとmysqlでもチューニング次第でもっと速くなるでしょうが、
infobrightは特になにもせずにこの速さなので、
楽ちんです。
しかもinfobrightはほぼmysqlと思ってよいので、
移行も簡単。
infobrightだからという特有の知識はほぼいりません。


分析レポートは、
mysqlであっても、
一度でもレポートを表示していれば
一度実行したSQLはメモリにキャッシュされ、
表示も早くなりますが、
分析レポートのように、自由にぐりぐり動かすようなものは
一度目から速いのに越したことはないですね。

是非infobrightも検討ください。


★Have a Great Open Source Day★
KSKソリューションズ Pentahoチーム





Pentahoより次期メジャーバージョンとなる4.0のRC(ベータ)版が登場しました。今バージョンのコンセプトは、「Power to the user」。特にエンタープライズ版においてエンドユーザー向けのUIが大幅に強化されています。

本4.0のGA(安定版)は7月~8月頃にリリース予定です。日本のお客様へは、9月~10月頃にお届けできると思います。次回の無料紹介セミナーでは、この新バージョン4.0の紹介やデモンストレーションを行う予定です。毎回満席となっておりますので、ぜひお早目にお申込みください。





★Have a Great Open Source Day★
KSKソリューションズ Pentahoチーム
www.pentaho-partner.jp




セミナー開催

|
昨日、オープンソースBI/BA製品であるPentaho/Infobright/Rapid-Iの無料紹介セミナーを開催させて頂きました。
2011_06_21_13_42seminar.jpg

アンケートの集計結果では"参考になった"という項目が5段階評価で4を越えています。
無料セミナーでDWH/BIの最新製品情報がわかるのは満足度が高いようで、今回はIT業界トップ企業からの参加者様も多くおられました。
又、前の席に陣取り積極的に質問をされるネット系企業様(こちらも誰もが知る会社)のご参加も開催者として嬉しいものです。

次回開催は8月2日となります。毎回募集定員を越えるお申込みをいただいておりますのでまだご参加されていない方はこちらをご参照いただきぜひお申込み下さい。
東京まで足を運びにくいという方は、Ustreamも行っております。

★Join and enjoy our seminar★
KSKソリューションズ Pentahoチーム

ダッシュボード内でリンク

|
先の記事でも記載してます、小売業をベースとしたサンプルについてです。

「デモ コンビニ2」
 →「ダッシュボード」内にある
   「2010年度エリア別商品売上」というダッシュボードについて説明します。



実際触ってもらるとすぐわかりますが、
①左側がOLAPの表で各商品の2010年度の売上数量と金額を表示
②右上が①にて選択された商品がどのエリアでどれくらいの数量売れてるかを表示
③右下が①にて選択された商品で、②で選択されたエリア内のどの件でどれくらい売れてるかを表示

というもの。

このようなダッシュボード内でリンクを貼ることが3.8バージョンから可能になりました。


以下、リンクの作り方です。


ダッシュボード作成(編集)時、

左側のOLAP表を編集状態にし、
商品名をクリックしてリンクしたいので、
「コンテンツリンク」タグ内の"商品"にチェックを入れる。
これで商品名がクリッカブルになります。





次に受け側である右上のパイチャートを作成。
あらかじめ作成しておいたメタデータ定義より、
カラムに売上数量とエリア名、条件に商品名を選択。
ここで、商品名の「値」のところを{shohin_name}などとして
変数として登録しておく。




そうすると、ダッシュボード編集画面で、
右上のパイチャートを編集状態にしたときに、
「パラメータ」タグに上記で設定した変数shohin_nameが現れるので、
ここに左側のOLAP表(ここでは2010年度商品売上の窓)のリンクである「商品」をソースとして選択。




これでOK。

右下の棒グラフも同様のやり方で、
OLAP表からのリンクとパイチャートからのリンクを受けるように設定すれば完成です。

ダッシュボードもどんどん使い勝手が良くなっていきますね!



★Have a nice BI system★
KSKソリューションズ Pentaho Team

弊社のPentahoデモサイトのコンテンツを追加しました。多店舗展開されている小売業をベースとしたサンプルです。店舗別、商品別、時系列での売上分析やダッシュボード、GoogleMap連携等もございます。ぜひ触れてみてください。

デモサイトは、PentahoサイトTopページのバナーよりどうぞ



詳細なデモやプロトタイプの作成のご依頼もお待ちしています。


★Have a Great Open Source Day★
KSKソリューションズ Pentahoチーム
www.pentaho-partner.jp


BIの活用はご承知のように業界業種を問わないですが、私がご要望に応じて日々訪問させて頂いている企業様は各業界のトップ5や新進気鋭成長中という企業が多いです。
jirei.png

弊社では原則プッシュ型営業、マーケティングを実施していませんので、お問い合わせを頂く企業様はやはり先見性や情報収集力があるということだと思います。

裏を返せばプッシュ型営業を行えば適用できる企業は数十倍以上あるように感じます。
実際、先週もSIer様からの営業同行依頼にて複数社で紹介デモを実施させて頂いたところ"こんなのがあるとは知らなかった、何でもっと早く紹介してくれなかったの?"、"今回はいいのをもってきてくれたね。早速予算取りを検討しよう。"というお声を頂きました。
一度デモとご説明をしただけで、強いインパクトを受けて適用可能な部分をイメージされる方とお会いできると、私も本当に嬉しくなります。

BI活用を日本に広げるには皆様のお力が必要です。
このブログを見て頂いている皆様にもぜひPentahoをいろいろな企業にご紹介頂ければと思います。

★Have a nice BI system★
KSKソリューションズ Pentaho Team

ETLツール比較表

|
あるお客様のご要望で"社内作成でないもの"ということで表記を探してみました。
Google検索するだけで出てくるものです。
ETL比較.png

PentahoのETLはGUIが使いやすくコミュニティが活発で評価が最も高いようです。

★Have a nice ETL tool★
KSKソリューションズ Pentahoチーム
弊社に対する顧客様からのご相談事項に、Bigデータ統合は無論の事ながら、
BA案件も急激に増加している事を証左にBIからBAへの昇華は着実に
進んでいると実感している今日この頃です。

今回のブログではBIサーバーの表現力を用いて以下取組を簡単に行いました。

概要:
・弊社ブログ情報を取集し、月単位※で情報発信内容の推移を観察
※ブログ投稿頻度に依存(断続的に投稿している最小単位)

方法:
・弊社が発信した全てのブログ情報をクローリング(html形式で収集)※1
・収集データを品詞単位に分割し、相関ルールマイニングにより頻出語※2の抽出

※1
不要タグ、ノイズはプログラムにて事前に除去
(既知の出現頻度の高い品詞:KSKソリューションズ, Pentaho等)

※2
1.出現語リストに対する各語に対し、支持度の算出
2.信頼度の算出の為に各出現語に対し、 c = P(X|Y)式の適応
3.支持度および、信頼度が閾値を超えたデータを分析対象として保存

参照リソース:
長尾光悦 大内 東.観光地に対する風評被害の変換と対応分析.人工知能学会誌.26(3),2011,264-271.

keyword_appriori_1.JPG

分析レポートで結果確認を行うと、弊社の情報発信内容の推移が
頻出度によって確認する事が出来ます。
(表示画像は上位10位に絞り表示)

また任意の出現語のみに焦点を当て、フィルター機能を使用する事により
特定の出現語による定点から発信内容の推移を考察する事も可能になります。

例:PentahoHadoopベータ検証が終了し、市場へ投下した2010年10月には
Hadoopを題材にしたブログの投稿が増加した等

keyword_hadoop.JPG


本取組の成果物も、順次デモサーバーにアップロードしてまいりますので、
パフォーマンスが改良された3.8.0GAのデモサイトと合わせてご覧ください。

☆Have a nice analysis integration with Pentaho
☆KSKペンタホチーム
トレーニング参加者の方から、コメントを頂きましたのでご紹介致します。

====================================================================
これまではPentahoについて概要レベルでしか理解していませんでしたが、
実際にハンズオン形式でETLやレポート作成ツールを触ってみて、機能の
使い方や構築の手順などを確認することができました。Pentahoの基本的な
機能を一通り体験できるので、導入や提案の検討に役立つと感じています。
NTTデータ 飯塚大輔
====================================================================
2011_06_01_1734.jpg

トップSIerであられるNTTデータ様から優秀な技術者複数名のご参加を頂き、
コメントまで頂けて感謝いたします。

ぜひ皆様もトレーニングにご参加下さい。
KSKソリューションズ Pentahoチーム

Pentahoトレーニング開催

|
5月31日と6月1日の2日間、Pentahoトレーニングを開催いたしました。

Pentahoトレーニングは実習メインでETL設定からキューブ作成、レポート作成までを実践的に習得いただく形式です。
原則PCを持参いただくので参加者一人一人の環境が異なり、トレーニングとしてのハンドリングが難しくなります。この形式は一般的ではないのですが、参加者の皆様の技術スキルが高いためお陰様でうまく運用できております。
成果物をそのまま持ち帰れるというメリットは大きいと思います。
2011_06_01_17_16_58-2.jpg

次回開催予定は8月3日、4日となります。こちらをご参照下さい。
又、より高度なレポートを作成するコースを7月12日、13日で開催予定ですので、
こちらもぜひご参照下さい。
★Have a nice training day★
KSKソリューションズ Pentahoチーム

2014年4月

    1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30