2011年1月アーカイブ

mysql5.0とInfoBright3.4.1に同様のレコード数をINSERTし、
同様のキューブを作成。
アナライザーレポートにてレスポンスを比較してみました。

実際は発行されるSQLの実行速度を比較してます。
基本的にボトルネックはDBのレスポンスですので、SQLを比較。
画面表示まではMDXも実行されますが、こちらは一瞬なのでSQLのみ対象としてます。
MondrianのSQLログの設定はこちら

比較した操作方法や、データ内容の詳細および結果レポートを弊社デモ用サーバにて見れるようにしてますので
こちらをご覧ください。
http://www.pentaho-japan.com/pentaho/Login

user:demo
pass:demo

にてログインしていただき、
「mysql-IB比較結果分析」を参照ください。

結果や考察は以下に記載してますが、
このデモ用サーバにある「結果」を軸を変えたりフィルタリングしたりして
参照してみてください。


【結果】  (単位:秒)
20110131kekka.jpg


【考察】
・mysqlよりInfoBrightのほうが10倍~20倍ほど高速。
・mysql・InfoBrightに限らず、ディメンジョンテーブルのあるスタースキーマ型のほうが高速。
・mysqlのINDEX有(エリアIDに付与)とINDEX無について比較したが、INDEXがあるほうが高速とはかぎらなかった。むしろ遅い場合も。
(当然、単純な合計(操作1・2)は速いが。)
・mysqlのディメンジョン有・365万件で、最大1分ほどかかるため、遅すぎる。
 (1分超えると利用者は待っていられないし次やることを忘れそうなので現実的ではない)

【結論】
・数千万件以上の大量データの場合はやはりInfoBrightがおすすめ。
・ディメンジョンテーブルを利用し、スキーマワークベンチにてキューブの設定を行う方が高速。
・ハードのスペックにもよるが、mysqlであれば100万件レベルが限界かも。

【その他】
・操作7はSQLを発行しないので瞬時に表示されるため「-」表示。
・PUCの「新規データソース」から「データソースウィザード」にてデータソースを作成する方法は
 簡単ではあるが、あくまで簡易的な位置づけとし、多くとも100万件程度のものを使用することをお勧めします。

理由は以下
datawiz.jpg

上記のようなSQLで、あるテーブルから取得した値を分析する場合、
Mondrianから発行されるSQLは
---------------------------------------------------------------------
select `FACT`.`category_name` as `c0`
from (select * from testTable) as `FACT`
---------------------------------------------------------------------
という感じで、
どのSQLでもfrom句が毎回
(select * from testTable)
となり、全件取得してくるためかなり遅いです。

なので、
データソースウィザードから作成する場合は、
対象のテーブルの件数が多くても、
ある程度絞った上で分析用のキューブを作成するってのがよいかと思われます。
(例えば、売上ファクトテーブルは10年分で1000万件以上とかでも、
 一年分にwhere句で絞って100万件程度を対象にするなど)


★Have a nice Open Source Day★
KSKソリューションズ Pentahoチーム

本日もかなり冷え込みます。今週来週とインフルエンザのピークを迎えるようですのでお気をつけください。
Pentaho News 1月号です。

(1)Pentaho 無料セミナー
1/12の無料セミナーも当日までに満員御礼となり大盛況でした。1/12では、データマイニング、およびWekaについてご紹介させていただきました。次回は、3/1(火)13:30~で開催致します。3/1もデータマイニングについてと、クラウド環境でのBIについてご紹介する予定です。お早めのお申込みをお願い致します。お申込みはこちらからお願い致します。

(2)Pentaho オープントレーニング
2/15(火)、16(水)で開催したしますPentaho トレーニングは満席となりました。予定より多くのお申込みがございましたので、以前までのセミナールームから広いセミナールームに変更しました。次回は、3/31(木)、4/1(金)で開催致します。詳しくはこちらをご覧ください。お早めのお申込みをお願い致します。

(3)デモ環境変更
いままで社内にあったデモ環境を社外のサーバーに移行致しました。サーバースペック、および通信回線が向上し、今までより軽快に動作するようになっております。是非、こちらをご覧ください。

(4)Weka-3.6 日本語化(バージョン 3.6.3)
Weka 3.6.3 の日本語化が完了しております。現在、弊社からPentaho BI Suite Enterprise Edition をご契約いただきました方にご提供しております。弊社で開発致しました日本語化ファイルについては、管理者に提供しており、今後、Weka のサイトから配布される予定です。

(5)Pentaho 体験版のライセンスについて
Pentaho 体験版について、1点注意事項がございます。体験版のWindows版では、インストールすると1カ月のライセンスが自動作成されますが、以前Pentahoをインストールした場合、もしくは、体験版をインストール後、アンインストールしてすぐに体験版を再インストールした場合でも、ライセンスは自動生成されませんのでご注意ください。


★Have a Great Open Source Day★
-KSK Solutions Pentahoチーム -
Pentaho Global partner summitは普段メールやSkypeなどでコミュニケーションしている相手と直接顔を合わせて話ができるのが最大のメリットです。

また、弊社の使命として日本をアピールすることがあります。この点で、CEOに直接個別プレゼンを実施できたのは大きな成果となりました。

画像はプレゼン後に撮らせて頂いた1枚です。
(右からKSKソリューションズCEO森本、Pentaho社CEOリチャードダレイ氏、筆者)
pentahosummit3.jpg

現在、Pentahoのインストール数で日本は欧州主要国のみならず、インドやブラジルにも遅れをとっています。

世界の中で日本の存在感をアップするため、ぜひ皆様にもご協力をお願い致します。

★Have a nice Pentaho days★
KSKソリューションズ Pentahoチーム

Pentaho Global Summit - 二日目

|
2日間に渡り米San Franciscoで行われたPentaho Global Summit 2011が終わりました。ビジネス・技術両面で収穫が多く、有意義なカンファレンスになりました。

【ビジネス面】
既存のBIベンダーの売上が伸び悩む中、Pentahoは2010年に前年比120%Upの成長を実現しました。特に2010年後半からの勢いがすさまじく、マネタイズのフェーズに入りつつあることを印象づけました。2011年もさらに成長カーブを加速させる勢いがあり、CEOのキーノートセッションでもイケイケ感が出ていました。KSKソリューションズは、これまでの日本での貢献が評価され、めでたくアワードを受賞することができました。2011年はさらにPentaho×KSKの協業を加速していきます。

【テクノロジー面】
早朝から夕方まで、技術紹介、事例紹介、ハンズオン、プレゼンテーションの仕方など、さまざまなセッションがありましたが、まずは発表された主なロードマップを紹介します。

2011年3月 
Pentahoデータ統合(ETL)にクレンジング機能が追加
アナライザーとダッシュボード連携の改善
複数パラメーターの対応

2011年4月-6月 
Pentahoデータ統合4.2リリース
 Hadoop - ストリーミングデータソース対応、Hbase対応
 アジャイルBI - スター/スノーフレークスキーマ対応、モデリングUIの改善
 予測分析機能の追加(Wekaデータマイニング) 

2011年7月-9月 
Pentaho BI Suite 4.0 メジャーバージョンアップ
 マルチテナント対応
 バージョン管理機能、DIサーバーとBIサーバーレポジトリの統合
 マネジメントサービス機能の改善
 アナライザー - プラグインキャッシュ、コンテンツリンク対応
 データマイニング for Hadoop

相変わらず、アグレッシブなロードマップです。2011年が楽しみです。

Pentaho社は、サンフランシスコとフロリダにオフィスがあります。土地柄なのかオープンソース会社のためなのか、みんなオープンかつフレンドリーです。コード談義に花を咲かせる技術者とセールスやマーケティングを担当するシニアなメンバーが良い割合でミックスされていてチームとして良く機能しています。またパートナーやOSSメンバーの国際色も豊かです。今回話したメンバーは覚えているだけでも、米国、ドイツ、フランス、デンマーク、ポルトガル、インド、中国、香港、カナダ、オーストラリア、南アフリカ、インドネシア・・・ぜひ近いうちに日本にも呼んで、皆さんと会える場を設けたいと思います。

★Have a Great Open Source Day★
-KSK Solutions Pentahoチーム -

1月19日から始まったPentahoグローバルサミットですが、
弊社がPentaho社からパートナーアワードを受賞するなど、
一日目から非常に充実した時間を過ごせています。

DSC01089.JPG


また、日頃は日本と世界各国と直接顔を合わす事が難しい
各プロジェクの責任者とも直接コミュニケーションを行える機会に恵まれる事で、
KSKとしても、ペンタホ社との太いコネクションを築く非常に良い機会となっており、
早朝から丸一日に渡り充実したセッションへの参加と合わせて非常に有意義な
サミット一日目でした。

DSC01100.JPG

左:PDI開発責任者 マット・キャスター氏 (実は将棋3段の腕前とのこと)
右:PRD開発責任者 トーマス・モーグナー氏 (実は開発前に一日教会に籠り集中力を高めるとのこと)
カリフォルニアの空は高く、青いです。
現在、弊社の3名が19日、20日にサンフランシスコで開催されているPentaho社のカンファレンスに参加し、最新情報の収集と日本のアピールをしています。

Pentaho社の成長は著しいものがあり、世界のトレンドをつかんでいることがよくわかります。
summit.jpg
日本はIT市場規模が大きいので、Pentahoの普及もこれから広がるでしょう。
多くの企業同様、日本での売上が世界全体の10%を超えるのが目標です。

皆様も世界の中で日本の存在感を拡大するため、ぜひご協力下さい。
★Have a nice OSS BI★
KSK Solutions Pentahoチーム

サブレポートは他のレポートの一部として定義、実行されるレポートで、一枚のレポート内で複数のクエリーを実行したい場合などに使用します。
レポートデザイナーではサブレポートオブジェクトをレポートにドラッグ&ドロップするだけでサブレポートの定義が可能ですがreport-header, report-footer, group-header, group-footer, itemband, またはnodata-bandに定義する必要があります。

subreport01.jpgのサムネール画像

サブレポートオブジェクトをレポートに配置すると以下の様なポップアップが表示されます。

subreport02.jpg

Inlineを選択すれば好きな場所に好きな大きさで作成する事が出来るので他のオブジェクトとサブレポートを並べて配置するという事が出来ます。Bandedを選択するとサブレポートオブジェクトはメインレポートの幅と同じ大きさで作成されるのでそういった事は出来ませんがInlineに比べるとメモリーなどにかかる負荷が少ないのでメインレポートと同じ幅のサブレポートを作成する場合はBandedを使用する方がパフォーマンスの面で有効です。

メインレポートに配置したサブレポートオブジェクトをダブルクリックするとタブでサブレポート定義画面が表示されます。

subreport03.jpg

サブレポートの作成方法はメインレポートと同じでメインレポートで作成したクエリー、パラメータなどを使用する事が出来ます。

サブレポートの作成が終わるとpreviewボタンからメインレポートをプレビューする事ができ、その中で作成したサブレポートを確認することが出来ます。
一枚のレポートに定義できるサブレポートの数に上限はなく、サブレポート内にサブレポートを定義する事も出来るので複数のサブレポートを使用するとPentahoレポートデザイナーでコンテンツの豊富なレポートを作成する事が出来ます。

★Have a nice Open Source Day★
KSKソリューションズ Pentahoチーム
Pentaho 3.7.0GA からHadoop に対するインテグレーションを行っていますが、
ペンタホデータ統合以外は、従来バージョンまでの使用方法と同じになる為、
利用可能機能を列挙するのみで詳細説明を割愛しますが、PDIのみ新規実装機能が増えている
為に利用方法も交えて、ご紹介いたします。


hadoop_dadanode2.JPG

■実装機能
1.BIサーバー 
・Hiveをデータソースとして利用した、定型レポート表示
・Hiveをデータソースとして利用した、アドホックレポート表示

2.ペンタホメタデータエディッター
・Hiveをデータソースとして使用し、BIサーバーにてアドホックレポートを表示する為のビジネスモデルを定義

3. ペンタホレポートデザイナー
・HIveをデータソースとして使用しBIサーバー上にて表示する為の定型レポートテンプレートを定義

4. ペンタホデータ統合(PDI)
・Hadoopファイル入力
・Hadoopファイル出力
・Hiveデータ入力
・Hadoopファイルコピー
・Hadoopジョブ実行(Hadoop MapReduce実行)

今回は、上記4のペンタホデータ統合(PDI)が対象となります。
昨日、好評をいただいております無料紹介セミナーの2011年初回を無事開催させて頂きました。
今回も定員を越える大盛況で、急遽椅子を追加しての対応となりました。

またゲストスピーカーとしてデータマイニングのスペシャリスト、ef-prime代表鈴木様にお願いし
"ビジネスアナリティクスの実際"もご紹介させて頂き、前回同様終了後も追加個別質問でお待ち頂く程の盛況となりました。

オープンソース系BIがビジネスニーズに適合しトレンドになっていることを強く感じます。

ご参加頂いた皆様、ありがとうございました。

次回は3月1日(火)13:30開催予定で、お申込みはこちらをご参照下さい。
(毎回満席となっておりますので、お早めのお申込みをお勧めいたします)

また個別にて同等のご説明にお伺いすることも可能ですので、お問い合わせください。
20110112photo.jpg

★We hope you enjoy our seminar★
KSKソリューションズ Pentahoチーム



本日は寒いですね。大阪でも雪が見られそうです。

今日は、最新版のPentaho EE 3.7.0 GA のサポートしているBI サーバーの互換性について整理しておきたいと思います。以下に記載があるもののみサポートしております。是非、参考にしていただければと思います。

(1)32bit OS
Windows XP、Windows Vista、Windows 7、Windows 2008 Server、SUSE Linux、Red Hat Enterprise Linux、Ubuntu Linux、Solaris 10

(2)64bit OS
Windows 7、Windows 2008 Server、Mac OS X、SUSE Linux、Red Hat Enterprise Linux、Ubuntu Linux

(3)アプリケーションサーバー
JBoss 5.1.x、Tomcat6.0.x

(4)リポジトリ
MySQL 5.x、Oracle 10g 11g、Postgres 8.1.x

(5)データソース
Apache Derby、AS400、Borland InterBase、Cache、DB2 9、dBase Ⅲ Ⅳ 5、EnterpriseDB、Excel、ExtenDB、Firebird SQL、Generic(他JDBC)、Gupta SQLBase、HSQLDB(Hypersonic)、Infomix、Ingres、LucidDB、MaxDB、MS Access、MySQL 5.x、Netezza、Oracle 9i 10g、Oracle Analysis、OLAP、Pentaho Metadata、PlumTree、Postgres 8.1.x、SAP R/3、SQL Server 2005、sqliteQ、Sybase、Teradata、Text File、UniVerse Database、XML、XML/A

(6)セキュリティ
LDAP、MSAD、RDBMS

(7)Java VM
Sun v 1.6(6.0)

(8)ブラウザ
Internet Explorer 7 8、Firefox 3.0 3.5 3.6、Safari 4.x


★Have a nice open source day★
KSKソリューションズ Pentahoチーム
世界で最もBIプロフェッショナルが多く集まる場所として、
Pentahoのオンラインコミュニティがあり、この中に言語別フォーラムがあります。
http://forums.pentaho.com/forumdisplay.php?66-International

ここでのスレッド数は現時点で以下です。
スペイン600以上
フランス180
イタリア60
ポルトガル46
ロシア 16
ドイツ 13
日本  12
残念ながら日本は活発とは言えません。
pentahoJPforum.png

そこで、"Pentaho社及びコミュニティに対して日本の存在感を拡大"というのを2011年の目標の
1つにしたいと思います。
まずロシアとドイツを抜き、2011年中にイタリアの上になることを目指します。

このブログを参照されている有志の皆様には、コミュニティに登録頂けないでしょうか?
ハンドルネームで結構ですし、質問や意見として新たなスレを立てていただければ更に大歓迎です。

再来週にはPentahoグローバルパートナーサミットがサンフランシスコで開催されます。

日本のプレステージをぜひ向上させたいと思いますので、よろしくお願い致します。
★Have a nice open source day★
KSKソリューションズ Pentahoチーム

新春トピックとして、2011年のBIトレンドを占ってみたいと思います。

1)人を中心にしたアプローチ
 人の要求は突発的に発生し、変化を続けます。また、"つながり"や"共有"が大切です。
 ユーザーのITリテラシは第一次BIブームと呼べる15年前と比較すると世代交代で
 向上し、BlogやTwitterで情報発信量が飛躍的に増えています。
 もはやBIツールは機能差で語るものではなく、変化するニーズに柔軟に対応できる
 システムとしての費用対効果が問われ、ソーシャルBIと呼ばれる緩やかなつながり
 を持つ"人が中心"となるアプローチが重要となるでしょう。

2)アナリティクス

 定型レポート、非定型レポート、多次元分析の次が予測分析になるのは必然です。
 TCOやROI、敷居の高さからSASやSPSSといった製品の導入や拡大が見送ら
 れていたケースでも、低価格化と生き残り競争の激化により採用に踏み切る企業
 が増えるかもしれません。

3)オープン化、自由化への動きが加速
 Windows/IEのみをサポートする製品でも社内ユースなら対応できるかもしれません。
 しかし、多くの企業は社外への情報発信力を高めており、社外向けと社内向けを同一
 基盤にすればシステム効率が上がります。
 BIもスマートフォンやタブレットなどを含む多様な環境に対応するよりオープン指向の
 強いシステムへと発展していくでしょう。


本年も皆様のビジネスのお役に立てるよう尽力いたしますので、
よろしくお願い致します。

★Happy New year★
KSKソリューションズ Pentahoチーム
shinnen.jpgのサムネール画像





2014年4月

    1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30