2015年10月アーカイブ

先日の記事でSQL待機をご紹介させていただきました。

【PDI】「SQL待機」ジョブエントリのご紹介

このジョブエントリは、設定した条件が満たされるまで待機する、という働きをします。
条件の指定方法として、レコード件数が指定できるのですが、
それですと、レコード件数分のネットワークトラフィックが発生してしまい、
大規模なテーブルでの利用は現実的ではありませんでした。

今回は、Tipsとしてcount(*)を条件として利用する方法をご紹介します。

SQL待機.png
まず「照会条件を入力する」をチェックします。
「SQLステートメント」には、
    select count(*) as cnt
    from order_summary
    having count(*)>1000000
というような形式で、having句を使ったクエリを記述します。

このクエリがポイントです。テーブルに指定以上の件数が存在すれば、
このクエリは1行結果が返ってきます。
反対に、件数が条件に満たない場合は、結果は0件になります。

という訳で「値」欄に1と入力することで、SQL待機の条件として利用することができるようになります。

もし条件の指定方法でお悩みの方がいらっしゃいましたら、
ぜひお試しください。


【連載】PDI 誌上ハンズオン - 2

|
PentahoのETL(PDI)でデータ変換を作成するハンズオンの
2回目は、ファイルの入出力を行う方法をご紹介します。

本ハンズオンは、Pentaho 5.2で動作確認を行っております。

使用するテキストファイルは、事前にこちらからダウンロードをお願いします。
country.txt

スライド43.PNG

Pentaho World 2015 参加レポート

|
pworld2015.JPG
2015年10月14日-16日とPentaho World2015に参加してきましたので、以下報告します。数年前のPartner Conferenceの規模と比べると、会場・参加者・講演者などとても豪華になり、企業として成長し、経営陣も変化していること、市場の盛り上がりなどを肌で感じました。


以下、2015年10月14,15日に作成したFAQまとめです。










サンプルなどポータルサイトからダウンロード頂けない場合は、
こちらよりお問い合わせ下さい。


よろしければぜひお試し下さい。

★Have a nice open source day★
KSK Analytics Pentaho Team

【連載】PDI 誌上ハンズオン - 1

|
PentahoのETL(PDI)でデータ変換を作成するハンズオンを、
連載企画として掲載いたします。

PDIを始めてみようと考えている方は、ご参考にしていただけたら幸いです。

Pentaho社からPentaho 6.0が発表されておりますが、日本語版のご提供は少し先になります。
本ハンズオンは、Pentaho 5.2で動作確認を行っております。

スライド28.PNG
第1回のハンズオンでは、まずはPDIの開発環境であるSpoonに慣れていただくために、
簡単なPDI版Hello, world!を作成します。
昨日、Pentahoのバージョン6が出たということで、バージョン6のSpoonをちょっと眺めていたのですが、一つ新機能っぽいものが追加されていた(念のため5.4のPDIも確認したところ5.4の時点ですでに追加されてました。6関係無かったです。すみません。)ので、ご紹介しておきます。

いままで、本ブログでもPentahoのRestAPIでユーザを追加したりとか、いろいろとご紹介してきたかと思いますが、そのなかで使っていたのは「Restクライアント」ステップでした。
こんなのですね。
rest1.png


PDIには「SQL待機」ジョブエントリが用意されています。
今日は、このジョブエントリをご紹介します。
(英語名は" Wait for SQL")

WS000195.PNG

◇単純にレコードが1件以上存在する場合はTrueとする場合

下記のように、テーブル名を指定し、
条件式:大きい
値:0
と指定すると、レコードが1件以上存在する場合、チェックを通過し、後続のジョブエントリが実行されます。
逆に、レコードが1件も無い場合は、「監視間隔」の秒数だけ待機し、チェックを繰り返します。
WS000196.PNG


◇複雑な条件を指定する場合

「照会条件を入力する」にチェックを付けると、任意のSQLを記述して、条件を指定できるようになります。
この場合も条件式と値を指定して、条件を設定します。

システム間連携ですとか、別システムの先行タスクの終了を待って実行する処理などに、ご活用ください。

以下、2015年10月9日に作成したFAQまとめです。


サンプルなどポータルサイトからダウンロード頂けない場合は、

こちらよりお問い合わせ下さい。


よろしければぜひお試し下さい。

★Have a nice open source day★
KSK Analytics Pentaho Team
以下、2015年10月8日に作成したFAQまとめです。



サンプルなどポータルサイトからダウンロード頂けない場合は、

こちらよりお問い合わせ下さい。


よろしければぜひお試し下さい。

★Have a nice open source day★
KSK Analytics Pentaho Team
Pentahoバージョン5.4現在、アナライザーレポートで
日本語の項目を含むディメンションがあると、ブラウザによっては
ラベルの行と数値の行がズレて表示されてしまうことがあります。

Screen Shot 2015-10-08 at 2.22.30 PM.png

原因は、上画像の左側の列pivotTableRowLabelSectionには日本語のフォントが適用され、
右側の列pivotTableDataSectionは元のフォントのままで、
それぞれの行の高さがそれらのフォントの高さに合わされるため、
だと思います。

その問題の回避策としましては、CSSファイルに

.pivotTableContent td {
  height: 23px; /* ブラウザによっては25pxぐらい */
}

と追記し、予め日本語になってもズレない程度の高さを指定しておいたり、

.pivotTableContent td {
  font-family: meiryo;
}

のようにして予め両セクションに日本語のフォントを指定しておいたりすることが
考えられます。

編集するCSSファイルですが、
biserver-ee/pentaho-solutions/system/analyzer/styles/report.cssファイル
にpivotTableクラスのスタイルが定義されていますので、
その辺りに追記するのがいいのではないでしょうか。

変更後は、BAサーバを停止し、
biserver-ee/tomcat/tempディレクトリと
biserver-ee/tomcat/workディレクトリを削除し、
BAサーバを起動、
ウェブブラウザのキャッシュをクリアするとズレが解消されているかと思います。

Screen Shot 2015-10-08 at 2.40.06 PM.png

以下、2015年10月7日に作成したFAQまとめです。








【PAZ】 アナライザーレポート表示時のフィールドリストの表示順について


【PUC】 ログイン画面の評価用ログインボタンについて













サンプルなどポータルサイトからダウンロード頂けない場合は、
こちらよりお問い合わせ下さい。


よろしければぜひお試し下さい。

★Have a nice open source day★
KSK Analytics Pentaho Team

以下、2015年10月5,6日に作成したFAQまとめです。




サンプルなどポータルサイトからダウンロード頂けない場合は、

こちらよりお問い合わせ下さい。


よろしければぜひお試し下さい。

★Have a nice open source day★
KSK Analytics Pentaho Team

Postgresのパラメータ設定について

|
Pentahoがリポジトリとして利用しているPostgresのデータベースは、Pentahoインストール後のパラメータ設定が、デフォルトのままになっています。

このパラメータを、サーバの環境に合わせて変更してあげることで、Pentaho上のレポート操作がスムーズになります。

4GBのメモリを搭載しているサーバを想定して、メモリのパラメータ変更案を書いてみます。

設定ファイルは、下記のパスにあります。
[Pentahoフォルダ]/postgresql/data/postgresql.conf
パラメータ変更後は、Postgresを再起動してください。

パラメータの説明は、
からの引用となっております。

shared_buffers
「データベースサーバが使用する共有メモリバッファのために使用するメモリ量を設定します。」

デフォルト:32MB
→ 256MB

temp_buffers
「それぞれのデータベースセッションが使用する一時バッファの最大数を設定します。」

デフォルト:8MB
→ 64MB

work_mem
「一時ディスクファイルに書き込む前に、内部並べ替えとハッシュテーブル操作が使用するメモリ容量を指定します。」

デフォルト:1MB
→ 8MB

effective_cache_size
単一の問い合わせで利用できるディスクキャッシュの実効容量に関するプランナの条件を設定します。

デフォルト:128MB
→ 1GB

よろしければお試しください。

2015年12月

    1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31