2013年10月アーカイブ

今回は、Amazon S3上のCSVファイルをPDIで直接読み込む方法のご紹介です。
使用するステップは「S3 CSV Input」ステップです(Transformation内にあります)。
S3.png


設定手順ですが、まず、AWSのアクセス証明書を確認し、アクセスキーとシークレットキーを取得します。
AWS1.png


次に「S3 CSV Input」ステップを開き、以下の様な設定画面を表示します。
S3_set.png


ここで、アクセスキー/シークレットキーを入力、「Select bucket」ボタンを押下すると、キーに応じたバケットが表示されますので、選択します。
取得したいファイルも「参照」ボタンより選択し、最後にCSVの仕様に沿ったフィールド名とフィールドタイプを入力(もしくは「フィールドを取得」ボタンより取得)して完了です。

この状態で、「プレビュー」を実行すると、以下のようにS3上のCSVファイルの情報をPDIから直接取得することが可能となります。
S3_prev.png


また、S3上のファイルをコピー操作することも可能です。
こちらは、また後日、ご紹介できればと考えております。

今日のところは以上です!


★Have a nice Open Source Day★
KSKアナリティクス Pentahoチーム

PDIでPython(Jython)

|
少し社内で話題に上がったので、今日はPDI上でPython(というか実際にはJython)を扱うための方法をご紹介いたします。
PDI上でどうしてもPythonを書きたいんだ!というときに、以下の3ステップで使用可能になりますのでお試しください。

①jython.jarのダウンロード
この辺りから、最新版のjython.jarをダウンロードしてください。
今回は、バージョン2.5.3を使用します。

②lib配下にコピー
PDIのバージョンによって違いますが、以下のどちらかにjarをコピーしてください。
(バージョン5よりも前) [PDI-Install-Dir]/data-integration/libext/配下
(バージョン5の場合)   [PDI-Install-Dir]/data-integration/lib/配下

③Spoonを起動しPythonスクリプトを書く(ステップ名を*.python or *.jython にすること)
以下の様な感じです。
python_sample.png

ここでは、gen_seedでキーとなる数値を入力し、それをPython内でIF文によって"OK"か"NG"のラベルを付ける処理を書いてみました。
python_sample_set.png

結果としては、以下のようになります。
python_sample_res.png

※注意点※
スクリプトを記述する際に使用するステップは「スクリプト」ステップです。
「Javaスクリプト」ステップでは無いので、注意してください。
javascript_script.png


簡単ですが、以上です!

★Have a nice Open Source Day★
KSKアナリティクス Pentahoチーム

SFTPでファイル転送

|
PDIにおいて、別のサーバからファイルを転送する手段はいくつか提供されておりますが、SFTP(SSH File Transfer Protocol)でファイルを転送する方法も提供されておりますので、今日はそのご紹介をしたいと思います。

これです。
sftp_1.png
「SFTPファイル取得」ステップでサーバからファイルを取得することが可能です。
逆に、ファイルをサーバに送る場合は「SFTPファイル追加」ステップで可能です。


ここでは「SFTPファイル取得」ステップの最低限の設定方法について載せておきます。
設定するタブは、全般タブとファイルタブです。

こちらが、全般タブの内容です。
sftp_set1.png

こちらが、ファイルタブの内容です。
sftp_set2.png

最低限設定が必要な項目は以下のとおりです。
全般タブでは:
* ホスト名
* ポート番号
* ユーザ名
* パスワード

ファイルタブでは:
* リモートディレクトリ
* 検索文字列(対象ファイルを検索する文字列)
* ローカルディレクトリ

サーバ側に「/tmp/cp_test.txt」ファイルが存在するときに、上記イメージにある設定でPDIを実行すると、サーバから該当のファイルを取得することが可能です(C:\tmp\sftp_sample にコピーされます)。


なお、バージョン5よりも前のPDIで提供されていた、「SSH2 GET」ステップ、「SSH2 PUT」ステップ」は、バージョン5からは、推奨しないステップに格下げされました。
バージョン5以降でご利用なさる場合は、お気をつけください。


★Have a nice Open Source Day★
KSKアナリティクス Pentahoチーム

Pentahoが持つETLツール(PDI)がAmazon Redshiftと接続可能であることは、いろいろなところでご紹介させていただいていたり、また各所で事例も出ているかと思います。

ただ、本ブログにおいては接続手順をご紹介していなかったと思いましたので、イメージを交えて載せておきたいと思います。
それではさっそく。


Redshiftのコンソールです。Redshiftを起動すると以下のようにStatusがavailableとなっています。
redshift-console1.png

上のイメージにあるとおり、Clusterの「demo」をクリックすると、接続情報が表示されます。
以下の様なイメージです(一部マスクしています)。
redshift-console2.png

PDI(Spoon)のDatabaseConnection作成画面にて、Redshiftの接続情報を設定します。
pdi_setting1.png

テストボタンを押下して、以下のとおり接続できていればOKです。
pdi_setting2.png

コネクションさえ作成できれば、あとは、通常の「Tableインプット」ステップにてSQLを実行しデータを取得することが可能です。
pdi_setting3.png


RedshiftはPostgreSQLベースということもあり、JDBCドライバはPostgreSQLと同じものを使用します。
ドライバが見つからないとのエラーが出た場合は、PostgreSQL用のJDBCドライバを追加してお試しください。

Redshiftさえ準備出来ていれば、PDI側は特別な設定も必要ありませんので、とても簡単にご使用いただくことが可能です。
必要に応じ、お試しください。
もし、不明点等ございましたら、こちらからお問い合わせください


★Have a nice Open Source Day★
KSKアナリティクス Pentahoチーム

今週、東京御徒町にてPentaho5.0体験ハンズオンを3日間にわたり開催いたしました。

はじめてPentahoを操作する方から既に活用されている方まで、多くの方々に注目の新バージョンに触れて頂くことができました。
20131010Pentaho50handson.jpg

ご参加の皆様、
オンラインでは書きにくい情報交換もさせて頂くことができ、ありがとうございました。
(写真は皆様に事前ご承認頂き、モザイクや修正なしにて掲載しております)

お申込み開始後あっという間に満席となり、お断りした方々には大変申し訳ございませんでした。

11月12-14日にPentaho5.0トレーニングを実施致しますので、よろしければこちらをご参照の上お申し込み下さい。
★Join and enjoy our seminar and training★
KSK Analytics Pentaho Team

Pentaho Partner Awardを受賞しました

|
Pentaho社が10月4日付でパートナーアワードを発表しました。

EMEA(ヨーロッパ、中東及びアフリカ)、APAC(アジア太平洋),LATM(ラテンアメリカ)より各1社が受賞し、APACは弊社KSK Analyticsが選ばれました。
pentahopartneraward2.jpg

これもBlogを見て頂いている方をはじめとする皆様のおかげです。引き続き世界各国に負けないよう日本でのPentaho活用を広げていければと思います。

皆様もぜひPentaho Forumに登録し、世界中で最も活発なBI/BAの活動にご参加下さい。
★Join and enjoy global BI activity with us★
KSK Analytics Pentaho Team


BigData分析活用事例

|
住宅/不動産情報サイトで有名なリクルート様のSUUMO(スーモ)。アマゾンのクラウドサービス(AWS)とPentahoを活用している事例を発表されています。
recr.jpg

まずは蓄積からというスタンスの方も多い中、"活用出口を規定してから臨む"という指摘がポイントかと思います。
Pentahoでプロトタイプ作成すれば初期フェーズで曖昧になりがちな出口部分の見える化を提示でき、プロジェクトの成功率アップにつながるでしょう。

★Have a good BigData Analysis with Pentaho★
KSK Analytics Pentaho Team

Pentaho Mobileを体験

|
10月に入り、雨も降りますが先週のように気持ちよい秋晴れの日も期待できますね。

本日はPentahoMobileを簡単に体験する方法をご紹介致します。

まず、PCのブラウザChromeが持っている他OS,ブラウザエミュレーション機能を設定します。
以下のようにディベロッパーツールを起動し、
chrome1.jpg

右下のギアアイコン(Setting)をクリックします。
chrome2.jpg

左サイドにあるOverridesをクリック、UserAgentというチェックボックスをマークすると、IE10やFirefoxなどが一覧表示されますので、iPad iOS5を選択して下さい。
chrome3.jpg

これでブラウザがiPadのSafariとして認識されるようになります。
PentahoのBI/BAサーバーにアクセスすると、サーバーが自動判断してタッチスクリーン対応のPentaho Mobile UIになります。以下は弊社デモサイトの4.8です。demo/demoでログインできます。
chrome6.jpg

Pentaho5.0ではデフォルトのカラー、デザインがすっきりしました。
chrome4.jpg


ブラウザのエミュレーションをご紹介しましたが、iPad等から直接アクセスももちろんOKです。
よろしければお試し下さい。

★Enjoy Pentaho Mobile★
KSK Analytics Pentaho Team

2014年4月

    1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30