OSS編~Jubatusを試してみる②~

Pocket

こんにちは! JQです。

前回は『OSS編~Jubatusを試してみる①~』と題して、オンライン機械学習向けの分散処理フレームワークのJubatusを試してみました。
今回は『OSS編~Jubatusを試してみる②~』と題して、1台のインスタンス上でJubatusの分散処理を試してみたいと思います。

JubatusではZookeeperを利用して分散処理を行うことが出来ます。

Zookeeperとは

分散アプリケーションのためのパフォーマンスの高いコーディネーションサービスです。

Zookeeoer
1.Zookeeperインストール
先ずはZookeeperをインストールします。
Apache Zookeeperのサイトからダウンロードします。

ZookeeperではJavaを利用するため、インストールしておきます。

2.設定ファイルの作成
続いてZookeeperの設定ファイルを作成します。

サンプルファイルからコピーします。

中身は以下のようになります。

3.Zookeeperの起動
Zookeeperを起動します。

4.Jubatusの設定ファイルをZookeeperに設定
続いてJubatusの設定ファイルをZookeeperに設定します。

5.Jubatus Proxyの起動
Jubatus Proxyを起動します。
今回はclassifierのサンプルプログラムを利用するため、jubaclassifier_proxyで起動します。

6.Jubatusサーバの起動
Jubatusサーバのプロセスを複数起動します。
–nameで同じクラスタとして扱います。

確認してみます。

7.プログラムの実行
今回はサンプルプログラムのShogunを利用しています。
クライアントプログラムのportをProxyのポートにnameをクラスタ名に修正して実行します。

いかがでしたでしょうか?
次回は『OSS編~Jubatusを試してみる③~』と題して、Jubatusを複数台のインスタンスで分散処理を試してみたいと思います。
お楽しみに!!!