Apache Incubator Giraphのインストール

Hadoop上でグラフ解析を行うためのミドルウェアであるGiraphを、CentOS5.5にインストールします。

Maven のインストール

下記のページの表[Binary tar.gz]の[Mirrors]のMavenの最新バージョンのリンクを進み、ダウンロードのリンクをコピーする。

http://maven.apache.org/download.html

wgetで下記のようにリンク先を指定してダウンロードする。

wget http://ftp.kddilabs.jp/infosystems/apache//maven/binaries/apache-maven-3.0.3-bin.tar.gz

次に、解凍して配置する。

# tar xvzf apache-maven-3.0.3-bin.tar.gz

# mv apache-maven-3.0.3 /usr/share

# ln -s /usr/share/apache-maven-3.0.3 /usr/share/maven

/etc/profile を編集して、以下の内容を追加する。

export M2_HOME=/usr/share/maven
export M2=$M2_HOME/bin
export PATH=$M2:$PATH

Subversionのインストールとgiraphのダウンロード

# yum install subversion

mapredユーザの状態で

$ svn checkout https://svn.apache.org/repos/asf/incubator/giraph/trunk

$ cd trunk

$ mvn compile

~/trunk/targetフォルダ内にgiraphのjarファイルが作成される。

giraphのテスト

$ hadoop jar target/giraph-0.70-jar-with-dependencies.jar org.apache.giraph.benchmark.PageRankBenchmark -e 1 -s 3 -v -V 500 -w 5

自作giraphプログラムのコンパイルとRun

自作のjavaソースコードを、giraphのexamplesパッケージ内クラスとして記述

package org.apache.giraph.examples;

ソースコードを、

~/trunk/src/main/java/org/apache/giraph/examples 以下に配置。

~/trunkにて、

$ mvn compile

としてビルド。

実行は下記のようにする。

$ hadoop jar target/giraph-0.70-jar-with-dependencies.jar org.apache.giraph.examples.[クラス名] オプション

ちなみに、Windows+Eclipseでhadoop+giraphなコードを編集する際には、

giraph-0.70-jar-with-dependencies.jar
hadoop-0.20.2-cdh3u2-core.jar

を、手元のEclipseの参照ライブラリに突っ込んでおくと楽です。