Hadoopパラメータの設定

この文書では、HadoopのパラメータのうちAsakusa Framework特有のものについて説明します。

設定ファイル

Asakusa Frameworkに関するHadoopのパラメータは、 $ASAKUSA_HOME/core/conf/asakusa-resources.xml [1] に設定します。 このファイルに設定した内容はバッチアプリケーションの実行時にHadoopジョブの設定として使用され、ジョブ実行時の動作に影響を与えます。 また、Hadoopのライブラリを利用している データの直接入出力 - Direct I/O などの設定もこのファイルに記述します。

設定ファイルはHadoopの各設定ファイルのフォーマットと同様です。 以下のように、１つの設定項目に対して <property> 要素を作成し、設定名を <name> 要素に、設定値を <value> 要素にそれぞれ設定します。

asakusa-resources.xml

<configuration>
    <property>
        <name>(設定名1)</name>
        <value>(設定値1)</value>
    </property>
    <property>
        <name>(設定名2)</name>
        <value>(設定値2)</value>
    </property>
    <!-- 以下、繰り返し -->
</configuration>

[1]	このファイルは、 実行時プラグインの設定 と共有しています。

Hint

上記の設定は、 YAESSのHadoopのプロパティ設定 でも一部設定が可能です。

設定項目

Hadoopパラメータで設定可能な項目は、以下のドキュメントを参照してください。

• Direct I/O ユーザーガイド
• MapReduceタスクの最適化設定
• ライブラリキャッシュの設定
• 実行時プラグインのデプロイ