過去のリリースノート¶
Asakusa on Sparkの過去バージョンのリリースノートです。
すべての変更点一覧は Changelogs も参照してください。
Release 0.3.2¶
Dec 05, 2016
Asakusa on Spark 0.3.2 documentation
- Spark バージョン 1.6.3 に対応しました。
- その他、Spark DSLコンパイラや実行ライブラリなどのバグフィックスが含まれます。
変更点の詳細は Changelogs を参照してください。
互換性に関して¶
- Asakusa on Spark バージョン 0.3.2 は、 Asakusa Framework バージョン 0.8.2 以降が必要です。
Release 0.3.1¶
Jul 25, 2016
Asakusa on Spark 0.3.1 documentation
互換性に関して¶
- Asakusa on Spark バージョン 0.3.1 は、 Asakusa Framework バージョン 0.8.1 以降が必要です。
Release 0.3.0¶
Apr 08, 2016
Asakusa on Spark 0.3.0 documentation
新機能と主な変更点¶
正式機能として公開¶
2015年からDeveloper Previewとして公開していた Asakusa on Spark を、バージョン 0.3.0 より正式機能として公開しました。
Asakusa on Spark Iterative Extentions¶
Asakusa on Spark の拡張機能「Iterative Extensions」を試験的機能として公開しました。
Iterative Extensionsは、あるバッチに対してバッチ引数の一部または全部を変えながら同じバッチを連続して実行するための機能です。
Iterative Extensionsを適用したバッチを「反復バッチ」と呼びます。 反復バッチは通常のバッチを連続して実行する場合と比べて、次の点で高速に実行できる可能性があります。
- 連続処理によるリソースの効率的な利用
連続するバッチアプリケーションを1つのSparkアプリケーションとして実行するため、特にYARN上での実行においては、アプリケーションコンテナの初期化などの分散オーバーヘッドが極小化される、コンテナリソースをシンプルな設定で最大限に利用できる、などの利点があります。
- 差分処理による最適化
反復バッチでは連続するバッチ間で再計算が不要な箇所は実行結果を再利用することがあるため、特に実行するバッチアプリケーション間での変更箇所が少ない場合には、バッチ間の差分処理による利点が大きくなります。
反復バッチは、日付範囲を指定した日次バッチの一括実行や、パラメータ・スイープによるシミュレーションといった用途に適しています。
Iterative Extensionsは、反復バッチを定義するためのAsakusa DSLの拡張構文、反復バッチを生成するするためのAsakusa DSLコンパイラの拡張、および反復バッチを実行するためのインターフェースや実行モジュールなどを提供します。
Asakusa on Spark Iterative Extensions の詳細は、以下のドキュメントを参照してください。
互換性に関して¶
- Asakusa on Spark バージョン 0.3.0 は、 Asakusa Framework バージョン 0.8.0 以降が必要です。
- Asakusa on Spark バージョン 0.3.0 は、 Spark バージョン 1.6.0 以降が必要です。
Note
対応プラットフォームの変更については、 Asakusa on Spark ユーザガイド - 対応プラットフォーム を参照してください。
Release 0.2.2¶
Feb 01, 2016
互換性に関して¶
- Asakusa on Spark バージョン 0.2.2 は、 Asakusa Framework バージョン 0.7.6 以降が必要です。
Note
対応プラットフォームの変更については、 Asakusa on Spark ユーザガイド - 対応プラットフォーム を参照してください。
Release 0.2.1¶
Nov 19, 2015
互換性に関して¶
- Asakusa on Spark バージョン 0.2.1 は、 Asakusa Framework バージョン 0.7.5 以降が必要です。
Note
対応プラットフォームの変更については、 Asakusa on Spark ユーザガイド - 対応プラットフォーム を参照してください。
Release 0.2.0¶
Sep 15, 2015
Release 0.1.2¶
Sep 10, 2015
バージョン 0.1.1 はリリースプロセスの問題により一部の機能が正しくリリース出来ていませんでした。
このバージョンはそのリリース上の問題のみを修正したリリースです。
Release 0.1.1¶
Aug 25, 2015
新機能と主な変更点¶
演算子の出力にファイルバッファを利用する設定を追加¶
実行時のパラメータに com.asakusafw.spark.fragment.bufferSize を追加しました。
このプロパティを設定した場合、演算子の処理中に出力に追加したデータモデルオブジェクトの個数がこのプロパティに設定した値を超えた時点で、出力の内容をファイル上のバッファに退避します。
ある演算子の出力サイズが大きくメモリ不足エラーが発生するような場合に、このプロパティを設定することで問題を回避できる可能性があります。
詳しくは、 Asakusa on Sparkの最適化設定 を参照してください。
その他の変更点¶
- Direct I/O 入力フィルターが使用できない問題を修正
- レポートAPIの実装を変更できない制限の解消
- その他、多くの内部的な改善
互換性に関して¶
- Asakusa on Spark バージョン 0.1.1 は、 Asakusa Framework バージョン 0.7.4 以降が必要です。