外部システムとの連携 - ThunderGate

ThunderGateは「オンラインシステムのRDBMSとHadoopの連携」を念頭に置いたデータ転送ツールで、 主に以下のような特徴があります。

  • バッチ処理中のデータに対する排他制御をサポート
  • ジョブフロー内でのロングランニングトランザクションをサポート
  • 変更差分のみをインポートするキャッシュ機能をサポート
  • MySQL向けに最適化を実施
  • テーブルメタデータからのデータモデル自動生成

ただし、ThunderGateでサポートしているプラットフォームや構成に制約があります。

  • 現在はMySQLのみ対応
  • データベースサーバー上での実行が必要
  • ThunderGate用の管理テーブルや管理カラムが必要

RDBMSと連携する汎用的なツールは、 外部システムとの連携 - WindGate も参照してください。