AWS DEA-C01 対策 Glue vs Step Functions
AWS GlueとStep Functionsのワークフロー管理とデータ処理サービスの違いを理解し、ETL処理とオーケストレーション要件に応じて適切なサービスを選択するための完全ガイド。実践的な問題を通じて使い分けのポイントを解説します。
この記事のポイント
- 1GlueとStep Functionsの基本的な違いを理解する
- 2各オーケストレーションサービスの適用場面と選択基準を把握する
- 3実践的な問題を通じて使い分けのポイントを理解する
目次
AWS Glue vs Step Functions
AWS GlueとStep Functionsは、どちらもワークフロー管理を実現するAWSサービスですが、特化領域と適用場面が大きく異なります。
GlueはETLデータ処理に特化し、Step Functionsは汎用ワークフローオーケストレーションに特化した設計となっています。
2つのオーケストレーションサービスの違い
GlueとStep Functionsは、ワークフロー管理という同じ目的を持ちながら、処理対象、統合サービス、運用モデルにおいて重要な違いがあります。
指定されたサービス/設定が見つかりません: stepfunctions
サーバーレスワークフローは、インフラ管理不要でビジネスロジックに集中できるアーキテクチャです。AWS Step Functionsはサーバーレスで複数のLambda関数やAWSサービスを連携させ、条件分岐、並列処理、エラー処理、再試行を組み込み機能として提供します。AWS Glueワークフローは主にETL処理に特化し、データ変換に最適化されています。
GlueとStep Functionsの選択は、処理内容の性質、統合要件の複雑さ、運用負荷の許容度を総合的に評価して決定する必要があります。
Lambda関数の連携や汎用ワークフローが必要な場合はStep Functionsを選択し、ETLデータ処理やApache Sparkが必要な場合はGlueを選択します。
CSVファイル処理の4ステップをLambda関数で順次実行しエラー時に自動再試行する要件では、サーバーレスワークフロー管理、組み込みエラー処理機能、最小運用オーバーヘッドのためStep Functionsが最適解となります。
XMLデータの処理効率化とストレージコスト削減には、Apache Spark ETL処理、列指向フォーマット変換、自動圧縮機能のためAWS Glueが最適解となります。ORC変換により50-80%のストレージコスト削減を実現できます。
実践問題で確認
前セクションで学んだ内容を、実践的な問題で確認してみましょう。ここでは、GlueとStep Functionsの使い分けに関する理解を深めるための問題を3つのカテゴリに分けて解説します。
各問題では、処理要件と運用制約を正しく分析し、最適解を導出する思考プロセスを体験できます。
AWS認定データエンジニア - アソシエイト
練習問題
AWS認定データエンジニア - アソシエイト
練習問題
AWS認定データエンジニア - アソシエイト
練習問題
まとめ
AWSワークフロー管理サービスの選択では、GlueとStep Functionsの特性の違いを理解した適切な判断が成功の鍵となります。
Lambda関数連携、
Apache Spark ETL、
処理内容
これらの判断基準を理解し、処理内容→統合要件→運用負荷の順で論理的に分析することで、適切なワークフロー管理サービス選択ができます。
理解度チェック
Lambda関数の連携が必要な場合、どちらを選択すべきか？
大量データのフォーマット変換が必要な場合、どちらを選択すべきか？
柔軟なエラー処理と再試行が必要な場合、どちらを選択すべきか？
ETL処理に特化したワークフローが必要な場合、どちらを選択すべきか？