AWS re:Invent とは？

re:Inventとは、Amazon Web Services（以下、AWS）が主催するAWSに関するセッションや展示ブース、試験準備のためのブートキャンプやゲーム化された演習などを通じて、参加者が主体的に学習できるAWS最大のイベントです。

昨年も今年同様でラスベガスとオンラインにて開催されており、85以上の新サービスや新機能が発表されました。昨年の参加人数はオンサイト参加者2万人以上、バーチャル参加者は60万人以上になります。

AWS Step Functionsの概要と新機能について

今回は、12/2(金)9:15～10:15に開催されたAWS Step Functions（以下、Step Functions）の概要と新機能について関する講演をリポートします。

公式サイトによるセッション紹介を日本語訳すると、以下のような内容になります。

“ 並列処理は、大規模な問題を短時間で解決するのに役立つ一般的なコンピューティング手法です。

問題の構成要素を同時に実行することで、全体の所要時間を大幅に短縮することができます。例えば、1,000個のログファイルを1分ずつ処理する場合、順次処理すると16時間以上かかる。これを並列に処理すると、1分しかかかりません。

効果的な並列処理には、スケーラブルな計算能力が必要ですが、並列コンポーネントをオーケストレーションし、一貫した結果を出すための複雑さも加わります。このセッションでは、AWS Step FunctionsとAWS Lambdaを活用して、ワークロードのクラウドスケール並列処理を実現する方法を学びます。“

引用元：AWS re:Invent公式サイト

登壇者

登壇者はこちらの方です。

会社名	登壇者	役職
Amazon Web Services	Brian Zambrano	Sr. Specialist SA, Serverless
Amazon Web Services	Adam Wagner	Principal Serverless Solutions Architect
Amazon Web Services	Justin Callison	Director, AWS Workflow

Step Functionsとは？

Step Functionsについて、AWS公式サイトの説明を引用します。分散型アプリケーションを構築する際に有用なサービスです。

“ AWS Step Functions は、デベロッパーが AWSのサービスを利用して分散型アプリケーションを構築し、プロセスを自動化し、マイクロサービスのオーケストレーション、データと機械学習のパイプラインを構築できるようにするビジュアルワークフローサービスです。 “

引用元： AWS Step Functions（AWS公式サイト）

Step Functionsの特徴

Step Functionsで構築するワークフローはステートマシンと呼ばれる

ワークフローの各ステップをステートと呼ぶ

ステートから次のステートへ移動することをステートトランジションと呼ぶ

コンポーネントを再利用したり、直感的にステートの編集ができる

インテグレーションが最適化されており、簡単にカスタマイズ可能

Step Functionsの新機能：Distributed Map

大規模ワークロードのための比類のない並列性

S3バケット内のオブジェクトをワークフローで反復処理

デモンストレーション

概要

今回のデモンストレーションでは、S3にある大量のテストデータを反復処理により整形し、結果をS3に出力するようです。

テストデータ

1929年から2022年にかけての気象データをテストデータとして使用します。

Step Functions設定

テストデータを指定してDistributed Mapを使用したStep Functionsを作成します。並列稼働する最大子プロセスを3000に指定しています。

実行

Step Functionsを実行します。

終了

膨大なテストデータにも関わらず、処理にかかった時間は「00:02:11.825」となっていました！

筆者が気づいたころにはもうすでに終わっていました。すごすぎる。。。

まとめ

今回はStep Functionsの新機能について紹介させていただきました。

膨大なデータを並列処理により、短時間で処理することができる素晴らしいサービスでした。バッチ処理などの所要時間を大幅に短縮できそうですね。

激動のre:Inventもついに終幕へと向かっております。日本では体験できないような刺激と興奮が続いた一週間でした。

また次回のre:Inventにてお会いしましょう！