OPS

AWS re:Invent2022 セッションレポート

【AWS re:Invent2022】AmazonFSx HPCとMLの高速化

2022.11.30

本記事のポイント

AWSが主催するクラウドコンピューティング最大のイベント「AWS re:Invent」が、2022年11月28日~12月2日にかけてアメリカのラスベガスにて開催されます。本ブログでは、AWS re:Inventに実際に参加したエンジニアから、イベントの様子やKeynote(基調講演)の現地レポートをいち早くお届けします。

今回は、11/28(月)10:00~11:00に開催されたAmazon FSx, Amazon FSx for Lustreに関する講演をリポートします。



AWS re:Invent とは?

re:Inventとは、Amazon Web Services(以下、AWS)が主催するAWSに関するセッションや展示ブース、試験準備のためのブートキャンプやゲーム化された演習などを通じて、参加者が主体的に学習できるAWS最大のイベントです。

現地レポート(Day1、STG343)

セッション紹介を日本語訳すると、以下のような内容になります。

ファイルサービスは、計算集約型のワークロードには低レイテンシー、データ集約型のアプリケーションには高IOPSのパフォーマンス機能を提供するよう求められることが多くなっています。このセッションでは、パフォーマンスの権利化、レイテンシーの削減、スループットの向上、コストの最適化の方法を選択するためのベストプラクティスを学びます。

マネージドファイルストレージサービスであるAmazon FSxファミリーは、さまざまなユースケースをサポートする機能セットとパフォーマンスプロファイルを提供します。機械学習(ML)、ハイパフォーマンスコンピューティング(HPC)、ビデオレンダリング、金融分析などの多くのワークロードでは、コストの最適化と導入オプションが必要です。

本セッションでは、パフォーマンスに依存するユースケースをAWSに移行するためのヒントやベストプラクティスも紹介します。

登壇者

登壇者はこちらの方々です。

会社名 登壇者 役職
Amazon Web Services Jordan Dolman(ジョーダン・ドルマン) Senior Product Manager
Amazon Web Services Shrinath Kurdekar(シュリナス・クルデカール) Principal Solutions Architect

セッション会場の様子

全会場の中では少し離れた場所に位置する、Mandalay Bay(South Pacific F)でセッションが行われました。メイン会場のThe Venetian Resortからはシャトルバスで20分程度、徒歩だと1時間弱かかります。

また、セッションをreservedしていた方を対象に以下ステッカーをいただきました。

re:Invent2022 ステッカー  

クラウドストレージの重要性

お客様がファイルストレージを広く利用しているというお話からセッションが始まりました。主要なユースケースは全て以下3つに該当するとのことでした。

  • 1. クラウド上のさまざまなアプリケーションでネットワーク接続ストレージを実行する
  • 2. クラウドを活用して事実上無制限のコンピュート・スケールを解放しようとするアプリケーション
  • 3. クラウド・ネイティブ・アプリケーションやワークロードでデータを簡単に共有しようとする
  • 今回は2の使用パターンに焦点を当て、お話頂きました。

    ・ クラウド上で利用可能なコンピュートリソースがあったとしても、ストレージやネットワークがボトルネックになった際、価値を最大限に引き出すことはできない
    ・ クラウド上で高性能なストレージを提供するための2つのサービスを提供している
     ・ Amazon FSx for Lustre
     ・ Amazon File Cache

    ※ Amazon File Cacheについては別日に改めてセッションがあるため、Amazon FSx for Lustreのみお話頂きました

    Amazon FSx for Lustre の特徴


    Amazon FSx for Lustre には、「拡張性高いスループット容量」「データが圧縮された分のスループットが向上する」「高速なファイルインターフェースを通じてAmazon s3データへアクセスできる」という3つの特徴があるようです。

    拡張性高いスループット容量

  • ファイルサーバーとストレージの構成を一連化させる
  • ファイルを書き込んだ際、同時に全てのディスクに対して自動的に分散される
  • 読み込みも同様にすべてのディスクとサーバーのパフォーマンスを活かすことができる
  • 価格パフォーマンス

  • データが圧縮された分のスループットが向上する
  • 圧縮によるレイテンシーへの影響はなし
  • ファイルの圧縮は Luster ファイルシステム内で実施
  • Luster をマウントしている EC2インスタンスで圧縮処理するようなことはない
  • 圧縮オプション利用時の追加コストは発生しない

  • 圧縮を利用してストレージの使用量を最小限に抑え、圧縮と増分バックアップの両方を利用することで、 費用対効果の高いデータバックアップを実現させているようです。

    高速なファイルインターフェースを通じてAmazon s3データへアクセス

  • 1つまたは複数のs3バケットにリンクすることが可能

  • ファイルシステムに書き込みや、新規ファイル作成、削除、編集等全ての変更をシームレスにs3にエクスポートして戻すことが可能です。

    ライブデモ

    Amazon s3 で Amazon FSX for lustre を実行したときに、実際にどのように見えるかのデモをShrinath Kurdekar氏に実践いただきました。

    ※既にインポート用の S3 バケットと、エクスポート用の S3 バケットをリンクした検証用環境が用意されてありました。

    感想

    スライドの他にライブデモによる実際の動きを見せていただき、Amazon FSx for Lustreの理解を深めることができました。 導入を検討されている方で本記事が参考になりましたら、幸いでございます。