【AWS re:Invent2022】AmazonFSx HPCとMLの高速化
2022.11.30
AWSが主催するクラウドコンピューティング最大のイベント「AWS re:Invent」が、2022年11月28日~12月2日にかけてアメリカのラスベガスにて開催されます。本ブログでは、AWS re:Inventに実際に参加したエンジニアから、イベントの様子やKeynote(基調講演)の現地レポートをいち早くお届けします。
今回は、11/28(月)10:00~11:00に開催されたAmazon FSx, Amazon FSx for Lustreに関する講演をリポートします。
AWS re:Invent とは?
re:Inventとは、Amazon Web Services(以下、AWS)が主催するAWSに関するセッションや展示ブース、試験準備のためのブートキャンプやゲーム化された演習などを通じて、参加者が主体的に学習できるAWS最大のイベントです。
現地レポート(Day1、STG343)
セッション紹介を日本語訳すると、以下のような内容になります。
“ファイルサービスは、計算集約型のワークロードには低レイテンシー、データ集約型のアプリケーションには高IOPSのパフォーマンス機能を提供するよう求められることが多くなっています。このセッションでは、パフォーマンスの権利化、レイテンシーの削減、スループットの向上、コストの最適化の方法を選択するためのベストプラクティスを学びます。
マネージドファイルストレージサービスであるAmazon FSxファミリーは、さまざまなユースケースをサポートする機能セットとパフォーマンスプロファイルを提供します。機械学習(ML)、ハイパフォーマンスコンピューティング(HPC)、ビデオレンダリング、金融分析などの多くのワークロードでは、コストの最適化と導入オプションが必要です。
本セッションでは、パフォーマンスに依存するユースケースをAWSに移行するためのヒントやベストプラクティスも紹介します。“
登壇者
登壇者はこちらの方々です。
会社名 | 登壇者 | 役職 |
---|---|---|
Amazon Web Services | Jordan Dolman(ジョーダン・ドルマン) | Senior Product Manager |
Amazon Web Services | Shrinath Kurdekar(シュリナス・クルデカール) | Principal Solutions Architect |
セッション会場の様子
全会場の中では少し離れた場所に位置する、Mandalay Bay(South Pacific F)でセッションが行われました。メイン会場のThe Venetian Resortからはシャトルバスで20分程度、徒歩だと1時間弱かかります。
また、セッションをreservedしていた方を対象に以下ステッカーをいただきました。
クラウドストレージの重要性
お客様がファイルストレージを広く利用しているというお話からセッションが始まりました。主要なユースケースは全て以下3つに該当するとのことでした。
今回は2の使用パターンに焦点を当て、お話頂きました。
・ クラウド上で利用可能なコンピュートリソースがあったとしても、ストレージやネットワークがボトルネックになった際、価値を最大限に引き出すことはできない
・ クラウド上で高性能なストレージを提供するための2つのサービスを提供している
・ Amazon FSx for Lustre
・ Amazon File Cache
※ Amazon File Cacheについては別日に改めてセッションがあるため、Amazon FSx for Lustreのみお話頂きました
Amazon FSx for Lustre の特徴
Amazon FSx for Lustre には、「拡張性高いスループット容量」「データが圧縮された分のスループットが向上する」「高速なファイルインターフェースを通じてAmazon s3データへアクセスできる」という3つの特徴があるようです。
拡張性高いスループット容量
価格パフォーマンス
圧縮を利用してストレージの使用量を最小限に抑え、圧縮と増分バックアップの両方を利用することで、
費用対効果の高いデータバックアップを実現させているようです。
高速なファイルインターフェースを通じてAmazon s3データへアクセス
ファイルシステムに書き込みや、新規ファイル作成、削除、編集等全ての変更をシームレスにs3にエクスポートして戻すことが可能です。
ライブデモ
Amazon s3 で Amazon FSX for lustre を実行したときに、実際にどのように見えるかのデモをShrinath Kurdekar氏に実践いただきました。
※既にインポート用の S3 バケットと、エクスポート用の S3 バケットをリンクした検証用環境が用意されてありました。
感想
スライドの他にライブデモによる実際の動きを見せていただき、Amazon FSx for Lustreの理解を深めることができました。 導入を検討されている方で本記事が参考になりましたら、幸いでございます。