re:Cap 1st Night は見逃した後でおさらいしたのですが、re:Cap 2nd Night は参加することができました。
ということで、re:Capイベント2日目の内容をおさらいしていきたいと思います。
資料は未公開ということで紹介されていた内容を書いていきます。
AWS Black Belt Online Seminar の re:Invent 速報で資料が公開されるため、そちらを参照するように案内がありました。(既に公開されているので載せておきます)
- Announce on 29th + Latest major updates
- 「Monday Night Live」
- 「Adam Selipsky Keynote」
- Amazon OpenSearch Serverless(Tokyo)
- Amazon Aurora Zero-ETL integration with Amazon Redshift
- Amazon Redshift Apache Spark support
- Amazon DataZone
- Amazon Quicksight Q 2 updates(Tokyo)
- Amazon Security Lake(Tokyo)
- Amazon EC2 Inf2
- Amazon EC2 Hpc6id
- AWS SimSpace Weaver
- Amazon Connect 2 updates
- AWS Supply Chain
- AWS Clean Rooms
- Amazon Omics
- Amazon EC2 M6in, M6idn
- Amazon QuickSight 3 Updates
- Amazon Inspector AWS Lambda Support(Tokyo)
- AWS Compute Optimizer External metric support(Tokyo)
- Elastic Load Balancing Updates
- 2日目の情報集めてみた
Announce on 29th + Latest major updates
「Monday Night Live」
AWS Utility Computing担当SVP Peter DeSantis氏
AWS Nitro v5
倍のトランジスタ数で、2倍の計算能力
パフォーマンス改善
Amazon EC2 C7gn
Graviton3Eと第5世代Nitroを搭載した新しいネットワーク最適化インスタンス
- ネットワーク仮想アプライアンス、データ分析、密結合なクラスタコンピューティングネットワークの要求が厳しいワークロード向けに設計
- 第5世代のNitroを採用しており、最大200Gbpsのネットワーク帯域と、50%高いパケット処理性能を発揮。最大64vCPU、128GiBメモリ利用可能
- プレビュー開始
Announcing Amazon EC2 C7gn instances (Preview)
AWS Graviton 3E
Graviton3の派生型でHPC向けの処理性能を強化
- AWS GravitonプロセッサはAWSによって設計されたARMベースのプロセッサ
- Graviton3EプロセッサはGraviton3の派生型で、HPC(高性能計算)で一般的に必要となる浮動小数点演算とベクトル演算のパフォーマンスに最適化
- 線形代数処理のベンチマークであるHPLで35%の、分子動力学シミュレーションのGROMACSで12%、金融オプションの価格決定ワークロードで30%の性能向上
Amazon EC2 HPC7g
Graviton3Eベースで最新のコンピュートインテンシブなHPC向けインスタンス
- Graviton3Eプロセッサを搭載し、最大35%高いベクトル演算処理性能を発揮する
- 密結合でコンピューティングインセンティブなHPC用途や、分散コンピューティングの用途で最も高いコストパフォーマンスを発揮
- 同じVPC内のインスタンス間のトラフィックに最適化され独立した200GbpsのEFAネットワーク
Amazon EBS io2 SRD
SRD(データセンター内の謎プロトコル)
多機能なプロトコルであることが分かった。
(4年前)プレースメントグループ→フルメッシュで通信遅延が起きる。
TCPは遅延することがある→SRDで解決、EFA(Elastic Fabric Adaptor)はSRDを使うためのドライバー。
Amazon EBS io2 volume を TCP→SRD。
AWSが開発したネットワークプロトコルSRDをEBSに適用しパフォーマンスを向上
- 2023年の早い段階で、Amazon EBS io2ボリュームがSRDベースで稼働するようになることを発表
ENA Express(Tokyo, Osaka)
SRDを採用したネットワークインタフェースで安定性と高いスループットを提供
- SRDのテクノロジを一般的なワークロードで活用することを可能に。TCPと比較してトラフィックのレイテンシーをP99で最大50%、P99.9で最大85%改善する
- ENA(Elastic Network Adapter)はAmazon EC2で利用されるネットワークインタフェースで、ネットワーク処理をNitro Controllerにオフロードする仕組みを持っている
- ひとつの異ストリームで最大5Gbpsから25Gbpsのスループットを提供可能
- 一般利用開始。ENA Expressを有効にすることで、同じAZに存在するc6gnインスタンス同士のTCP/UDP通信でパフォーマンス改善を有効にできる
C6gn.16xl インスタンスから
Introducing Elastic Network Adapter (ENA) Express for Amazon EC2 instances
Amazon EC2 Trn1n
AWS Trainiumを搭載したネットワーク最適化インスタンス
AWS Lambda SnapStart(Tokyo)
Correto(Java11)限定。
Lambdaの言語の中でJavaが一番遅かったのでそれが早くなった。通常Javaはサーバー上では起動し続けているが、Lambdaの場合initが遅かった。
追加費用なしでLambdaファンクションのコールドスタートレイテンシを劇的に削減
- Lambdaファンクションのコールドスタート時のレイテンシを大幅に短縮。Correto(Java11)ランタイムを利用するファンクションがサポートされ、最大90%の待ち時間を削減することができる
- Firecrackerのスナップショット機能といくつかの機能改善によって実現。実行環境の初期化が終わった時点のスナップショットを利用し、初期化の時間を削減する
「Adam Selipsky Keynote」
AWS CEOのAdam Selipsky氏
Sustainability by 2025
AWSが2025年までに再生可能エネルギーのみの使用を目指している
Water Positive by 2030
AWSが業務で利用する水を2030年までに再生利用で循環して供給できるようにする
Amazon OpenSearch Serverless(Tokyo)
クラスタを構成、管理、拡張することなく、ペタバイト規模の検索および分析ワークロードを実行
コンピュートリソースとストレージの切り離し
インデックス作成(インジェスト)コンポーネントと検索(クエリ)コンポーネントを分離
Amazon Simple Storage Service(Amazon S3)をインデックスの主要データ・ストレージとして使用。検索機能とインデックス機能を互いに独立させ、個別のスケールを実現
Announcing Amazon OpenSearch Serverless (Preview)
Amazon Aurora Zero-ETL integration with Amazon Redshift
Auroraのペタバイト級のトランザクションデータに対して、Amazon Redshiftを用いたほぼリアルタイムの分析や機械学習(ML)を実現
データが書き込まれてから数秒以内にAmazon Redshiftでデータが利用可能に
複数のAuroraデータベースクラスタからデータを分析し、多くのアプリケーションまたはパーティションにわたる全体的なインサイトを得ることが可能に
Amazon Aurora MySQL 3 with MySQL 8.0 compatibilityからサポート(Limited Preview)
AWS announces Amazon Aurora zero-ETL integration with Amazon Redshift
Amazon Redshift Apache Spark support
Redshift上でApache Aparkアプリケーションのシームレスな構築、実行が可能に
Amazon EMR、AWS Glue、Amazon SageMakerなどのサービスを使用している場合アプリケーションのパフォーマンスやデータのトランザクション一貫性を損なうことなく、Redshiftへの読み取りおよびデータへの書き込みを行うApache Sparkアプリケーションを構築可能に
Announcing Amazon Redshift integration for Apache Spark with Amazon EMR
Amazon DataZone
大規模なデータの共有、検索、発見を実現するマネージドサービス
データ分析ポータルを通じて、プロジェクトでコラボレーションを行い、ガバナンスとコンプライアンスポリシーを維持しながら、すべてのデータをパーソナライズして表示
※日本語未対応(UTF-8未対応)
Amazon Quicksight Q 2 updates(Tokyo)
- "forecast"と入力することで最大3つの指標の予測を生成
- "why"と入力することで貢献度分析を行い、主要なドライバーを自動的に特定
専門知識不要で複雑な洞察を得ることが可能に
※ただしQは英語のみ対応
Amazon Security Lake(Tokyo)
クラウド、オンプレミス、およびカスタムのソースからのセキュリティデータを、お客様のアカウントに保存された専用のデータレイクに自動的に集中化
アカウントとリージョンにまたがるすべてのセキュリティデータを自動的に収集し、管理セキュリティデータの制御と所有権を維持しながら、任意の連携ツールと連携が可能
オープンソースのOpen Cybersecurity Schema Framework(OCSF)を採用
→さまざまなベンダーのセキュリティー製品がシームレスに連携できるよう、共通のオープンなスキーマを策定する取り組み
Introducing Amazon Security Lake (Preview)
Amazon EC2 Inf2
AWS announces Amazon EC2 Inf2 instances (Preview)
Amazon EC2 Hpc6id
Amazon EC2 Hpc6id Instances – Compute – Amazon Web Services
AWS SimSpace Weaver
大規模な空間シミュレーションをクラウド上で展開するための新しいマネージド・サービス
数百万のオブジェクトがリアルタイムに相互作用するシームレスな仮想世界を作成
空間シミュレーションを複数サーバで実施させることで、サーバごとに小さな個別空間に分割して処理
データレプリケーションやオブジェクト転送を管理
独自のシミュレーションエンジンや、UnityやUnreal Engine 5などの一般的なサードパーティツールを使用
Simulation Infrastructure Management – AWS SimSpace Weaver – Amazon Web Services
Amazon Connect 2 updates
- step-by-step guides in agent workspace
- forecasting, capacity planning and scheduling
- 顧客からのコンタクト(電話、メール、チャット)を予測し、最適なエージェントの配置を実現
あらかじめ設定された管理者が定義したルールないで残業や休暇を取りたいときに柔軟に選択
Connectがリアルタイムでスケジュールを更新
AWS Supply Chain
- 推奨事項や3P連携
- 実行可能なinsights
- ML-poweredデータ連携
- Supply chain data lake
AWS Supply Chain をリリース (プレビュー)
AWS Clean Rooms
データクリーンルーム:
- プライバシー保護の観点から広告の配信結果や計測内容に様々な制限が発生
- 個人を特定することなくデータ保護法に遵守したセキュアなデータ操作環境
Secure Collaboration – AWS Clean Rooms – Amazon Web Services
Amazon Omics
ゲノム等のおミックスデータを保存、紹介、分析し、そのデータから洞察を得て、健康の改善と科学的発見の前進に役立てるための、新しい専用サービス
大規模な解析と共同研究をサポートするよう設計されており、集団全体のゲノムデータを保存し、他のAWSサービスと一緒に解析を行うことが可能
バイオインフォマティクスワークフローのプロビジョニングとスケーリングを自動化し、解析パイプラインをプロダクションスケールで実行
Genomic Data Analysis – Amazon Omics – Amazon Web Services
Amazon EC2 M6in, M6idn
M5インスタンスより最大15%優れた価格パフォーマンス
従来より33%多い1インスタンスあたり最大128vCPUをサポートし、2倍のネットワーク帯域を提供
[d]はローカルブロックストレージを搭載。全世代より34%のストレージコスト削減
EBS帯域は最大80Gbps, 350,000IOPS
SAP認定取得済
Amazon QuickSight 3 Updates
- Expanded API capability(Tokyo)
- Pagenated Report
- Q Automated data preparation
Amazon QuickSight Q now supports automated data preparation
Amazon Inspector AWS Lambda Support(Tokyo)
Serverlessコンピュートワークロードの継続的な自動脆弱性評価が可能に
Lambda関数のコードで使用されるアプリケーションパッケージの依存関係におけるソフトウェアの脆弱性を特定
特定された課題は、AWS Security HubおよびAmazon EventBridgeにプッシュ通知
Amazon EC2、Amazon ECRに続いて3つ目の環境に対応
AWS が AWS Lambda 関数向け Amazon Inspector のサポートを発表
AWS Compute Optimizer External metric support(Tokyo)
Datadog、Dynatrace、Instana、New RelicでAWS環境監視を行うお客様向けにEC2メモリの【外部】利用指標を特定することでよりよい削減の提案を実現
従来のCPU、ディスク、ネットワーク、IO、スループットに加えて、メモリ容量をサイズ調整する推奨値に使用可能に
External metrics ingestion - AWS Compute Optimizer
Elastic Load Balancing Updates
- Application Load Balancer ターゲットグループ単位のクロスゾーン負荷分散切り離し(AZ切り離し)(Tokyo, Osaka)
- リスナー:ALBは常にオン
- ターゲットグループ:Lambda用では使用不可
- NLB Health Check改善(Tokyo, Osaka)
- 以下が指定可能に
- ヘルスチェック間隔の定義
- ターゲットの健全性を判断するHTTPレスポンスコードの指定
- ターゲットが健全または不健全となるまでの連続したヘルスチェックのレスポンス回数
- 以下が指定可能に
- ALB/NLB Minimum Healthy ターゲット(Tokyo, Osaka)
- AZ内の健全なターゲットの最小数、もしくは割合のしきい値を指定
- Zonal shift for ALB and NLB(Tokyo)
Application Load Balancer でターゲットグループごとにクロスゾーン負荷分散をオフに設定することが可能に
Health checks for your target groups - Elastic Load Balancing
Rapidly recover from application failures in a single AZ | Networking & Content Delivery
2日目の情報集めてみた
re:Invent 2022の2日目のアップデートに関する公式ドキュメント等を集めてみました。また、re:Cap 2nd Night で 元AWSジャパン シニアエバンジェリストの亀田さんが解説していた内容を一部書いてみました。
データ分析基盤系のサービス発表が多い印象でした。
また、一つのまとまった大規模な処理をAWSのマネージドサービスで提供する発表もあり、様々な分野でマネージドサービスの活用が進みそうです。
Amazon DataZone, AWS Clean Rooms, AWS Supply Chain等
https://aws.amazon.com/jp/datazone/
https://aws.amazon.com/jp/clean-rooms/
https://aws.amazon.com/jp/aws-supply-chain/
re:Invent中に書き始めた本ブログでしたが、1週間経過していました。。
3日目と4日目のアップデート情報も集めていきます。