【AWS re:Invent 2022】参加できた!!「re:Invent 2022 re:Cap 2nd Night」をおさらい

awsbasics.connpass.com

 

re:Cap 1st Night は見逃した後でおさらいしたのですが、re:Cap 2nd Night は参加することができました。

ということで、re:Capイベント2日目の内容をおさらいしていきたいと思います。

 

資料は未公開ということで紹介されていた内容を書いていきます。
AWS Black Belt Online Seminar の re:Invent 速報で資料が公開されるため、そちらを参照するように案内がありました。(既に公開されているので載せておきます) 

aws.amazon.com

 

 

 

Announce on 29th + Latest major updates

「Monday Night Live」

AWS Utility Computing担当SVP Peter DeSantis氏

AWS Nitro v5

倍のトランジスタ数で、2倍の計算能力

パフォーマンス改善

www.publickey1.jp

Amazon EC2 C7gn

Graviton3Eと第5世代Nitroを搭載した新しいネットワーク最適化インスタンス

  • ネットワーク仮想アプライアンス、データ分析、密結合なクラスタコンピューティングネットワークの要求が厳しいワークロード向けに設計
  • 第5世代のNitroを採用しており、最大200Gbpsのネットワーク帯域と、50%高いパケット処理性能を発揮。最大64vCPU、128GiBメモリ利用可能
  • プレビュー開始

Announcing Amazon EC2 C7gn instances (Preview)

aws.amazon.com

AWS Graviton 3E

Graviton3の派生型でHPC向けの処理性能を強化

  • AWS GravitonプロセッサはAWSによって設計されたARMベースのプロセッサ
  • Graviton3EプロセッサはGraviton3の派生型で、HPC(高性能計算)で一般的に必要となる浮動小数点演算とベクトル演算のパフォーマンスに最適化
  • 線形代数処理のベンチマークであるHPLで35%の、分子動力学シミュレーションのGROMACSで12%、金融オプションの価格決定ワークロードで30%の性能向上

techcrunch.com

Amazon EC2 HPC7g

Graviton3Eベースで最新のコンピュートインテンシブなHPC向けインスタンス

  • Graviton3Eプロセッサを搭載し、最大35%高いベクトル演算処理性能を発揮する
  • 密結合でコンピューティングインセンティブなHPC用途や、分散コンピューティングの用途で最も高いコストパフォーマンスを発揮
  • 同じVPC内のインスタンス間のトラフィックに最適化され独立した200GbpsのEFAネットワーク

Amazon EBS io2 SRD

SRD(データセンター内の謎プロトコル

多機能なプロトコルであることが分かった。

(4年前)プレースメントグループ→フルメッシュで通信遅延が起きる。

TCPは遅延することがある→SRDで解決、EFA(Elastic Fabric Adaptor)はSRDを使うためのドライバー。

Amazon EBS io2 volume を TCP→SRD。

 

AWSが開発したネットワークプロトコルSRDをEBSに適用しパフォーマンスを向上

  • 2023年の早い段階で、Amazon EBS io2ボリュームがSRDベースで稼働するようになることを発表

ENA Express(Tokyo, Osaka)

SRDを採用したネットワークインタフェースで安定性と高いスループットを提供

  • SRDのテクノロジを一般的なワークロードで活用することを可能に。TCPと比較してトラフィックレイテンシーをP99で最大50%、P99.9で最大85%改善する
    • ENA(Elastic Network Adapter)はAmazon EC2で利用されるネットワークインタフェースで、ネットワーク処理をNitro Controllerにオフロードする仕組みを持っている
  • ひとつの異ストリームで最大5Gbpsから25Gbpsのスループットを提供可能
  • 一般利用開始。ENA Expressを有効にすることで、同じAZに存在するc6gnインスタンス同士のTCP/UDP通信でパフォーマンス改善を有効にできる

C6gn.16xl インスタンスから

Introducing Elastic Network Adapter (ENA) Express for Amazon EC2 instances

aws.amazon.com

Amazon EC2 Trn1n

AWS Trainiumを搭載したネットワーク最適化インスタンス

  • AWS機械学習向けチップAWS Trainiumを搭載したネットワーク最適化インスタンス。最大で1.6Tbpsの低レイテンシなEFA最適化ネットワーク機能を備える
    • AWS TrainiumはAWSが設計した2つめの機械学習向けチップで、クラウドにおけるディープラーニングのトレーニングのために高性能かつ低コストな処理を提供する
    • EFA(Elastic Fabric Adapter)はHPCや機械学習分野で必要とされる分散処理において、ノード間の通信に高い性能を求めるワークロードのためのネットワークインタフェース

japan.zdnet.com

AWS Lambda SnapStart(Tokyo)

Correto(Java11)限定。

Lambdaの言語の中でJavaが一番遅かったのでそれが早くなった。通常Javaはサーバー上では起動し続けているが、Lambdaの場合initが遅かった。

 

追加費用なしでLambdaファンクションのコールドスタートレイテンシを劇的に削減

  • Lambdaファンクションのコールドスタート時のレイテンシを大幅に短縮。Correto(Java11)ランタイムを利用するファンクションがサポートされ、最大90%の待ち時間を削減することができる
    • Firecrackerのスナップショット機能といくつかの機能改善によって実現。実行環境の初期化が終わった時点のスナップショットを利用し、初期化の時間を削減する

aws.amazon.com

「Adam Selipsky Keynote

AWS CEOのAdam Selipsky氏

Sustainability by 2025

AWSが2025年までに再生可能エネルギーのみの使用を目指している

Water Positive by 2030

AWSが業務で利用する水を2030年までに再生利用で循環して供給できるようにする

Amazon OpenSearch Serverless(Tokyo)

クラスタを構成、管理、拡張することなく、ペタバイト規模の検索および分析ワークロードを実行

コンピュートリソースとストレージの切り離し

インデックス作成(インジェスト)コンポーネントと検索(クエリ)コンポーネントを分離

Amazon Simple Storage Service(Amazon S3)をインデックスの主要データ・ストレージとして使用。検索機能とインデックス機能を互いに独立させ、個別のスケールを実現

Announcing Amazon OpenSearch Serverless (Preview)

aws.amazon.com

www.youtube.com

Amazon Aurora Zero-ETL integration with Amazon Redshift

Auroraのペタバイト級のトランザクションデータに対して、Amazon Redshiftを用いたほぼリアルタイムの分析や機械学習(ML)を実現

データが書き込まれてから数秒以内にAmazon Redshiftでデータが利用可能に

複数のAuroraデータベースクラスタからデータを分析し、多くのアプリケーションまたはパーティションにわたる全体的なインサイトを得ることが可能に

Amazon Aurora MySQL 3 with MySQL 8.0 compatibilityからサポート(Limited Preview

AWS announces Amazon Aurora zero-ETL integration with Amazon Redshift

www.publickey1.jp

Amazon Redshift Apache Spark support

Redshift上でApache Aparkアプリケーションのシームレスな構築、実行が可能に

Amazon EMR、AWS Glue、Amazon SageMakerなどのサービスを使用している場合アプリケーションのパフォーマンスやデータのトランザクション一貫性を損なうことなく、Redshiftへの読み取りおよびデータへの書き込みを行うApache Sparkアプリケーションを構築可能に

Announcing Amazon Redshift integration for Apache Spark with Amazon EMR

aws.amazon.com

Amazon DataZone

大規模なデータの共有、検索、発見を実現するマネージドサービス

データ分析ポータルを通じて、プロジェクトでコラボレーションを行い、ガバナンスとコンプライアンスポリシーを維持しながら、すべてのデータをパーソナライズして表示

※日本語未対応(UTF-8未対応)

AWS-Announces-Amazon-DataZone

aws.amazon.com

aws.amazon.com

techcrunch.com

Amazon Quicksight Q 2 updates(Tokyo)

  1. "forecast"と入力することで最大3つの指標の予測を生成
  2. "why"と入力することで貢献度分析を行い、主要なドライバーを自動的に特定

専門知識不要で複雑な洞察を得ることが可能に

※ただしQは英語のみ対応

techcrunch.com

Amazon Security Lake(Tokyo)

クラウド、オンプレミス、およびカスタムのソースからのセキュリティデータを、お客様のアカウントに保存された専用のデータレイクに自動的に集中化

アカウントとリージョンにまたがるすべてのセキュリティデータを自動的に収集し、管理セキュリティデータの制御と所有権を維持しながら、任意の連携ツールと連携が可能

オープンソースのOpen Cybersecurity Schema Framework(OCSF)を採用

→さまざまなベンダーのセキュリティー製品がシームレスに連携できるよう、共通のオープンなスキーマを策定する取り組み

Introducing Amazon Security Lake (Preview)

aws.amazon.com

Amazon EC2 Inf2

AWS announces Amazon EC2 Inf2 instances (Preview)

aws.amazon.com

Amazon EC2 Hpc6id

Amazon EC2 Hpc6id Instances – Compute – Amazon Web Services

aws.amazon.com

www.youtube.com

AWS SimSpace Weaver

メタバース

大規模な空間シミュレーションをクラウド上で展開するための新しいマネージド・サービス

数百万のオブジェクトがリアルタイムに相互作用するシームレスな仮想世界を作成

空間シミュレーションを複数サーバで実施させることで、サーバごとに小さな個別空間に分割して処理

データレプリケーションやオブジェクト転送を管理

独自のシミュレーションエンジンや、UnityやUnreal Engine 5などの一般的なサードパーティツールを使用

Simulation Infrastructure Management – AWS SimSpace Weaver – Amazon Web Services

aws.amazon.com

www.publickey1.jp

Amazon Connect 2 updates

  1. step-by-step guides in agent workspace
    1. 顧客の問題を特定し、取るべきStepをエージェントが素早く顧客に提案できるようにするため顧客とエージェントの対話中にエージェントにガイドを出力
    2. エージェントトレーニング時間の短縮や顧客満足度向上など
  2. forecasting, capacity planning and scheduling
    1. 顧客からのコンタクト(電話、メール、チャット)を予測し、最適なエージェントの配置を実現

あらかじめ設定された管理者が定義したルールないで残業や休暇を取りたいときに柔軟に選択

Connectがリアルタイムでスケジュールを更新

AWS Supply Chain

  • 推奨事項や3P連携
  • 実行可能なinsights
  • ML-poweredデータ連携
  • Supply chain data lake

AWS Supply Chain をリリース (プレビュー)

aws.amazon.com

monoist.itmedia.co.jp

AWS Clean Rooms

データクリーンルーム

  • プライバシー保護の観点から広告の配信結果や計測内容に様々な制限が発生
  • 個人を特定することなくデータ保護法に遵守したセキュアなデータ操作環境

AWS-Announces-AWS-Clean-Rooms

Secure Collaboration – AWS Clean Rooms – Amazon Web Services

tech.nri-net.com

Amazon Omics

ゲノム等のおミックスデータを保存、紹介、分析し、そのデータから洞察を得て、健康の改善と科学的発見の前進に役立てるための、新しい専用サービス

大規模な解析と共同研究をサポートするよう設計されており、集団全体のゲノムデータを保存し、他のAWSサービスと一緒に解析を行うことが可能

バイオインフォマティクスワークフローのプロビジョニングとスケーリングを自動化し、解析パイプラインをプロダクションスケールで実行

Genomic Data Analysis – Amazon Omics – Amazon Web Services

aws.amazon.com

Amazon EC2 M6in, M6idn

第3世代Intel Xeon Scalableプロセッサ

M5インスタンスより最大15%優れた価格パフォーマンス

従来より33%多い1インスタンスあたり最大128vCPUをサポートし、2倍のネットワーク帯域を提供

[d]はローカルブロックストレージを搭載。全世代より34%のストレージコスト削減

EBS帯域は最大80Gbps, 350,000IOPS

SAP認定取得済

aws.amazon.com

Amazon QuickSight 3 Updates

  • Expanded API capability(Tokyo)
    • API機能を拡張し、AWS SDKを使用してQuickSightダッシュボードと分析の基本構造へのプログラムによるアクセスを可能に
    • 開発環境と本番環境にわたるコードレビュー、監査、プロモーションなどのDevOpsプロセスと統合が可能に
  • Pagenated Report
  • Q Automated data preparation
    • 従来Qを利用するためには、フィールドの選択や名前ラベルの作成、列のフォーマット指定など、Staticなダッシュボードを作れるだけの準備が必要であった
    • 動的なダッシュボードを作成するためのデータ準備事前作業が対話型インタフェースで動的に行えるようになり、ビジュアルが簡単に作成可能に

aws.amazon.com

aws.amazon.com

Amazon QuickSight Q now supports automated data preparation

aws.amazon.com

Amazon Inspector AWS Lambda Support(Tokyo)

Serverlessコンピュートワークロードの継続的な自動脆弱性評価が可能に

Lambda関数のコードで使用されるアプリケーションパッケージの依存関係におけるソフトウェアの脆弱性を特定

特定された課題は、AWS Security HubおよびAmazon EventBridgeにプッシュ通知

Amazon EC2Amazon ECRに続いて3つ目の環境に対応

AWS が AWS Lambda 関数向け Amazon Inspector のサポートを発表

aws.amazon.com

AWS Compute Optimizer External metric support(Tokyo)

Datadog、Dynatrace、Instana、New RelicでAWS環境監視を行うお客様向けにEC2メモリの【外部】利用指標を特定することでよりよい削減の提案を実現

従来のCPU、ディスク、ネットワーク、IO、スループットに加えて、メモリ容量をサイズ調整する推奨値に使用可能に

External metrics ingestion - AWS Compute Optimizer

aws.amazon.com

Elastic Load Balancing Updates

  • Application Load Balancer ターゲットグループ単位のクロスゾーン負荷分散切り離し(AZ切り離し)(Tokyo, Osaka)
    • リスナー:ALBは常にオン
    • ターゲットグループ:Lambda用では使用不可
  • NLB Health Check改善(Tokyo, Osaka)
    • 以下が指定可能に
      • ヘルスチェック間隔の定義
      • ターゲットの健全性を判断するHTTPレスポンスコードの指定
      • ターゲットが健全または不健全となるまでの連続したヘルスチェックのレスポンス回数
  • ALB/NLB Minimum Healthy ターゲット(Tokyo, Osaka)
    • AZ内の健全なターゲットの最小数、もしくは割合のしきい値を指定
  • Zonal shift for ALB and NLB(Tokyo)
    • Amazon Route 53 Application Recovery Controller(ARC)の新機能
    • 単一のアベイラビリティゾーン(AZ)内でアプリケーション障害からの迅速なリカバリを実現
    • ゾーン間負荷分散をオフにしたALBおよびNLBで利用可能

aws.amazon.com

Application Load Balancer でターゲットグループごとにクロスゾーン負荷分散をオフに設定することが可能に

Health checks for your target groups - Elastic Load Balancing

Rapidly recover from application failures in a single AZ | Networking & Content Delivery

2日目の情報集めてみた

re:Invent 2022の2日目のアップデートに関する公式ドキュメント等を集めてみました。また、re:Cap 2nd Night で 元AWSジャパン シニアエバンジェリストの亀田さんが解説していた内容を一部書いてみました。

 

データ分析基盤系のサービス発表が多い印象でした。

また、一つのまとまった大規模な処理をAWSのマネージドサービスで提供する発表もあり、様々な分野でマネージドサービスの活用が進みそうです。

 

Amazon DataZone, AWS Clean Rooms, AWS Supply Chain等

https://aws.amazon.com/jp/datazone/

https://aws.amazon.com/jp/clean-rooms/

https://aws.amazon.com/jp/aws-supply-chain/

 

re:Invent中に書き始めた本ブログでしたが、1週間経過していました。。

3日目と4日目のアップデート情報も集めていきます。