awsbasics.connpass.com
re:Cap 1st Night は見逃した後でおさらいしたのですが、re:Cap 2nd Night は参加することができました。
ということで、re:Capイベント2日目の内容をおさらいしていきたいと思います。
資料は未公開ということで紹介されていた内容を書いていきます。AWS Black Belt Online Seminar の re:Invent 速報で資料が公開されるため、そちらを参照するように案内がありました。(既に公開されているので載せておきます)
aws.amazon.com
Announce on 29th + Latest major updates
「Monday Night Live」
AWS Utility Computing担当SVP Peter DeSantis氏
AWS Nitro v5
倍のトランジスタ 数で、2倍の計算能力
パフォーマンス改善
www.publickey1.jp
Graviton3Eと第5世代Nitroを搭載した新しいネットワーク最適化インスタンス
ネットワーク仮想アプライアンス 、データ分析、密結合なクラスタ コンピューティングネットワークの要求が厳しいワークロード向けに設計
第5世代のNitroを採用しており、最大200Gbpsのネットワーク帯域と、50%高いパケット処理性能を発揮。最大64vCPU、128GiBメモリ利用可能
プレビュー開始
Announcing Amazon EC2 C7gn instances (Preview)
aws.amazon.com
AWS Graviton 3E
Graviton3の派生型でHPC向けの処理性能を強化
AWS GravitonプロセッサはAWS によって設計されたARMベースのプロセッサ
Graviton3EプロセッサはGraviton3の派生型で、HPC(高性能計算)で一般的に必要となる浮動小数 点演算とベクトル演算のパフォーマンスに最適化
線形代数 処理のベンチマーク であるHPL で35%の、分子動力学シミュレーションのGROMACSで12%、金融オプションの価格決定ワークロードで30%の性能向上
techcrunch.com
Graviton3Eベースで最新のコンピュートインテンシブ なHPC向けインスタンス
Graviton3Eプロセッサを搭載し、最大35%高いベクトル演算処理性能を発揮する
密結合でコンピューティングインセンティブ なHPC用途や、分散コンピューティングの用途で最も高いコストパフォーマンスを発揮
同じVPC 内のインスタンス 間のトラフィック に最適化され独立した200GbpsのEFAネットワーク
SRD(データセンター内の謎プロトコル )
多機能なプロトコル であることが分かった。
(4年前)プレースメントグループ→フルメッシュで通信遅延が起きる。
TCP は遅延することがある→SRDで解決、EFA(Elastic Fabric Adaptor)はSRDを使うためのドライバー。
Amazon EBS io2 volume を TCP →SRD。
AWS が開発したネットワークプロトコル SRDをEBSに適用しパフォーマンスを向上
2023年の早い段階で、Amazon EBS io2ボリュームがSRDベースで稼働するようになることを発表
ENA Express(Tokyo, Osaka)
SRDを採用したネットワークインタフェースで安定性と高いスループット を提供
SRDのテクノロ ジを一般的なワークロードで活用することを可能に。TCP と比較してトラフィック のレイテンシー をP99で最大50%、P99.9で最大85%改善する
ENA(Elastic Network Adapter)はAmazon EC2 で利用されるネットワークインタフェースで、ネットワーク処理をNitro Controllerにオフロードする仕組みを持っている
ひとつの異ストリームで最大5Gbpsから25Gbpsのスループット を提供可能
一般利用開始。ENA Expressを有効にすることで、同じAZに存在するc6gnインスタンス 同士のTCP /UDP 通信でパフォーマンス改善を有効にできる
C6gn.16xl インスタンス から
Introducing Elastic Network Adapter (ENA) Express for Amazon EC2 instances
aws.amazon.com
AWS Trainiumを搭載したネットワーク最適化インスタンス
AWS の機械学習 向けチップAWS Trainiumを搭載したネットワーク最適化インスタンス 。最大で1.6Tbpsの低レイテンシなEFA最適化ネットワーク機能を備える
AWS TrainiumはAWS が設計した2つめの機械学習 向けチップで、クラウド におけるディープラーニング のトレーニン グのために高性能かつ低コストな処理を提供する
EFA(Elastic Fabric Adapter)はHPCや機械学習 分野で必要とされる分散処理において、ノード間の通信に高い性能を求めるワークロードのためのネットワークインタフェース
japan.zdnet.com
AWS Lambda SnapStart(Tokyo)
Correto(Java11)限定。
Lambdaの言語の中でJava が一番遅かったのでそれが早くなった。通常Java はサーバー上では起動し続けているが、Lambdaの場合initが遅かった。
追加費用なしでLambdaファンクションのコールドスタートレイテンシを劇的に削減
Lambdaファンクションのコールドスタート時のレイテンシを大幅に短縮。Correto(Java11)ランタイムを利用するファンクションがサポートされ、最大90%の待ち時間を削減することができる
Firecrackerのスナップショット機能といくつかの機能改善によって実現。実行環境の初期化が終わった時点のスナップショットを利用し、初期化の時間を削減する
aws.amazon.com
「Adam Selipsky Keynote 」
AWS CEOのAdam Selipsky氏
Sustainability by 2025
AWS が2025年までに再生可能エネルギー のみの使用を目指している
Water Positive by 2030
AWS が業務で利用する水を2030年までに再生利用で循環して供給できるようにする
クラスタ を構成、管理、拡張することなく、ペタバイト 規模の検索および分析ワークロードを実行
コンピュートリソースとストレージの切り離し
インデックス作成(インジェスト)コンポーネント と検索(クエリ)コンポーネント を分離
Amazon Simple Storage Service(Amazon S3 )をインデックスの主要データ・ストレージとして使用。検索機能とインデックス機能を互いに独立させ、個別のスケールを実現
Announcing Amazon OpenSearch Serverless (Preview)
aws.amazon.com
VIDEO www.youtube.com
Auroraのペタバイト 級のトランザクション データに対して、Amazon Redshiftを用いたほぼリアルタイムの分析や機械学習 (ML)を実現
データが書き込まれてから数秒以内にAmazon Redshiftでデータが利用可能に
複数のAuroraデータベースクラスタ からデータを分析し、多くのアプリケーションまたはパーティション にわたる全体的なインサイト を得ることが可能に
Amazon Aurora MySQL 3 with MySQL 8.0 compatibilityからサポート(Limited Preview )
AWS announces Amazon Aurora zero-ETL integration with Amazon Redshift
www.publickey1.jp
Redshift上でApache Aparkアプリケーションのシームレスな構築、実行が可能に
Amazon EMR、AWS Glue、Amazon SageMakerなどのサービスを使用している場合アプリケーションのパフォーマンスやデータのトランザクション 一貫性を損なうことなく、Redshiftへの読み取りおよびデータへの書き込みを行うApache Sparkアプリケーションを構築可能に
Announcing Amazon Redshift integration for Apache Spark with Amazon EMR
aws.amazon.com
大規模なデータの共有、検索、発見を実現するマネージドサービス
データ分析ポータルを通じて、プロジェクトでコラボレーションを行い、ガバナンスとコンプライアンス ポリシーを維持しながら、すべてのデータをパーソナライズして表示
※日本語未対応(UTF-8 未対応)
AWS-Announces-Amazon-DataZone
aws.amazon.com
aws.amazon.com
techcrunch.com
Amazon Quicksight Q 2 updates(Tokyo)
"forecast"と入力することで最大3つの指標の予測を生成
"why"と入力することで貢献度分析を行い、主要なドライバーを自動的に特定
専門知識不要で複雑な洞察を得ることが可能に
※ただしQは英語のみ対応
techcrunch.com
Amazon Security Lake(Tokyo)
クラウド 、オンプレミス、およびカスタムのソースからのセキュリティデータを、お客様のアカウントに保存された専用のデータレイクに自動的に集中化
アカウントとリージョンにまたがるすべてのセキュリティデータを自動的に収集し、管理セキュリティデータの制御と所有権を維持しながら、任意の連携ツールと連携が可能
オープンソース のOpen Cybersecurity Schema Framework(OCSF)を採用
→さまざまなベンダーのセキュリティー 製品がシームレスに連携できるよう、共通のオープンなスキーマ を策定する取り組み
Introducing Amazon Security Lake (Preview)
aws.amazon.com
AWS announces Amazon EC2 Inf2 instances (Preview)
aws.amazon.com
Amazon EC2 Hpc6id Instances – Compute – Amazon Web Services
aws.amazon.com
VIDEO www.youtube.com
AWS SimSpace Weaver
メタバース 系
大規模な空間シミュレーションをクラウド 上で展開するための新しいマネージド・サービス
数百万のオブジェクトがリアルタイムに相互作用するシームレスな仮想世界を作成
空間シミュレーションを複数サーバで実施させることで、サーバごとに小さな個別空間に分割して処理
データレプリケーション やオブジェクト転送を管理
独自のシミュレーションエンジンや、UnityやUnreal Engine 5などの一般的なサードパーティ ツールを使用
Simulation Infrastructure Management – AWS SimSpace Weaver – Amazon Web Services
aws.amazon.com
www.publickey1.jp
Amazon Connect 2 updates
step-by-step guides in agent workspace
顧客の問題を特定し、取るべきStepをエージェントが素早く顧客に提案できるようにするため顧客とエージェントの対話中にエージェントにガイドを出力
エージェントトレーニン グ時間の短縮や顧客満足度 向上など
forecasting, capacity planning and scheduling
顧客からのコンタクト(電話、メール、チャット)を予測し、最適なエージェントの配置を実現
あらかじめ設定された管理者が定義したルールないで残業や休暇を取りたいときに柔軟に選択
Connectがリアルタイムでスケジュールを更新
AWS Supply Chain
推奨事項や3P連携
実行可能なinsights
ML-poweredデータ連携
Supply chain data lake
AWS Supply Chain をリリース (プレビュー)
aws.amazon.com
monoist.itmedia.co.jp
AWS Clean Rooms
データクリーンルーム :
プライバシー保護の観点から広告の配信結果や計測内容に様々な制限が発生
個人を特定することなくデータ保護法に遵守したセキュアなデータ操作環境
AWS-Announces-AWS-Clean-Rooms
Secure Collaboration – AWS Clean Rooms – Amazon Web Services
tech.nri-net.com
ゲノム等のおミックスデータを保存、紹介、分析し、そのデータから洞察を得て、健康の改善と科学的発見の前進に役立てるための、新しい専用サービス
大規模な解析と共同研究をサポートするよう設計されており、集団全体のゲノムデータを保存し、他のAWS サービスと一緒に解析を行うことが可能
バイオインフォマティクス ワークフローのプロビジョニングとスケーリングを自動化し、解析パイプラインをプロダクションスケールで実行
Genomic Data Analysis – Amazon Omics – Amazon Web Services
aws.amazon.com
第3世代Intel Xeon Scalableプロセッサ
M5インスタンス より最大15%優れた価格パフォーマンス
従来より33%多い1インスタンス あたり最大128vCPUをサポートし、2倍のネットワーク帯域を提供
[d]はローカルブロックス トレージを搭載。全世代より34%のストレージコス ト削減
EBS帯域は最大80Gbps, 350,000IOPS
SAP認定取得済
aws.amazon.com
Amazon QuickSight 3 Updates
Expanded API capability(Tokyo)
API 機能を拡張し、AWS SDK を使用してQuickSightダッシュ ボードと分析の基本構造へのプログラムによるアクセスを可能に
開発環境と本番環境にわたるコードレビュー、監査、プロモーションなどのDevOpsプロセスと統合が可能に
Pagenated Report
Q Automated data preparation
従来Qを利用するためには、フィールドの選択や名前ラベルの作成、列のフォーマット指定など、Staticなダッシュ ボードを作れるだけの準備が必要であった
動的なダッシュ ボードを作成するためのデータ準備事前作業が対話型インタフェースで動的に行えるようになり、ビジュアルが簡単に作成可能に
aws.amazon.com
aws.amazon.com
Amazon QuickSight Q now supports automated data preparation
aws.amazon.com
Amazon Inspector AWS Lambda Support(Tokyo)
Serverlessコンピュートワークロードの継続的な自動脆弱性 評価が可能に
Lambda関数のコードで使用されるアプリケーションパッケージの依存関係におけるソフトウェアの脆弱性 を特定
特定された課題は、AWS Security HubおよびAmazon EventBridgeにプッシュ通知
Amazon EC2 、Amazon ECRに続いて3つ目の環境に対応
AWS が AWS Lambda 関数向け Amazon Inspector のサポートを発表
aws.amazon.com
AWS Compute Optimizer External metric support(Tokyo)
Datadog、Dynatrace、Instana、New RelicでAWS 環境監視を行うお客様向けにEC2メモリの【外部】利用指標を特定することでよりよい削減の提案を実現
従来のCPU、ディスク、ネットワーク、IO、スループット に加えて、メモリ容量をサイズ調整する推奨値に使用可能に
External metrics ingestion - AWS Compute Optimizer
aws.amazon.com
Elastic Load Balancing Updates
Application Load Balancer ターゲットグループ単位のクロスゾーン負荷分散切り離し(AZ切り離し)(Tokyo, Osaka)
リスナー:ALBは常にオン
ターゲットグループ:Lambda用では使用不可
NLB Health Check改善(Tokyo, Osaka)
以下が指定可能に
ヘルスチェック間隔の定義
ターゲットの健全性を判断するHTTPレスポンスコードの指定
ターゲットが健全または不健全となるまでの連続したヘルスチェックのレスポンス回数
ALB/NLB Minimum Healthy ターゲット(Tokyo, Osaka)
AZ内の健全なターゲットの最小数、もしくは割合のしきい値 を指定
Zonal shift for ALB and NLB(Tokyo)
Amazon Route 53 Application Recovery Controller(ARC)の新機能
単一のアベイラビリティ ゾーン(AZ)内でアプリケーション障害からの迅速なリカバリ を実現
ゾーン間負荷分散をオフにしたALBおよびNLBで利用可能
aws.amazon.com
Application Load Balancer でターゲットグループごとにクロスゾーン負荷分散をオフに設定することが可能に
Health checks for your target groups - Elastic Load Balancing
Rapidly recover from application failures in a single AZ | Networking & Content Delivery
2日目の情報集めてみた
re:Invent 2022の2日目のアップデートに関する公式ドキュメント等を集めてみました。また、re:Cap 2nd Night で 元AWS ジャパン シニアエバンジェリスト の亀田さんが解説していた内容を一部書いてみました。
データ分析基盤系のサービス発表が多い印象でした。
また、一つのまとまった大規模な処理をAWS のマネージドサービスで提供する発表もあり、様々な分野でマネージドサービスの活用が進みそうです。
Amazon DataZone, AWS Clean Rooms, AWS Supply Chain等
https://aws.amazon.com/jp/datazone/
https://aws.amazon.com/jp/clean-rooms/
https://aws.amazon.com/jp/aws-supply-chain/
re:Invent中に書き始めた本ブログでしたが、1週間経過していました。。
3日目と4日目のアップデート情報も集めていきます。