re:Invent 2018 私的HPCまとめ

-
re:Invent 2018 私的HPCまとめ:

AWS re:Invent 2018に参加してきました。昨年に引き続きスピーカーとして参加してきました。今年も他の誰もやらないであろうHPC的なまとめを私なりにしてみます。


AWS re:Inventについて

一般的な説明は他のまとめに任せます。2018年は5万人とか６万人とか７万人とかってシャトルバスのおばさんに聞きました。ラスベガスの巨大なホテルを何箇所も使って、すげースケールです。
https://reinvent.awsevents.com/


所感

  • なんかHPC関連増えてませんか？ 簡単に使えるAWS Batchが普及してきた影響でしょうか。機械学習、深層学習、AI系も増えていますがHPCも増えた感じがあります。
  • 新しいインスタンスタイプはいつでもWelcomeですね。p3dn.24xlargeでメモリが倍に増えて、Deep Learningでエポック数が増やせて嬉しい人は多いですよね。
  • EFAという新しいネットワークアダプターでMPIのスケールがこれでグッと伸びるはずです、うれしい。
  • Lustreの追加。個人的にはこれが一番うれしい。
  • 昨年のNitroにつづきEFA, Inference Chip, A1インスタンス。ありとあらゆるところでSoC, Chip関連の進化が見えています。2015年に買収したAnnapuruna Labの効果が出ているのだと思います。また半導体製造大手のTSMCからCloudをChip Designに使っていくアナウンスがあったり、Purpose-build chipの需要性があがり、計算リソースへの要求が増えて、クラウドへの移行が進むという綺麗な流れが見えます。EDA on CloudでPurpose-build chipの開発を加速することが、Computing多様化時代へのひとつの大きなステップになるような気がしています。
  • TSMCのアナウンス: http://www.tsmc.com/tsmcdotcom/PRListingNewsAction.do?action=detail&newsid=THGOANTHTH&language=E


HPC関連リリース


HPC関連おすすめセッション、ワークショップ、ビルダーズセッション


セッション

[CMP302] Computing on AWS: Driving Innovation w/o Infrastructure Constraints
https://youtu.be/FICBszDFGFk

[CMP326] Use HPC on AWS for Physics-Based Simulation, ML, and Statistics in CAE
https://www.slideshare.net/AmazonWebServices/use-hpc-on-aws-for-physicsbased-simulation-ml-and-statistics-in-cae-cmp326-aws-reinvent-2018

[CMP358] Analyze Slide Images and Process Phenotypic Assays at Scale on AWS
https://www.slideshare.net/AmazonWebServices/analyze-slide-images-and-process-phenotypic-assays-at-scale-on-aws-cmp358-aws-reinvent-2018

[CMP372] Intro to AWS Batch & How AQR Capital leverages AWS to Identify New Investment Signals
https://www.slideshare.net/AmazonWebServices/intro-to-aws-batch-how-aqr-capital-leverages-aws-to-identify-new-investment-signals-cmp372-aws-reinvent-2018

[CMP373] Extend HPC Workloads to Amazon EC2 Instances with Intel and Rescale
https://youtu.be/0bGZdqx6w1Q

[ENT360] Scaling HPC Applications on EC2 with Elastic Fabric Adapter
https://www.slideshare.net/AmazonWebServices/new-launch-scaling-tightlycoupled-hpc-workloads-on-hpc-with-elastic-fabric-adapter-and-high-bandwidth-network-optimized-ec2-instances-ent360-aws-reinvent-2018

[MFG202] AWS for Manufacturing: Digital Transformation throughout the Value Chain
https://youtu.be/Ty_MrR8MQ44

[MFG306] How to Build Performant, Highly Available License Services in the Cloud
https://www.slideshare.net/AmazonWebServices/how-to-build-performant-highly-available-license-services-in-the-cloud-mfg306-aws-reinvent-2018

[OIG303] Best Practices for Designing Demanding Oil & Gas HPC Workflows
https://www.slideshare.net/AmazonWebServices/best-practices-for-designing-demanding-oil-gas-hpc-workflows-oig303-aws-reinvent-2018

[STG320] Amazon FSx for Lustre: How to build and deploy file systems for compute-intensive workloads, HPC, and machine learning applications

リンクなし

[STG377] High-Throughput Sunflowers: A Genomics Case Study in Building Amazon S3 Data Lakes

リンクなし


ビルダーズセッション

2018年から導入されたと思われる、簡易版ワークショップ。１つのテーブルに６人くらいついて、講師1人ついてハンズオンでシステムをデプロイしている様子。どのセッションも満杯で参加できなかった。資料だけでも公開してくれないかしら。。。

[CMP417] Running High Performance Computing Workloads in the Cloud

[CMP419] Selecting the Right Storage for Your HPC Workload

[CMP420] Setting up Your First HPC Cluster on AWS

[CMP421] Deploying a Burstable and Event-Driven HPC Cluster on AWS

[CMP423] Using NICE DCV to Visualize your HPC Simulations

[CMP424] Weather Modeling with WRF on AWS


ワークショップ

[STG320] Amazon FSx for Lustre: How to build and deploy file systems for compute-intensive workloads, HPC, and machine learning applications
https://github.com/aws-samples/amazon-fsx-workshop/tree/master/fsx-lustre

[MFG401] Rightsizing Your Silicon Design Environment: Elastic Clusters for EDA Workloads
http://reinvent-mfg401-edacloud-workshop-static.s3-website-us-west-2.amazonaws.com/

[CMP404] Set Up a Million-Core Cluster to Accelerate HPC Workloads
https://www.slideshare.net/AmazonWebServices/set-up-a-millioncore-cluster-to-accelerate-hpc-workloads-cmp404-aws-reinvent-2018

コメント

コメントを投稿

このブログの人気の投稿

投稿時間:2021-06-17 05:05:34 RSSフィード2021-06-17 05:00 分まとめ(1274件)

-
カテゴリー等 サイト名等 記事タイトル・トレンドワード等 リンクURL 頻出ワード・要約等/検索ボリューム 登録日 IT 気になる、記になる… ｢iOS 15｣の新機能の一部は｢iPhone XS｣以降でしか利用出来ないものも https://taisy0.com/2021/06/15/141888.html tomac 2021-06-15 13:11:47 IT ITmedia 総合記事一覧 [ITmedia Mobile] ソースネクストの「ポケトーク」に新機能　グループ翻訳とWeb会議への字幕付与に対応 https://www.itmedia.co.jp/mobile/articles/2106/15/news164.html itmediamobile 2021-06-15 22:10:00 AWS AWS Architecture Blog Field Notes: Benchmark
続きを読む

投稿時間:2021-06-20 02:06:12 RSSフィード2021-06-20 02:00 分まとめ(3871件)

-
カテゴリー等 サイト名等 記事タイトル・トレンドワード等 リンクURL 頻出ワード・要約等/検索ボリューム 登録日 IT 気になる、記になる… ｢iOS 15｣の新機能の一部は｢iPhone XS｣以降でしか利用出来ないものも https://taisy0.com/2021/06/15/141888.html tomac 2021-06-15 13:11:47 IT ITmedia 総合記事一覧 [ITmedia Mobile] ソースネクストの「ポケトーク」に新機能　グループ翻訳とWeb会議への字幕付与に対応 https://www.itmedia.co.jp/mobile/articles/2106/15/news164.html itmediamobile 2021-06-15 22:10:00 AWS AWS Architecture Blog Field Notes: Benchmark
続きを読む

投稿時間:2020-12-01 09:41:49 RSSフィード2020-12-01 09:00 分まとめ(69件)

-
カテゴリー等 サイト名等 記事タイトル・トレンドワード等 リンクURL 頻出ワード・要約等/検索ボリューム 登録日 IT ITmedia 総合記事一覧 [ITmedia News] M1 Mac、外部SSDはUSB 3.2 Gen 2よりTB3のベンチマーク結果 https://www.itmedia.co.jp/news/articles/2012/01/news052.html itmedianewsmmac 2020-12-01 08:40:00 IT ITmedia 総合記事一覧 [ITmedia エグゼクティブ] はやぶさ2、12月6日午前3時ごろ帰還　JAXA「現時点で完璧」 https://mag.executive.itmedia.co.jp/executive/articles/2012/01/news051.html itmedia 2020-12-01 08:18:00 IT ITmedia 総合記事一覧
続きを読む