投稿時間:2021-11-03 23:38:38 RSSフィード2021-11-03 23:00 分まとめ(42件)
カテゴリー等 サイト名等 記事タイトル・トレンドワード等 リンクURL 頻出ワード・要約等/検索ボリューム 登録日 python Pythonタグが付けられた新着投稿 - Qiita 【AWS】AWS Glue + PySparkでお手軽なサーバレス分散処理 https://qiita.com/uni_ezobafun/items/1615f605a81e4da14541 サンプルコード↓AWSGluePySparkによる分散処理のメリットフルマネージドなサーバレスサービスで、煩雑な保守作業は不要データ量や処理の重さに応じて、コンソールから分散処理の台数をいつでも変更できる台台利用台数x利用時間分のみ課金公式ドキュメント↓やることSに置いたPySparkスクリプトをAWSGlueと紐付けて実行する要素が個の整数型リスト個用意して、それぞれ重い処理の疑似としてバブルソートする分散処理する場合としない場合でパフォーマンスを比較するもくじPySparkスクリプトを用意するSbucketにPySparkスクリプトを設置するAWSGlueに割り当てるIAMロールを作成するAWSGlueJobを新規作成するJobを実行してパフォーマンスを比較するPySparkスクリプトを用意するデータを分割amp複数のworkerで分担できていることを確認するために、ある程度まとまった量のダミーデータを用意して、それらを順にバブルソートしていくようなスクリプトを種類用意した。 2021-11-03 22:51:01