AWS ビックデータ

AWS ビックデータ:

■そもそもビッグデータとは？
ビッグデータとは？を読みましょう。

ポイントは、素早く結果を出して、改善を繰り返していくことが重要です。

参考:ビッグデータのお客様成功事例

■ビックデータで使えるAWSサービス事例

AWSには、データレイク構築や多様なデータ分析を可能にするサービスが多数あります。

＊データレイクとは？

規模や形式にかかわらず、すべてデータを加工することなく、保存すする単一のデータストアのことです。

項目	内容	AWSサービス
1.収集	データを収集し、データレイクへ格納する。	AWS Snowball→オンプレミスからの物理的なデータ移行が可能。 AWS DM→既存DBからのデータ移行レプリケーション（複製して同期）が可能。 Amazon Kinesis→ビデオなどのストリーミングをデータを連携可能。 AWS IoT→デバイスからのセンサー情報などを連携可能。
2.保存	全期間保存、共通APIで保存する。	Amazon S3→データレイク
3.処理	データレイクにアクセスして分析する。	AWS Glue、Amazon EMR→HandoopやSparkを用いたデータの抽出や変換 Amazon RDS、Amazon Redshift→DWHやデータマートなどSQLによる抽出・集計 Amazon Athena→S3上のデータを直接クエリするアドホックな抽出・集計
4.可視化	人間が活用し易い形に可視化する。	Amazon　QuickSight→BIサービスと連携して可視化が可能

■構成例

S3 ＋ Athena ＋ QuickSight

IT音痴オーバーフォーティーおやじのストック記事倉庫