Dev AWSome Day 2018の復習④ ～Amazon Rekognition編～

Dev AWSome Day 2018の復習④　～Amazon Rekognition編～:

前回に続き、「Dev AWSome Day 2018」の復習として、「Amazon Rekognition」を勉強し直します。

今回ハンズオンで作成したサービスは、画像をアップロードし、AIで識別した結果を表示するものになります。

今回は、その裏側の処理であるAI部分の作成の説明になります。

処理の流れとしては、

1. S3に画像ファイルが登録されると、
2. それをLambdaが見つけ、
3. Rekognitionに渡し、
4. 結果をDynamoDBに登録する

といった感じになります。

※実は、Rekognitionは呼ぶだけになりますので、説明の中心はLambdaになります

DynamoDBの設定

DynamoDB は、どのような規模のデータも、スループットも満たすことができるフルマネージド型のNoSQL データベースです。

今回は、AWS CLIを使用して、DynamoDBの設定を行います。

まずテーブルの作成を行います。

> aws dynamodb create-table --cli-input-json file://./photos-table.json --region us-west-2 

「photo-table.json」に設定されている内容で、DynamoDBにテーブルを作成します。

「photo-table.json」の内容は以下のようになっています。

{ 
    "LocalSecondaryIndexes": [ 
        { 
            "IndexName": "username-updatetime-index",  
            "Projection": { 
                "ProjectionType": "ALL" 
            },  
            "KeySchema": [ 
                { 
                    "KeyType": "HASH",  
                    "AttributeName": "username" 
                },  
                { 
                    "KeyType": "RANGE",  
                    "AttributeName": "updatetime" 
                } 
            ] 
        } 
    ],  
    "AttributeDefinitions": [ 
        { 
            "AttributeName": "objectkey",  
            "AttributeType": "S" 
        },  
        { 
            "AttributeName": "updatetime",  
            "AttributeType": "S" 
        },  
        { 
            "AttributeName": "username",  
            "AttributeType": "S" 
        } 
    ],  
    "ProvisionedThroughput": { 
        "WriteCapacityUnits": 5,  
        "ReadCapacityUnits": 5 
    },  
    "TableName": "devawsome-photos",  
    "KeySchema": [ 
        { 
            "KeyType": "HASH",  
            "AttributeName": "username" 
        },  
        { 
            "KeyType": "RANGE",  
            "AttributeName": "objectkey" 
        } 
    ] 
} 

正常に作成されると、以下のように表示されます。

{ 
    "TableDescription": { 
        "TableArn": "arn:aws:dynamodb:us-west-2:212691234567:table/devawsome-photos", 
        "LocalSecondaryIndexes": [ 
        ～ 略　～ 
        "ItemCount": 0, 
        "CreationDateTime": 1523425086.359 
    } 
} 

もちろん、マネージメントコンソールから作成することも可能です。

Lambda関数の作成

Lambda関数用のIAMロールの作成

今回作成するLambda関数は、S3、DynamoDB、Rekognition、および、内部的にCloudWatch Logsにアクセスします。

それらの設定をIAMロールに登録します。

作成の仕方はこちらを参考にしてもらうとして、アクセス権限ポリシーをアタッチする画面で、以下の許可を行います。

• AmazonS3ReadOnlyAccess
• AmazonDynamoDBFullAccess
• AmazonRekognitionReadOnlyAccess
• AWSLambdaBasicExecutionRole

Lambda関数の作成

1. マネージメントコンソールを開く
2. 「Lambda」を選択
   
   
   
   
3. 「関数の作成」ボタンをクリック
4. 「一から作成」を選択
5. 「名前」を入力し、「ロール」は既存のロールを選択、「既存のロール」に先ほど作成したIAMロールを選択
6. 「関数の作成」ボタンをクリック

続いて、AWS CLIからコードをデプロイします。

まず、コード（Pythonで記述）をzipにまとめます。

> zip ImageLabel.zip lambda_function.py 

次にデプロイします。

aws lambda update-function-code \ 
  --function-name DevAWSomeImageLambda  \ 
  --zip-file fileb://ImageLabel.zip \ 
  --region us-west-2 

※「DevAWSomeImageLambda」は作成したLambda関数の名前です

なお、デプロイしたコードは以下のようになっています。

# Copyright 2017 Amazon.com, Inc. or its affiliates. All Rights Reserved. 
# 
# Licensed under the Apache License, Version 2.0 (the "License"). You may not use this file except 
# in compliance with the License. A copy of the License is located at 
# 
# https://aws.amazon.com/apache-2-0/ 
# 
# or in the "license" file accompanying this file. This file is distributed on an "AS IS" BASIS, 
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the 
# specific language governing permissions and limitations under the License. 
from __future__ import print_function 
import json 
import urllib 
import boto3 
from datetime import datetime 
 
s3 = boto3.client('s3') 
rek = boto3.client('rekognition') 
dynamodb = boto3.resource('dynamodb') 
 
def lambda_handler(event, context): 
    "Process upload event, get labels and update database" 
    bucket = event['Records'][0]["s3"]["bucket"]["name"] 
    key = event['Records'][0]["s3"]["object"]["key"] 
    key = urllib.parse.unquote(key); 
    print("Received event. Bucket: [%s], Key: [%s]" % (bucket, key)) 
 
    response = s3.head_object(Bucket=bucket, Key=key) 
    username =  response['Metadata']['username']; 
    description = response['Metadata']['description'] 
    print("username : %s" % username) 
    print("description : %s" % description) 
 
    response = rek.detect_labels( 
        Image={ 
            'S3Object': { 
                'Bucket': bucket, 
                'Name': key 
            } 
        }) 
    all_labels = [label['Name'] for label in response['Labels']] 
    csv_labels = ", ".join(all_labels) 
    print("Detect_labels finished. Key: [%s], Labels: [%s]" % (key, csv_labels)) 
 
    table    = dynamodb.Table('devawsome-photos') 
    response = table.put_item( 
        Item={ 
            'username': username, 
            'objectkey': key, 
            'description': description, 
            'labels': csv_labels, 
            'updatetime': datetime.now().strftime('%Y%m%d%H%M%S') 
        } 
    ) 
 
    return True 
 
# This is used for debugging, it will only execute when run locally 
if __name__ == "__main__": 
    # simulated sns event 
    fake_sns_event = { 
        "Records": [ 
            { 
                "EventSource": "aws:sns", 
                "EventVersion": "1.0", 
                "EventSubscriptionArn": "...", 
                "Sns": { 
                    "Message": """{\"Records\":[{\"eventVersion\":\"2.0\", 
                    \"eventSource\":\"aws:s3\",\"awsRegion\":\"us-west-2\", 
                    \"eventTime\":\"...\",\"eventName\":\"ObjectCreated:Put\", 
                    \"s3\":{\"bucket\":{\"name\":\"fake-bucket\"}, 
                    \"object\":{\"key\":\"photos/8d2567bc34013c97.png\"}}}]}""", 
                    "MessageAttributes": {} 
                } 
            } 
        ] 
    } 
    fake_context = [] 
    lambda_handler(fake_sns_event, fake_context) 

デプロイが正常に終了すると、以下のような表示になります。

{ 
    "TracingConfig": { 
        "Mode": "PassThrough" 
    }, 
    "CodeSha256": "DSR+YJAEAzDSnyeI/BTGFhzdXkoM3zAu1fhC5nqvSm0=", 
    ～ 途中略 ～ 
    "Handler": "lambda_function.lambda_handler", 
    "Runtime": "python3.6", 
    "Description": "" 
} 

次に、タイムアウトの値を20秒に変更します。

aws lambda update-function-configuration \ 
  --function-name DevAWSomeImageLambda  \ 
  --region us-west-2 \ 
  --timeout 20 

イベントの設定

最後に、S3バケットに画像が登録されたら、そのイベント処理としてLambdaを実行するようにS3バケットの設定を追加します。

1. マネージメントコンソールを開く
2. 「S3」を選択
3. 前回作成したバケットを選択
4. 「プロパティ」タブを選択
5. 「Events」を選択
6. 「通知の追加」を選択
7. 「名前」を入力し、「イベント」で「Put」のみを選択、「送信先」で「Lambda関数」を選択、「Lambda」で先ほど作成したLambda関数名を選択
8. 「保存」ボタンをクリック

まとめ

肝心のRekognitionを使っているところは、Lambda関数のコード内にあります。

今回はLambda関数からの呼び出し方、および、Lambda関数のアクセス制限の設定方法がメインとなっていました。