CloudWatchアラートを重要度で色分けしてSlackへ通知する

-
CloudWatchアラートを重要度で色分けしてSlackへ通知する:


なぜ、アラートの重要度で色分けが必要なのか

現状、CloudWatchメトリクスでしきい値を超えるとSlackへアラートが飛ぶようになっています。

しかし、新たにSlackチャンネルへ入ってきた人は、通知を見ても何が重大なのかわからないのが実際のところです。

さらに、通知が来るたびにダッシュボードに確認しに行くのも手間です。

そもそも、必要ない通知があることも、、、

そこで、通知の精査と重要度分けが必要だなということで色分けすることにしました。


なにを使っているのか

以下、構成

CloudWatchメトリクス → Simple Notification Service (SNS) → AWS Lambda Function (Lambda) → Slack通知


どうやって構築するか



スクリーンショット 2018-12-08 23.28.03.png


SNSを重要度別に複数作成し、LambdaでどのSNSかを判定し、色分けしてSlackへ通知というのがミソになります


Slack通知用のLambdaを作成

Slack通知に関しては基本的に以下を参考にしています。

通知用のLambdaで実行するpythonコードです。

※ ちなみに、以下のコードではKMSを使っていません。

lambda_function.py
from __future__ import print_function 
 
import boto3 
import json 
import logging 
import os 
 
from base64 import b64decode 
from urllib2 import Request, urlopen, URLError, HTTPError 
 
 
HOOK_URL = os.environ['HookUrl'] 
SLACK_CHANNEL = os.environ['slackChannel'] 
 
logger = logging.getLogger() 
logger.setLevel(logging.INFO) 
 
AWS_REGION = os.environ['AWS_REGION'] 
 
def lambda_handler(event, context): 
    logger.info("Event: " + str(event)) 
    message = json.loads(event['Records'][0]['Sns']['Message']) 
    topicArn = str(event['Records'][0]['Sns']['TopicArn']) 
    logger.info("Message: " + str(message)) 
 
    alarm_name = message['AlarmName'] 
    new_state = message['NewStateValue'] 
    reason = message['NewStateReason'] 
 
    # topicArnをeventからパースして、WarningかCriticalが含まれているかを判定しています 
    if ("slack-alert-warning" in topicArn): 
        color = "warning" 
    elif ("slack-alert-critical" in topicArn): 
        color = "danger" 
 
    if (new_state == "ALARM"): 
        new_state = ":exclamation: " + new_state 
    elif (new_state == "OK"): 
        new_state = ":white_check_mark: " + new_state 
        color = "good" 
 
    url = "<https://" + AWS_REGION + ".console.aws.amazon.com/cloudwatch/home?region=" + AWS_REGION + "#cw:dashboard=Home|Link to cloudwatch>" 
 
    # attachmentsを使えばcolorで色付けできます 
    slack_message = { 
        'channel': SLACK_CHANNEL, 
        'attachments': [{ "color": color, "text": "%s \n alarm_name: `%s` \n state is now %s: ```%s```" % (url, alarm_name, new_state, reason) }] 
    } 
 
    req = Request(HOOK_URL, json.dumps(slack_message)) 
    try: 
        response = urlopen(req) 
        response.read() 
        logger.info("Message posted to %s", slack_message['channel']) 
    except HTTPError as e: 
        logger.error("Request failed: %d %s", e.code, e.reason) 
    except URLError as e: 
        logger.error("Server connection failed: %s", e.reason)
LambdaをCloudFormationで作る場合は以下を参考にしてください。

上記のURL通りに、手で作るのもOKです！

alert-lambda.yaml
  LambdaFunction: 
    Type: "AWS::Lambda::Function" 
    Properties:  
      Code: 
        S3Bucket: << ソースを置いているバケット名 >> 
        S3Key: << バケットからソースへの相対パス >> 
      FunctionName: Alert-message-to-slack 
      Handler: lambda_function.lambda_handler 
      MemorySize: 128 
      Role: lambda_basic_execution 
      Runtime: python3.6 
      Environment: 
        Variables: 
          HookUrl: << IncomingWebのURL >> 
          slackChannel: << アラートを流すSlackのChannel名 >>


CloudFormationでSNSを作成

sns-topic.yaml
--- 
AWSTemplateFormatVersion: '2010-09-09' 
 
  Parameters: 
    LambdaFunction: 
      Type: String 
      Default: << lambda fuction の ARN >> 
 
  Resources: 
# SNS Topic 
    WarningLevelAlert: 
      Type: AWS::SNS::Topic 
      Properties: 
        DisplayName: slack alert 
        TopicName: slack-alert-warning 
        Subscription: 
          - Endpoint: ! Ref LambdaFunction 
            Protocol: lambda 
    CriticalLevelAlert: 
      Type: AWS::SNS::Topic 
      Properties: 
        DisplayName: slack alert 
        TopicName: slack-alert-critical 
        Subscription: 
          - Endpoint:  ! Ref LambdaFunction 
            Protocol: lambda 
# Lambda Permission 
    WarningLevelAlertPermission: 
      Type: AWS::Lambda::Permission 
      Properties: 
        Action: lambda:InvokeFunction 
        FunctionName: !GetAtt LambdaFunction.Arn 
        Principal: sns.amazonaws.com 
        SourceArn: !Ref WarningLevelAlert 
    CriticalLevelAlertPermission: 
      Type: AWS::Lambda::Permission 
      Properties: 
        Action: lambda:InvokeFunction 
        FunctionName: !GetAtt LambdaFunction.Arn 
        Principal: sns.amazonaws.com 
        SourceArn: !Ref CriticalLevelAlert 
 
  Outputs: 
    WarningLevelAlertSNSTopic: 
      Description: SNS Topic Name 
      Value: !Ref WarningLevelAlert 
      Export:  
        Name: WarningLevelAlertSNSTopic 
    CriticalLevelAlertSNSTopic: 
      Description: SNS Topic Name 
      Value: !Ref CriticalLevelAlert 
      Export:  
        Name: CriticalLevelAlertSNSTopic


試しに、lambda function作成時にアラームを設定

LambdaのメトリクスにSNSを登録する部分は共通部分になるので、１つのyamlに分けS3へアップロードしておく。

cloudwatch-lambda-alert.yaml
--- 
AWSTemplateFormatVersion: '2010-09-09' 
Description: Lambda Cloudwatch 
Parameters: 
  FunctionName: 
    Type: String 
    Default: << lambda function の名前 >> 
  Errors: 
    Type: Number 
    Default: 1 
 
Resources: 
  ErrorsAlarm: 
    Type: AWS::CloudWatch::Alarm 
    Properties: 
      AlarmName: 
        Fn::Join: 
          - '' 
          - - !Ref FunctionName 
            - '/Lambda/Errors' 
      AlarmDescription: 
        Fn::Join: 
          - '' 
          - - 'Lambda/Errors/' 
            - !Ref FunctionName 
            - '/' 
            - !Ref Errors 
            - 'over' 
      AlarmActions: 
        - !ImportValue CriticalLevelAlertSNSTopic 
      MetricName: Errors 
      Namespace: AWS/Lambda 
      Statistic: Sum 
      Period: '60' 
      EvaluationPeriods: '1' 
      Threshold: !Ref Errors 
      ComparisonOperator: GreaterThanOrEqualToThreshold 
      Dimensions: 
        - Name: FunctionName 
          Value: !Ref FunctionName
Lambda作成時に、LambdaのメトリクスにSNSを登録する

lambda.yaml
# 省略 
 
  LambdaFunction: 
    Type: "AWS::Lambda::Function" 
 
# 省略 
 
  CloudWatch: 
    Type: AWS::CloudFormation::Stack 
    Properties: 
      TemplateURL: 
        Fn::Join: 
          - '' 
          - - 'https://s3.amazonaws.com/' 
            - << S3 バケット名 >> 
            - '/cloudwatch-lambda-alert.yaml' 
      Parameters: 
        FunctionName: !Ref LambdaFunction


結果

Slackのアラート通知がわかりやすくなった、、かな

Linkの名前が変わっているのはご愛嬌ということでｗ

Warningのアラート


スクリーンショット 2018-12-08 23.23.45.png


Criticalのアラート


スクリーンショット 2018-12-08 23.25.58.png


コメント

コメントを投稿

このブログの人気の投稿

投稿時間:2021-06-20 02:06:12 RSSフィード2021-06-20 02:00 分まとめ(3871件)

-
カテゴリー等 サイト名等 記事タイトル・トレンドワード等 リンクURL 頻出ワード・要約等/検索ボリューム 登録日 IT 気になる、記になる… ｢iOS 15｣の新機能の一部は｢iPhone XS｣以降でしか利用出来ないものも https://taisy0.com/2021/06/15/141888.html tomac 2021-06-15 13:11:47 IT ITmedia 総合記事一覧 [ITmedia Mobile] ソースネクストの「ポケトーク」に新機能　グループ翻訳とWeb会議への字幕付与に対応 https://www.itmedia.co.jp/mobile/articles/2106/15/news164.html itmediamobile 2021-06-15 22:10:00 AWS AWS Architecture Blog Field Notes: Benchmark...
続きを読む

投稿時間:2021-04-30 23:37:32 RSSフィード2021-04-30 23:00 分まとめ(42件)

-
カテゴリー等 サイト名等 記事タイトル・トレンドワード等 リンクURL 頻出ワード・要約等/検索ボリューム 登録日 IT 気になる、記になる… Microsoft、Android向け｢Microsoft Edge｣のDevビルドをGoogle Play ストアで公開 https://taisy0.com/2021/04/30/139961.html android 2021-04-30 13:46:02 python Pythonタグが付けられた新着投稿 - Qiita Raspberrypi + Pythonで、今日のゴミの日を取得して、LINE通知とアレクサにお知らせしてもらう https://qiita.com/xxxyahho/items/e7b2552f8ff794d7bf07 cronで日回一ヶ月間動かしてみて様子見。 2021-04-30 22:27:31 python Pythonタグが付けられた新着投稿 - ...
続きを読む

投稿時間:2023-02-05 02:09:04 RSSフィード2023-02-05 02:00 分まとめ(9件)

-
カテゴリー等 サイト名等 記事タイトル・トレンドワード等 リンクURL 頻出ワード・要約等/検索ボリューム 登録日 python Pythonタグが付けられた新着投稿 - Qiita pythonの-mオプションの動作を調べる https://qiita.com/Ryku/items/d9cebcb9e0a9e36281c6 pythonmmym 2023-02-05 01:18:33 python Pythonタグが付けられた新着投稿 - Qiita 【Python】pythonでwifi接続をしてみた。【pywifi】 https://qiita.com/shinfx/items/f7250730c0d8dabb5962 pywifi 2023-02-05 01:10:24 js JavaScriptタグが付けられた新着投稿 - Qiita 【Julia】Electron.jlを使ってカウンタ...
続きを読む