弊社ECサイト用APIサーバのCI/CD環境今昔

弊社ECサイト用APIサーバのCI/CD環境今昔:

ハンズラボ Advent Calendar 2018 16日目の記事です。

ECサイト担当になって早3年を過ぎ、その間にCI/CD環境を継続して改善し続けてきました。

この度ようやくParavirtualなインスタンスで動作していたJenkinsサーバを停止し、一段落したこともあり、来し方を振り返ってみます。

APIサーバのCI/CD環境今昔

チーム参加時点(2015/09)

Gitリポジトリ: Atlassian Stash 
    - 今はBitbucketに吸収されてしまいました 
  CI: Jenkins 
    - Antから以下を実行 
        - PHP Lint(php -l) 
        - PHP Mess Detector 
        - PHP Code Sniffer 
        - PHPUnit 
  CD: Jenkins 
    - eb deployコマンドをbashスクリプトで実行 

当時を振り返って

• Atlassian Stashにログインできるメンバーが社内に数名しかいなかった・・・
• AntジョブがXMLで書いてありメンテナンスできない

Gitリポジトリ移行(2015/12)

+ Gitリポジトリ: Backlog 

当時を振り返って

• BacklogのGitリポジトリでプルリクエスト機能が追加されたこともありBacklogへ移行
  
  
  • Githubも社内で利用開始していたが、Backlogは当時からエンタープライズプランで追加費用がなかった

決済APIサーバ分離(2016/02)

+ CI: Jenkins 
+    - Antをやめて、composerスクリプトでの実行に修正 
+ CD: Jenkins 
+    - bashスクリプトで待機系を判定し、待機系へ`eb deploy` 

当時を振り返って

• ステージング環境と本番環境のAWSアカウントの分離にチャレンジした
  
  
  • ステージング環境にdeployしたCommitと本番環境に差異を発生させたくなかったため、ステージング環境deploy時に本番環境の待機系へもdeploy
  • 本番環境のCNAMEから待機系を判断
• Jenkinsユーザが実行するジョブをvisudoで追加するのを忘れていて動かない

決済APIサーバのCI/CD環境移行(2018/06)

+ Gitリポジトリ: CodeCommit 
+ CI: CodePipeline + CodeBuild 
+   - PHP Parallel Lint に変更 
+   - CodeBuildのDockerイメージでhttpdを起動してAPIのテストを実行 
+ CD: CodeBuild 
+   - CodeBuildからeb deployコマンドをbashスクリプトで実行 

当時を振り返って

• Meltdown/Spectre以降、Paravirtualインスタンスへのメンテナンス頻度が上がり、Jenkins廃止の機運が高まった
• CodePipelineはBacklogのGitリポジトリからhookできない・・・
  
  
  • CodeCommitの使い心地を試してみる
• CodeBuildでのCIでハマる
  
  
  • 今はローカル実行できていいですよね・・・
• CodePipelineからElastic BeanstalkへdeployしたいがAWSアカウントをまたいでのdeployは素直には無理
  
  
  • 仕方なくCodeBuildからeb deployする

APIサーバのCI/CD環境移行(2018/11)

+ Gitリポジトリ: Github 
+ CD: CodePipeline + Lambda 
+   - CodePipelineからElastic Beanstalkの待機系へdeploy 
+   - 手動承認したらLambdaでswap 
+   - swap完了後に未deploy側へdeploy 
+   - deploy完了したら再swap 

当時を振り返って

• CodeCommit辛い
  
  
  • プルリクエストしたらAWSのマネジメントコンソール開くの？？？
  • httpsにしてもsshにしても辛い
  • 諦めてGithubに移行
• CodeBuildでのPHPMD/PHPCSで落ちる
  
  
  • Jenkinsサーバでは通るが、新環境では落ちる・・・
  • 仕方なく、通るまでチェックルールからルールを一つずつ削除する。辛い。
• ステージング環境と本番環境のAWSアカウントを分離
  
  
  • featureブランチからdevelopブランチにマージ→ステージング環境にdeploy
  • developブランチからmasterブランチにマージ→本番環境にdeploy
• CodePipelineからのLambda呼び出しでハマる
  
  
  • LambdaからCodePipelineへ「ジョブが完了した」と通知する必要がありました

import boto3 
import logging 
 
logger = logging.getLogger() 
logger.setLevel(logging.INFO) 
 
SOURCE_EB = os.environ['source_eb'] 
DEST_EB = os.environ['dist_eb'] 
 
def lambda_handler(event, context): 
    logger.info(event) 
 
    try: 
        beanstalk = boto3.client('elasticbeanstalk') 
        response = beanstalk.swap_environment_cnames( 
            SourceEnvironmentName = SOURCE_EB, 
            DestinationEnvironmentName = DEST_EB, 
        ) 
 
        logger.info(response) 
 
    except Exception as e: 
        logger.error(e) 
        raise e 
 
    try: 
        codepipeline = boto3.client('codepipeline') 
        jobid = event['CodePipeline.job']['id'] 
        response = codepipeline.put_job_success_result( 
            jobId=jobid, 
        ) 
 
        logger.info(response) 
 
    except Exception as e: 
        logger.error(e) 
        raise e 

今後

Elastic BeanstalkへのAmazon Linux2の公式対応待ちです。

その際には決済APIサーバのCI/CD方式をAPIサーバに合わせる予定です。

ECS + Fargate環境にも挑戦したいです。

今後も改善は続きます。

参考資料

• Blue-Green Deployments to AWS Elastic Beanstalk on the AWS Cloud

ハンズラボ Advent Calendar 2018 明日17日目は@sr-mtmtです！