puppeteer でスクレイピングするサーバを Now を使って作る方法

puppeteer でスクレイピングするサーバを Now を使って作る方法:

Now(ver 2)で Doker を使わずに puppeteer が動くようになりました。
Serverless Chrome via Puppeteer with Now 2.0

この記事では puppeteer を使ってスクレイピングした結果を返す API を作りました

注意

2019 年 1 月 29 日現在、yarnだとデプロイに失敗します。(issue はまだないかも)

使うときはnpmを使ってpackage-lock.jsonがある状態でデプロイしてみてください。

全体のソース

ざっくりとしたソースを載せておきます

package.json

puppeteerの代わりにpuppeteer-coreとchrome-aws-lambdaを使います

{ 
  "name": "", 
  "version": "1.0.0", 
  "main": "server.js", 
  "license": "MIT", 
  "scripts": { 
    "start": "node server.js" 
  }, 
  "dependencies": { 
    "body-parser": "^1.18.3", 
    "chrome-aws-lambda": "^1.11.2", 
    "express": "^4.16.4", 
    "express-validator": "^5.3.1", 
    "puppeteer-core": "^1.11.0" 
  } 
} 

now.json

buildsのconfigでmaxLambdaSizeを指定しておきます

{ 
  "version": 2, 
  "name": "<アプリ名>", 
  "alias": "<必要であれば>", 
  "builds": [ 
    { 
      "src": "server.js", 
      "use": "@now/node-server", 
      "config": { "maxLambdaSize": "40mb" } 
    } 
  ], 
  "routes": [{ "src": "/(.+)", "dest": "/server.js" }] 
} 

server.js

// Express 
const express = require('express'); 
const bodyParser = require('body-parser'); 
const app = express(); 
 
// Express-validator 
const { check, validationResult } = require('express-validator/check'); 
const { matchedData } = require('express-validator/filter'); 
 
const { getNewBooksList } = require('./chromium'); 
 
// Support parsing of application/x-www-form-urlencoded post data 
app.use(bodyParser.urlencoded({ extended: true })); 
 
app.get( 
  '/', 
  [check('type').exists(), check('ndc').exists()], 
  async (req, res) => { 
    const errors = validationResult(req); 
    if (!errors.isEmpty()) 
      return res.status(422).json({ errors: errors.mapped() }); 
 
    const valid = matchedData(req); 
    const type = valid.type; 
    const ndc = valid.ndc; 
 
    const booksList = await getNewBooksList(type, ndc); 
 
    res.json(booksList); 
  } 
); 
 
app.listen(3000, () => console.log('App listening on port 3000!')); 
 
module.exports.app = app; 
 

chromium.js

puppeteer.launchのオプションの指定が異なるので注意

const chrome = require('chrome-aws-lambda'); 
const puppeteer = require('puppeteer-core'); 
 
async function getNewBooksList(bookType, bookNdc) { 
  const browser = await puppeteer.launch({ 
    args: chrome.args, 
    executablePath: await chrome.executablePath, 
    headless: chrome.headless 
  }); 
 
  const page = await browser.newPage(); 
  await page.setViewport({ width: 1280, height: 800 }); 
 
  //各自の処理を入れてください 
 
  await browser.close(); 
 
  return booksList; 
} 
 
module.exports = { getNewBooksList }; 
 

あとがき

公式のサンプルはこちら
now-examples/puppeteer-screenshot/

Now を使うと無料で動かせるので、簡単なスクレイピング API をデプロイするなら選択肢の一つになるかと思います。