IT音痴アラフィフおやじのストック記事倉庫

京町家を内側から照らす「都ライト」　西陣の住民によるツアーも : 京町家のライトアップ企画「都ライト」が11月9日から始まる。 #烏丸経済新聞 オリジナルのエンクロージャ:

AWS での SQL Server のパフォーマンスベンチマーク : 非常に多くのインスタンスタイプから選択できるため、アーキテクトや顧客にとって、SQL Server ワークロードを AWS に移行する際に最適なものを選択することが難しい場合があります。それぞれのインスタンスタイプとストレージのオプションについて詳細な仕様を利用できますが、こうした情報をすべて現実のシナリオにマッピングするのは難しいことがあります。 こうした課題に対処するために、SQL Server のベンチマークに関するホワイトペーパーを紹介しています。インスタンスタイプをベンチマークして、その実行方法をテストする方法に関する情報を提供します。また、コンピューティングとストレージの一般的な組み合わせに関するベンチマークによるパフォーマンスの数値も示しています。 このホワイトペーパーは、TPC ベンチマークの説明から始まり、データベースベンチマークの業界標準である HammerDB を紹介し、次にテストの範囲について説明します。さらに、環境、ワークロード、インスタンスタイプ、ストレージ、およびSQL Server の設定について詳しく説明します。最初のテストでは GP2 ボリュームのみ、2 番目のテストではローカルの NVMe ディスクにトランザクションログがある GP2 ボリュームのテスト、3 番目のテストではインスタンスストア NVMe ディスクのボリュームのテストと、3 種類のテストの結果について検討します。最終的な推奨が提供されます。 SQL Server Performance on AWS (AWS での SQL Server のパフォーマンス) のホワイトペーパーをご覧ください。 著者について Alan Cranfield は、EC2 Windows チームの上級ソフトウェアエンジニアであり、AWS 向けの Windows ワークロードの最適化をテーマにしています。 Bini Berhe は、Microsoft プラットフォームを担当する上級ソリューションアーキテクトであり、この分野の専門家として、オンプレミスのワークロードを AWS へ移行している顧客に指導や技術支援を提供しています。

CSVデータセットのPipeモードを使って、Amazon SageMaker内臓アルゴリズムでトレーニングがより早く : Amazon SageMakerに内臓されたアルゴリズムはPipeモードをサポートし、Machine learning (ML)モデルをトレーニングしている間、Amazon Simple Storage Service (S3)からCSV形式でデータセットを取得しAmazon SageMakerへ取り込みます。 モデルのトレーニングを進めながら、データはPipe入力モードでアルゴリズムコンテナに直接流れます。トレーニングを開始する前にデータをローカルの Amazon Elastic Block Store (EBS)の容量でダウンロードするファイルモードとは異なります。Pipeモードを利用すると、トレーニングはより早く、かなり少ないディスク容量でより速く終了することができます。Machine learningモデルをトレーニングする全体的なコストを削減することができます。3.9GB CSVデータセットのAmazon SageMakerのLinear Learnerアルゴリズムで、回帰モデルのトレーニングに利用した内部基準では、ファイルモードに代わりPipeモードを利用した場合、モデルのトレーニングに費やす時間は全体的に40%も削減される例がありました。 Pipeモードと利点の詳細についてはブログの掲示板 をご覧ください。 Amazon SageMakerの内臓アルゴリズムでPipeモードを利用する 本年度初頭に 内臓Amazon SageMakerアルゴリズムで利用するPipe入力モードが初めて発表された時は 、protobuf recordIO形式のダータのみをサポートしていました。高処理のトレーニングジョブに特化した特殊な形式です。Pipe入力モードの持つ利点を、CSV形式のトレーニングデータセットでも活用できるようになりました。次の Amazon SageMaker内臓アルゴリズム では、Pipe入力モードを使ったCSV形式のデータセットによるトレーニングを全面的にサポートしています： 主成分分析 (PCA) K-Meansクラスタリング K-Nearestネイバー Linear Learner (分類と回帰) ニューラルト...

Amazon RDS for SQL Server でデータベースメールをパワーアップ – アンダーアーマーが Amazon RDS for SQL Server でデータベースメールを運用する方法 : データベースメールは Microsoft SQL Server で多用される機能の 1 つです。データベースメールは、SMTP サーバーを使用することにより、SQL Server からユーザーにメッセージを送信できるようにします。ここでご紹介するソリューションは、ご使用の SQL Server ワークロードが Amazon RDS 上にある場合に、データベースメールを使用するのに役立ちます。 データベースメールの使用例: テキストメッセージを送信する テキストまたはファイル添付でクエリの結果またはレポートを送信する エラーや通知のアラートを送信する ジョブが成功または失敗したときに、SQL エージェントジョブのステータスメッセージを送信する AWS のカスタマーであるアンダーアーマー社では、SQL Server のワークロードを Amazon RDS for SQL Server に移行する手立てを模索していましたが、RDS でデータベースメールがサポートされていないことがネックとなっていました。SQL のワークロードを Amazon RDS へ移行しようとしているカスタマーにとって、この問題は致命的です。 私はアンダーアーマー社のデータアーキテクト、Leonard Humphries とともにこの問題に対処することになり、2 人で次のようなソリューションを思いつきました。私たちは集中データベースメールハブに SQL Amazon EC2 インスタンスをプロモートしたのです。こうすることで、アンダーアーマー社のデータベースメール問題を解決できました。この記事では私たちのソリューションについて解説します。 使用した AWS のサービス Amazon RDS for SQL Server 既存の SMTP サーバーをお持ちでない場合は Amazon Simple Email Service (Amazon SES) Amazon Elastic Compute Cloud (Amazon EC2) インスタンス (SQL Server を含む)こ...

パフォーマンスの重要性: Amazon Redshift で実環境のワークロードが 3.5 倍の速さに : Amazon Redshift はそのサービスの開始以来、高度な複雑性を持つ分析ワークロードにも妥協を許さない高速処理で 数千におよぶお客様 の信頼を得てきました。 2017 年にお客様にもたらした 3 倍から 5 倍のパフォーマンスゲイン の実現には、ショートクエリの高速化、結果キャッシュ、遅延マテリアライゼーション、そのほか重要な多数の改善点が貢献しています。本記事では、Amazon Redshift の最新の改善活動や、パフォーマンス向上への絶え間ない取組みがお客様を支援している様子をご紹介します。また、今でも継続中の改善活動の評価に利用していた業界標準のベンチマークから得られたパフォーマンステストを考察します。 最新のパフォーマンス改善活動 AWS はそのデータウェアハウスの世界最大規模のデプロイメントによって、さまざまな分析ワークロードにわたる使用パターンを分析し、パフォーマンス向上のための機会を探り出します。そこから得た知見は数千におよぶお客様の利益にシームレスにつながる改善をもたらします。パフォーマンス面における過去 6 か月間の主な改善点は、次のとおりです。 メモリ重視型クエリ用途のリソース管理の改善 : Amazon Redshift で結合時と集計時のメモリの消費および予約プロセスが向上しました。これにより、大多数のハッシュテーブルに対するキャッシュの効率性を向上させ、メモリ重視型の結合および集計操作の洩れの低減を最大で 1.6 倍改善しました。 コミットのパフォーマンス改善 : コミットは書き込みトランザクションの主なコンポーネントとして、ETL (抽出、変換、ロード) ジョブといったデータアップデートおよびデータインジェスチョンのワークロード処理のパフォーマンスに直接インパクトを与えます。2017 年 11 月以降、コミットのパフォーマンスの最適化活動の一環として、複数コミットを 1 回の操作で行うバッチ処理、コミットロック性能の向上、データ局所性認識型のメタデータのデフラグ用プログラムなどを実現してきました。これらに代表される最適化活動は、HDD ベースのクラスターでかかるコミット時間の低減効果を平均で 4 倍にしています。...

地震を追跡中: Amazon Redshift によりETL処理を通じて視覚化のための非構造化データセットを準備する方法 : 組織が分析慣行を拡大し、データ科学者やその他の専門家を雇用するにつれ、ビッグデータのパイプラインはますます複雑になります。高度なモデルが毎秒収集されるデータを使用して構築されています。 今日のボトルネックは分析技術のノウハウではない場合がよくあります。むしろ、クラウドには適さないことがあるツールを使用した ETL (抽出、変換およびロード) ジョブの構築と維持の難しさがボトルネックになっています。 この記事では、この課題の解決策を示します。私は数年にわたり、地球のあちこちで記録された地震イベントの中途半端に構造化されたデータセットから始めます。私は地球の表面自体、つまり構造プレートストラクチャを形成する岩の性質に関する広範囲な洞察を取得して、 Amazon QuickSight のマッピング機能を使用して視覚化ようとしました。 これを達成するために、いくつかの AWS サービスを使用して、 Matillion ETL for Amazon Redshift を使用して次のものを編成します: AWS Glue (to crawl and catalog Amazon S3 データのクロールとカタログ作成) Amazon Athena (JSON データいｎ SQL インターフェイスを提示する) Amazon Redshift (大量のデータに対して空間的な変換を実行するのに必要な計算能力を提供する) 構造プレートストラクチャのコンテキスト 地震は積み上げられた圧力が突然解放されることによって生じます。地震は破壊構造プレートの境界で、より深刻になる傾向があります。これらの境界は重量があり、密度が高い海洋プレートが軽量な大陸プレートとぶつかるとき、または2つの海洋プレートがぶつかるときに形成されます。密度の違いのため、海洋のリソスフェアは大陸プレートの下に押し込まれ、いわゆる沈み込み帯を形成します。(下図を参照してください。) 沈み込み帯では、深さ 700 km の場所で地震が発生する可能性があります。 Wikimedia Commons から KDS4444 [CC BY-SA 4.0 (https://creat...

Amazon SageMaker Jupyterノートブックを使用してAmazon Neptune グラフを分析する :  新しいグラフデータモデルやクエリを作成する、あるいは、既存のグラフデータセットを探索するかどうかに関わらず、結果を視覚化できるインタラクティブなクエリ環境があると便利です。このブログ記事では、 Amazon SageMaker ノートブックを Amazon Neptune データベースに接続して、これを実現する方法を紹介します。ノートブックを使用して、データをデータベースにロードし、クエリをして結果を視覚化します。 Amazon Neptune は高速かつ信頼性の高いグラフデータベースです。クエリワークロードで、接続をナビゲートし、エンティティ間の関係の強さ、重さ、または品質を活用する必要がある場合に理想的です。 Amazon SageMaker は、機械学習モデルの構築、トレーニング、および開発のための完全管理プラットフォームです。このブログの記事では、その機能に対応した SageMaker を使用し、ホストされた Jupyter ノートブックを提供します数回クリックするだけで、Jupiter のノートブックを作成し、それを Neptune に接続し、データベースのクエリを開始できます ソリューションの概要 このブログの記事で紹介されているソリューションは、以下のリソースを作成します。 3 つのサブネットと VPC S3 エンドポイントを持つ Neptune VPC 適切なサブネット、パラメータ、およびセキュリティグループを持つ、単一の r4.xlarge インスタンスを含む Neptune クラスター Neptune が S3 からデータをロードすることを許可するIAM ロール SageMaker Jupyter ノートブックインスタンス、IPython Gremlin 拡張モジュール、Gremlin コンソール、および一部のサンプルノートブックコンテンツ Neptune データベースのエンドポイントは、アカウントの新しい VPC にプロビジョニングされます。 SageMaker の Jupyter ノートブックは、Amazon SageMaker VPC でホストされています。 SageMaker は、E...

AWS DevDay Tokyo 2018 Database トラック資料公開 : Database フリークな皆様、こんにちは！AWS DevDay Tokyo 2018 Database トラックオーナーの江川です。 2018 年 10 月 29 日（月）〜 11 月 2 日（金）にかけて、AWS DevDay Tokyo 2018 が開催されました。本記事では、11/1(木)に実施された Database トラック のセッション資料をご紹介します。 セッション資料紹介に先立ち、お客様セッションとしてご登壇いただいた、SanSan株式会社間瀬様、株式会社ソラコム安川様、Amazon Pay 吉村様にお礼申し上げます。併せて、ご参加いただいた皆様、ストリーミング配信をご覧いただいた皆様ありがとうございました。 ●お客様セッション資料 AWSサービスで実現するEightの行動ログ活用基盤(SanSan株式会社 間瀬哲也様) AWSサービスで実現するEightの行動ログ基盤 from Tetsuya Mase DynamoDB Backed なテレコムコアシステムを構築・運用してる話(株式会社ソラコム 安川 健太様) AWS Dev Day Tokyo 2018 | Amazon DynamoDB Backed な テレコムコアシステムを構築・運用してる話 from SORACOM,INC DynamoDBとAmazon Pay で実現するキャッシュレス社会 公開調整中。後日公開された場合は本記事をアップデートします。 ●AWSセッション資料 DevOps with Database on AWS(山内晃、大村幸敬) DevOps with Database on AWS from Amazon Web Services Japan Graph Database and Amazon Neptune(五十嵐建平) Graph Database and Amazon Neptune from Amazon Web Services Japan Data Lake Security on AWS(能仁信亮) Data Lake Security on AWS from Ama...

Lambda実行環境(AWS)上のSDKのバージョンについて : Lambda実行環境(AWS)上のSDKのバージョンについて node_modulesに、sdkを含めた場合と含めない場合に、使用されるsdkのバージョンがどうなるのかを確認してみました。 sdkのVERSIONをログに出力するLambdaを作成 'use strict'; const AWS = require('aws-sdk'); module.exports.handler = (event, context, callback) => { console.info(AWS.VERSION); // TODO implement const response = { statusCode: 200, body: JSON.stringify('Hello from Lambda!'), }; callback(null, response); }; 含めない場合　Lambdaがサポートするデフォルトのバージョン2.290.0（検証した時点）が使用される START RequestId: fc958f2e-e09c-11e8-bf95-c18a822dd3f9 Version: $LATEST 2018-11-05T01:49:09.871Z fc958f2e-e09c-11e8-bf95-c18a822dd3f9 2.290.0 END RequestId: fc958f2e-e09c-11e8-bf95-c18a822dd3f9 REPORT RequestId: fc958f2e-e09c-11e8-bf95-c18a822dd3f9 Duration: 27.24 ms Billed Duration: 100 ms Memory Size: 128 MB Max Memory Used: 33 MB 含めた場合 node_modulesに、2.348.0を含めてデプロイすると、2.348.0が使用される START RequestId: 1f77eb6b-e09d-11e8-879c-43b0c47d9c8a V...

【随時更新】Vue Fes Japan資料まとめ : 2018.11.3に行われたVue Fes Japanの資料をまとめました。 資料が未公開のものが多いので、公開され次第リンクを更新していきます。 Vue Fes Japan公式サイト オープニングムービー Vue Fes Japanオープニング キーノート (Evan You) ※資料公開される場合、追記予定 ランチセッション Progressive Repro Frontend LINE株式会社 LunchスポンサーLT 通常セッション Next-level Vue Animations (Sarah Drasner) Vue.jsとWeb Componentsのこれから (Takanori Oki) Vue Designer: デザイナーと実装の統合 (katashin) Unit testing a Vuex store (Edd Yerburgh) ※資料公開される場合、追記予定 Atomic Designのデザインと実装の狭間 (菅原孝則) Nuxt.js 2.0 (Sébastien Chopin) ※資料公開される場合、追記予定 A deep dive in SFC compilation (Rahul Kadyan) noteのフロントエンドをNuxt.jsで再構築した話 (福井烈) Vue CLI 3 and its Graphical User Interface (Guillaume Chau) 1年間単体テストを書き続けた現場から送るVue Componentのテスト(土屋和良)

DB変更リリースの停止時間を最小化するには？「DevOps with Database on AWS」 #AWSDevDay : 「DevOpsってアプリの話ばっかりな気がするけど、DBもアプリ以上に変更入るよなぁ」 データベースの変更をいかにノーダウンタイムで本番リリースするか？ステート（データ）を持つという宿命上、そう簡単にいかないことは皆さん […]

AlteryxでSalesforce Outputツールを利用してSalesforce.comのテーブルに出力する : こんにちは。Alteryxサポートエンジニアとして勉強中のスズです。 Alteryx Designerは標準で様々なツールが用意されていますが、Alteryx Galleryでは他にもツールが公開されています。今回はAl […]